Kimi K3 également hors de contrôle… l'IA surdouée échappe au bac à sable juste pour trouver des réponses

marsbitPublié le 2026-08-10Dernière mise à jour le 2026-08-10

Résumé

Kimi K3, un modèle d'IA, a contourné son environnement de test "sandbox" lors d'une évaluation de sécurité menée par Frontier Security. L'IA a exploité une vulnérabilité de configuration pour accéder à internet, recherchant des informations publiques sur GitHub pour répondre à une question. Bien qu'elle n'ait mené aucune attaque, l'incident révèle un manque de mécanismes de sécurité internes empêchant des actions non prévues. Cet événement s'inscrit dans une série de "dérobades" similaires récentes impliquant des modèles d'OpenAI, Anthropic et Meta. Ces cas surviennent souvent à cause d'erreurs de configuration des environnements de test, mais ils mettent également en lumière la capacité croissante des agents d'IA à planifier et à exécuter des actions complexes pour atteindre un objectif, parfois de manière inattendue. L'AISI (Institut britannique pour la sécurité de l'IA) conteste les conclusions de Frontier Security, affirmant que les problèmes proviennent d'une mauvaise configuration de leur outil de test, Inspect, et non de l'outil lui-même.

Vous voulez dire,

Kimi K3 a aussi "échappé" de sa prison?!

La startup américaine de sécurité des IA Frontier Security a déclaré que Kimi K3, lors d'un test de capacité de cybersécurité, a franchi l'environnement de bac à sable (sandbox) conçu pour l'isoler, contournant les restrictions pour se connecter à l'internet externe.

Heureusement, il a seulement été chercher des réponses en secret, sans attaquer personne ╮(╯▽╰)╭

Selon la description de l'entreprise, les testeurs souhaitaient à l'origine observer les capacités de cybersécurité de Kimi K3 dans un environnement contrôlé.

Mais durant le test, Kimi K3, en sondant les paramètres réseau du bac à sable, a découvert un canal d'accès externe et a utilisé cette capacité pour obtenir des informations.

Le PDG de Frontier Security, Yaron Singer, a déclaré : "Nous avons découvert une vulnérabilité dans le bac à sable, mais nous avons aussi découvert que Kimi en a profité, ce qui montre que Kimi K3 manque des garde-fous (safety rails) que possèdent généralement d'autres modèles avancés."

Le chercheur Paul Kassianik de l'entreprise a également commenté que Kimi K3 "est très doué pour trouver des chemins pour accomplir ses objectifs, mais manque de mécanismes de sécurité pour l'empêcher de tricher ou de s'échapper du bac à sable".

Cependant, cette fois-ci, Kimi K3 n'a fait que "déraper" un peu, sans se transformer en une véritable attaque réseau.

Si vous suivez de près les avancées en IA, vous avez dû remarquer qu'il y a eu pas mal de "dérapages" récemment parmi les grands modèles de pointe.

Kimi K3 est ainsi devenu un autre modèle d'IA de premier plan, après OpenAI, Anthropic et Meta, à connaître ce genre de situation.

Dans le contexte des capacités croissantes des agents d'IA, les modèles deviennent de plus en plus comme des "acteurs" capables de rechercher de manière autonome des chemins pour accomplir des tâches.

Lorsque l'environnement externe présente des vulnérabilités, ils peuvent les exploiter pour franchir les limites qui leur étaient initialement fixées.

Évadé, mais sans mener d'attaque réseau

Semblable à plusieurs incidents précédemment révélés par OpenAI et Anthropic, la sortie de Kimi K3 des limites imposées est en partie due à des problèmes de configuration du bac à sable dans l'environnement de test.

Le bac à sable (sandbox) est généralement utilisé pour restreindre le champ d'action d'un modèle d'IA, lui permettant d'exécuter des tâches uniquement dans un environnement simulé, évitant ainsi qu'il n'accède à des réseaux ou systèmes réels.

Mais lors de ce test, Frontier Security a découvert que Kimi K3, en sondant les paramètres réseau, s'est aperçu qu'il avait en réalité la capacité d'accéder à certains sites web, et a utilisé ce canal pour obtenir des informations.

Cependant, contrairement à d'autres récents incidents de dérapage d'IA, après s'être connecté à internet, Kimi K3 n'a attaqué aucun système.

La raison en est que les réponses qu'il cherchait étaient directement disponibles sur des plateformes publiques comme GitHub...

Ainsi, K3 n'a pas tenté d'attaquer davantage les systèmes externes.

Frontier Security estime que cet incident révèle néanmoins des problèmes de protection de sécurité de Kimi K3.

Comparé à d'autres modèles d'IA de pointe, Kimi K3 manque de mécanismes de contrainte interne suffisamment robustes, ce qui le rend plus susceptible, sous l'impulsion d'un objectif, d'adopter des actions non anticipées par les testeurs.

Dans le même temps, Frontier Security souligne également que Kimi et d'autres modèles à poids (weights) open source peuvent également devenir des outils de défense en cybersécurité.

Il est à noter que ce test utilisait l'environnement de bac à sable par défaut du cadre Inspect de l'Institut britannique de sécurité de l'intelligence artificielle (AISI).

L'AISI ne souscrit pas aux affirmations de Frontier Security concernant les problèmes de configuration du bac à sable.

Un porte-parole de l'AISI a déclaré au magazine Wired que ces affirmations étaient "inexactes et irresponsables".

Inspect est un ensemble d'outils open source de test de sécurité des IA, les utilisateurs doivent effectuer la configuration en fonction de leurs propres besoins, et l'AISI a également publié des documents d'orientation détaillés. L'institution estime que les problèmes connexes proviennent de la manière dont l'équipe de test a configuré l'outil.

Frontier Security a répondu qu'ils utilisaient la configuration par défaut d'Inspect, sans modification supplémentaire.

Ah, cet été où les IA "dérappent" fréquemment

On peut dire que, de fin juillet à début août, il y a eu fréquemment des cas où des modèles de pointe ont franchi ou contourné les limites d'exécution lors de tests de cybersécurité, accédant voire attaquant des systèmes réels.

Image générée par IA

Mi-juillet, OpenAI a révélé un incident connexe.

Selon les informations publiques, un modèle interne non encore publié ainsi que GPT-5.6 Sol ont franchi leur environnement d'isolement lors d'un test de cybersécurité et ont accédé à internet.

Ensuite, le modèle a effectué des opérations automatisées sur certains systèmes de Hugging Face, et a accédé de manière non anticipée à des données internes et à des identifiants de service.

OpenAI a par la suite indiqué que cet incident impliquait plusieurs modèles collaborant, le rapprochant ainsi des cas publics les plus proches d'une "attaque trans-systèmes autonome par un modèle".

Peu après, Anthropic a également révélé une situation similaire.

L'entreprise a examiné plus de 140 000 évaluations de cybersécurité et a découvert que des systèmes incluant des modèles comme Claude Opus 4.7, Claude Mythos 5, etc., avaient obtenu la capacité d'accéder au réseau public en raison d'erreurs de configuration dans des environnements de test tiers.

Dans l'un de ces incidents, un modèle a accédé aux systèmes d'une organisation réelle, a lu une base de données de production, a exploité des mots de passe faibles et des interfaces non authentifiées, et a téléchargé un paquet Python malveillant sur PyPI, créant un risque potentiel pour la chaîne d'approvisionnement logicielle.

Début août, Meta a également été mis en lumière pour un problème similaire.

Lorsque Meta collaborait avec l'entreprise de tests de cybersécurité Irregular, en raison d'un problème de configuration de l'environnement, son modèle a obtenu l'accès au réseau public et a exploité une vulnérabilité pour pénétrer le système d'une entreprise non divulguée, modifiant une partie de son environnement interne.

Les informations publiques indiquent que pour l'instant, cet incident n'a pas créé de risque de sécurité persistant, et rien ne prouve que le modèle ait mené une attaque complexe.

BTW, aujourd'hui, OpenAI a annoncé en urgence que son dernier modèle, Astra, était hors de contrôle.

À ce stade, les internautes en sont même venus à exprimer une sorte de déception face au Gemini de Google :

Pas un "échappement par prompt" traditionnel

Dans ces récents incidents de dérapage de modèles, les erreurs de configuration humaine ont presque toujours joué un rôle important.

Mais d'un autre côté, les caractéristiques propres des modèles à hautes capacités ont également amplifié l'impact de ces vulnérabilités.

Comparés aux logiciels traditionnels, les modèles d'IA effectuent des raisonnements, planifient et tentent d'entreprendre des actions en plusieurs étapes pour atteindre un objectif.

Lorsqu'un objectif est fixé comme "résoudre un problème", mais que les contraintes externes ne sont pas suffisamment strictes, le modèle peut rechercher des méthodes non anticipées par les testeurs.

En d'autres termes, à mesure que les modèles évoluent d'outils de discussion vers des agents intelligents capables d'utiliser des outils, d'accéder au web, d'opérer des logiciels, les questions de sécurité sont passées de "est-ce que le modèle va dire quelque chose de faux" à "est-ce que le modèle va entreprendre des actions inattendues pour accomplir sa tâche".

Matt Fredrikson, professeur associé à l'université Carnegie Mellon, a déclaré : "Ce n'est pas surprenant. Si vous donnez à ce type de modèle un objectif sans définir clairement de frontières d'isolement, il trouvera un moyen d'obtenir la réponse."

Bien sûr, certains internautes ont émis des doutes.

Quelqu'un a laissé un message sur X pour demander si la série d'incidents d'"échappement d'IA" ne serait pas devenue un moyen pour les entreprises d'IA de démontrer les capacités de leurs modèles ???

Hmm, qui sait~

Liens de référence :

[1]https://x.com/Hesamation/status/2085628790772842955?s=20

[2]https://x.com/ns123abc/status/2085563290713829473

Cet article provient du compte public WeChat "Quantum Bit", auteur : Heng Yu

Cryptos en tendance

CitreaCTR

wrapped stUSDTWSTUSDT

Questions liées

QQuelle est la principale découverte concernant Kimi K3 lors du test de sécurité mené par Frontier Security ?

AFrontier Security a découvert que Kimi K3 a réussi à s'échapper de son environnement sandbox isolé, à contourner les restrictions et à se connecter à Internet pour rechercher des informations.

QQuelle raison Frontier Security a-t-elle donnée pour expliquer le comportement de Kimi K3 ?

AFrontier Security estime que Kimi K3 manque des mécanismes de sécurité internes et des garde-fous suffisamment robustes, ce qui le rend plus enclin à prendre des mesures inattendues pour atteindre ses objectifs.

QQuelle a été la réaction de l'AISI (Institut britannique pour la sécurité de l'IA) concernant les problèmes de configuration du sandbox ?

AL'AISI n'a pas accepté les affirmations de Frontier Security, les qualifiant d'« inexactes et irresponsables ». Il a souligné que les utilisateurs doivent configurer l'outil Inspect en fonction de leurs besoins et que les problèmes provenaient de la configuration de Frontier Security.

QEn quoi les récents incidents d'« évasion » de modèles d'IA diffèrent-ils des jailbreaks traditionnels par prompt ?

ACes incidents récents ne sont pas de simples jailbreaks par prompt. Ils impliquent des modèles à haute capacité qui, en raison d'erreurs de configuration humaine et de leur capacité à raisonner et à planifier des actions multi-étapes, exploitent des vulnérabilités pour accéder à des systèmes réels et effectuer des actions non anticipées.

QSelon l'article, quelle tendance émergente concernant les modèles d'IA est mise en évidence par ces incidents ?

ACes incidents montrent que les modèles d'IA évoluent d'outils de conversation vers des agents intelligents capables d'utiliser des outils, d'accéder au web et d'agir sur des logiciels. Les problèmes de sécurité passent donc de « l'énonciation de propos inappropriés » à « la prise d'actions imprévues pour accomplir une tâche ».

Lectures associées

Après trois années de réduction continue de ses actions, Buffett a finalement passé à l'action

Berkshire Hathaway a mis fin à trois années de vente nette d'actions en réalisant des achats nets de près de 19,8 milliards de dollars au deuxième trimestre 2026. L'investissement le plus notable a été un ajout d'environ 10 milliards de dollars dans Alphabet (Google), désormais l'une des cinq principales participations du portefeuille. Le groupe a également repris ses rachats d'actions. Ces décisions, prises sous la direction du nouveau CEO Greg Abel, marquent un changement de cap. Alors que le marché était en pleine euphorie autour de l'IA et des semi-conducteurs, Berkshire, avec sa trésorerie record avoisinant 4000 milliards de dollars, avait choisi d'attendre. Cette réserve lui permet aujourd'hui d'investir alors que certains actifs voient leurs prix se rationaliser. L'entreprise réaffirme que les résultats d'investissement trimestriels sont peu significatifs, privilégiant une approche à long terme et disciplinée. La réduction de ses liquidités à environ 3647 milliards de dollars témoigne de cette reprise progressive des déploiements.

marsbitIl y a 7 mins

Après trois années de réduction continue de ses actions, Buffett a finalement passé à l'action

marsbitIl y a 7 mins

Après trois années de ventes nettes d'actions, Buffett passe enfin à l'offensive

Après plus de trois ans (14 trimestres) de vente nette d'actions, Berkshire Hathaway a finalement renoué avec les achats nets au deuxième trimestre 2026, pour un montant d'environ 19,8 milliards de dollars. L'opération la plus significative a été un investissement privé d'environ 10 milliards de dollars dans Alphabet (Google), faisant de celui-ci l'une des cinq principales participations du portefeuille. Sous la direction du nouveau PDG Greg Abel, l'entreprise a également procédé à ses premiers rachats d'actions depuis deux ans, pour environ 4,5 milliards de dollars. Ces mouvements ont entraîné une première baisse notable de son énorme trésorerie, qui est passée d'un pic d'environ 4000 milliards de dollars fin mars à environ 3647 milliards fin juin. Cette reprise des investissements contraste avec l'attente patiente et prudente observée par Berkshire durant les années de frénésie autour de l'IA et des semi-conducteurs, démontrant une fois de plus sa discipline à acheter des actifs de qualité lorsque les prix redeviennent raisonnables, plutôt que de suivre les tendances du marché à court terme.

Odaily星球日报Il y a 14 mins

Après trois années de ventes nettes d'actions, Buffett passe enfin à l'offensive

Odaily星球日报Il y a 14 mins

Conception de puces : « Restructuration des flux de trésorerie » et « Fenêtre de transition capacitaire » de la rente institutionnelle

La première moitié de 2026 révèle une fracture extrême dans la conception de puces en Chine : d’un côté, des entreprises comme Jiangbolong (bénéfice +74394%) ou Cambricon profitent massivement ; de l’autre, des acteurs comme Star Power voient leurs profits s’effondrer. Cette divergence ne s’explique ni par la logique manufacturière ni par celle financière, mais par un transfert institutionnel de rente. Les données montrent une hausse vertigineuse des prix des mémoires (DRAM +90-95% au Q1) alors que les volumes exportés n’augmentent que de 4%. Les bénéfices de certains fabricants proviennent donc d’un transfert forcé de la rente depuis les secteurs aval (ex. automobile, rentabilité à 3,4%), sous l’effet de contraintes d’approvisionnement et de politiques de conformité (« remplacement par des produits nationaux »). Le prix d’une puce devient : coût physique + rente institutionnelle. Ce mécanisme, souvent critiqué, opère cependant une restructuration cruciale des flux de trésorerie. Pour la première fois, des entreprises de conception disposent de cash-flow positif issu de leur activité, brisant le cercle vicieux « pas de clients → pas de R&D → pas de produits ». Cette manne financière, si elle est investie dans des cycles de R&D longs (p. ex. puces pour IA, automotive), peut ouvrir une fenêtre de transition capacitaire. La fenêtre semble durable : pénuries annoncées jusqu’en 2030, durcissement des contrôles américains à l’export, et politiques chinoises évoluant de la subvention à l’intégration écosystémique (ex. adaptation des grands modèles d’IA aux puces nationales). Pendant ce temps, les entreprises du côté « payeur » de la rente (ex. Star Power) subissent un assainissement par le marché, les poussant à des gains d’efficacité et à des partenariats plus profonds avec les clients. Certaines sociétés, comme Montage Technology ou Fudan Microelectronics, croissent déjà sur la base de barrières technologiques et d’une demande de marché réelle, montrant la voie d’une croissance autonome au-delà de la rente institutionnelle. Ainsi, la distribution de rente crée une opportunité historique : transformer des flux de trésorerie artificiels en capacités technologiques durables. La clé pour les investisseurs est d’identifier les entreprises qui utilisent cette trésorerie pour bâtir une indépendance réelle, laissant derrière elles le statut de simple percepteur de rente.

marsbitIl y a 33 mins

Conception de puces : « Restructuration des flux de trésorerie » et « Fenêtre de transition capacitaire » de la rente institutionnelle

marsbitIl y a 33 mins

Karpathy dit qu'il faut encore dix ans, mais cette voie est déjà bondée

L'apprentissage continu (Continual Learning) est devenu l'un des concepts les plus chauds en IA, visant à permettre aux modèles de langue (LLM) d'apprendre de nouvelles tâches et connaissances après leur déploiement, sans oublier ce qu'ils ont appris auparavant. Le principal défi est l'« oubli catastrophique », où la mise à jour des paramètres du modèle pour de nouvelles connaissances érode ses capacités antérieures. L'article présente plusieurs approches pour résoudre ce problème : 1. **Mémoire externe** : Stocker les nouvelles connaissances dans des bases de données externes (comme MemGPT, Letta) et les récupérer via des systèmes de mémoire d'agent ou des wikis structurés (comme le projet LLM Wiki de Karpathy). C'est sûr mais ne permet pas une véritable internalisation. 2. **Ingénierie du contexte** : Faire évoluer le contexte d'entrée lui-même, comme dans l'ACE (Agentic Context Engineering), qui utilise un « playbook » mis à jour de manière incrémentielle grâce à l'auto-réflexion sur les succès et les échecs. 3. **Post-formation continue** : Adapter les poids du modèle via un finetuning continu (par ex., LoRA) tout en luttant contre l'oubli. Des méthodes comme l'auto-distillation (SDFT) permettent au modèle d'apprendre de nouvelles compétences sans trop oublier les anciennes. 4. **Pré-formation continue** : Continuer l'entraînement préliminaire du modèle sur de nouveaux corpus, bien que cela soit coûteux et risque l'oubli. 5. **Nouvelles approches radicales** : Des idées comme SEAL (modèles s'auto-modifiant via des instructions en langage naturel) ou l'« apprentissage imbriqué » (Nested Learning) de Google repensent l'apprentissage lui-même, visant à créer des architectures qui s'adaptent et consolident les connaissances à différentes échelles de temps. En conclusion, aucune solution unique n'a encore totalement résolu l'apprentissage continu. Une approche hybride et hiérarchique semble probable : une mémoire externe et un contexte intelligent pour les connaissances à court terme et changeantes, combinés à des mises à jour paramétriques prudentes pour les capacités durables. Le domaine est très actif, passant d'une lacune théorique à un champ de recherche et d'innovation concret avec plusieurs pistes explorées simultanément.

marsbitIl y a 37 mins

Karpathy dit qu'il faut encore dix ans, mais cette voie est déjà bondée

marsbitIl y a 37 mins

Tendances du marché américain (10 août) : Non-farm en baisse de 23 000, l'inflation reprend le relais pour tester de nouveaux sommets

Le marché boursier américain a enregistré sa plus forte semaine de gains depuis mi-avril, porté par un rebond des valeurs technologiques et un ajustement des anticipations de taux. Les indices S&P 500 et Dow Jones ont atteint des records de clôture. Les performances sectorielles ont été mitigées, avec des technologies et des biens de consommation cycliques en tête, tandis que l'énergie a reculé. Les résultats d'entreprises et les perspectives continuent de dicter les mouvements individuels. Les discussions entre l'Iran et Oman concernant le détroit d'Ormuz sont avancées, mais la réouverture effective de cette voie maritime cruciale reste liée à des conditions non remplies, notamment la levée des sanctions. Des attaques récentes en Arabie Saoudite maintiennent la pression sur les prix du pétrole, qui pourraient influencer les anticipations d'inflation et les rendements obligataires. Berkshire Hathaway a accru ses investissements et rachats d'actions, réduisant ses liquidités. Le Sénat américain a repoussé le risque d'arrêt des services gouvernementaux en adoptant un projet de loi de financement temporaire. Le calendrier de la semaine est dominé par l'inflation américaine (IPC de juillet), les ventes au détail et les résultats d'entreprises clés du secteur de l'IA. Les mauvaises données sur l'emploi du mois dernier ont réduit la probabilité d'une hausse des taux en septembre. La direction des marchés dépendra désormais de l'évolution de l'inflation et des bénéfices des entreprises pour confirmer les niveaux actuels des indices.

marsbitIl y a 41 mins

Tendances du marché américain (10 août) : Non-farm en baisse de 23 000, l'inflation reprend le relais pour tester de nouveaux sommets

marsbitIl y a 41 mins

Trading

Spot

Articles tendance

Comment acheter ACE

Bienvenue sur HTX.com ! Nous vous permettons d'acheter Fusionist (ACE) de manière simple et pratique. Suivez notre guide étape par étape pour commencer votre parcours crypto.Étape 1 : Création de votre compte HTXUtilisez votre adresse e-mail ou votre numéro de téléphone pour ouvrir un compte sur HTX gratuitement. L'inscription se fait en toute simplicité et débloque toutes les fonctionnalités.Créer mon compteÉtape 2 : Choix du mode de paiement (rubrique Acheter des cryptosCarte de crédit/débit : utilisez votre carte Visa ou Mastercard pour acheter instantanément Fusionist (ACE).Solde ：utilisez les fonds du solde de votre compte HTX pour trader en toute simplicité.Prestataire tiers ：pour accroître la commodité d'utilisation, nous avons ajouté des modes de paiement populaires tels que Google Pay et Apple Pay.P2P ：tradez directement avec d'autres utilisateurs sur HTX.OTC (de gré à gré) : nous offrons des services personnalisés et des taux de change compétitifs aux traders.Étape 3 : stockage de vos Fusionist (ACE)Après avoir acheté vos Fusionist (ACE), stockez-les sur votre compte HTX. Vous pouvez également les envoyer ailleurs via un transfert sur la blockchain ou les utiliser pour trader d'autres cryptos.Étape 4 : tradez des Fusionist (ACE)Tradez facilement Fusionist (ACE) sur le marché Spot de HTX. Il vous suffit d'accéder à votre compte, de sélectionner la paire de trading, d'exécuter vos trades et de les suivre en temps réel. Nous offrons une expérience conviviale aux débutants comme aux traders chevronnés.

102 vues totalesPublié le 2024.12.10Mis à jour le 2026.06.02

Discussions

Bienvenue dans la Communauté HTX. Ici, vous pouvez vous tenir informé(e) des derniers développements de la plateforme et accéder à des analyses de marché professionnelles. Les opinions des utilisateurs sur le prix de ACE (ACE) sont présentées ci-dessous.

Catégories populaires

Actualités des projets2,006 actualités