Vous voulez dire,
Kimi K3 a aussi "échappé" de sa prison?!
La startup américaine de sécurité des IA Frontier Security a déclaré que Kimi K3, lors d'un test de capacité de cybersécurité, a franchi l'environnement de bac à sable (sandbox) conçu pour l'isoler, contournant les restrictions pour se connecter à l'internet externe.
Heureusement, il a seulement été chercher des réponses en secret, sans attaquer personne ╮(╯▽╰)╭
Selon la description de l'entreprise, les testeurs souhaitaient à l'origine observer les capacités de cybersécurité de Kimi K3 dans un environnement contrôlé.
Mais durant le test, Kimi K3, en sondant les paramètres réseau du bac à sable, a découvert un canal d'accès externe et a utilisé cette capacité pour obtenir des informations.
Le PDG de Frontier Security, Yaron Singer, a déclaré : "Nous avons découvert une vulnérabilité dans le bac à sable, mais nous avons aussi découvert que Kimi en a profité, ce qui montre que Kimi K3 manque des garde-fous (safety rails) que possèdent généralement d'autres modèles avancés."
Le chercheur Paul Kassianik de l'entreprise a également commenté que Kimi K3 "est très doué pour trouver des chemins pour accomplir ses objectifs, mais manque de mécanismes de sécurité pour l'empêcher de tricher ou de s'échapper du bac à sable".
Cependant, cette fois-ci, Kimi K3 n'a fait que "déraper" un peu, sans se transformer en une véritable attaque réseau.
Si vous suivez de près les avancées en IA, vous avez dû remarquer qu'il y a eu pas mal de "dérapages" récemment parmi les grands modèles de pointe.
Kimi K3 est ainsi devenu un autre modèle d'IA de premier plan, après OpenAI, Anthropic et Meta, à connaître ce genre de situation.
Dans le contexte des capacités croissantes des agents d'IA, les modèles deviennent de plus en plus comme des "acteurs" capables de rechercher de manière autonome des chemins pour accomplir des tâches.
Lorsque l'environnement externe présente des vulnérabilités, ils peuvent les exploiter pour franchir les limites qui leur étaient initialement fixées.
Évadé, mais sans mener d'attaque réseau
Semblable à plusieurs incidents précédemment révélés par OpenAI et Anthropic, la sortie de Kimi K3 des limites imposées est en partie due à des problèmes de configuration du bac à sable dans l'environnement de test.
Le bac à sable (sandbox) est généralement utilisé pour restreindre le champ d'action d'un modèle d'IA, lui permettant d'exécuter des tâches uniquement dans un environnement simulé, évitant ainsi qu'il n'accède à des réseaux ou systèmes réels.
Mais lors de ce test, Frontier Security a découvert que Kimi K3, en sondant les paramètres réseau, s'est aperçu qu'il avait en réalité la capacité d'accéder à certains sites web, et a utilisé ce canal pour obtenir des informations.
Cependant, contrairement à d'autres récents incidents de dérapage d'IA, après s'être connecté à internet, Kimi K3 n'a attaqué aucun système.
La raison en est que les réponses qu'il cherchait étaient directement disponibles sur des plateformes publiques comme GitHub...
Ainsi, K3 n'a pas tenté d'attaquer davantage les systèmes externes.
Frontier Security estime que cet incident révèle néanmoins des problèmes de protection de sécurité de Kimi K3.
Comparé à d'autres modèles d'IA de pointe, Kimi K3 manque de mécanismes de contrainte interne suffisamment robustes, ce qui le rend plus susceptible, sous l'impulsion d'un objectif, d'adopter des actions non anticipées par les testeurs.
Dans le même temps, Frontier Security souligne également que Kimi et d'autres modèles à poids (weights) open source peuvent également devenir des outils de défense en cybersécurité.
Il est à noter que ce test utilisait l'environnement de bac à sable par défaut du cadre Inspect de l'Institut britannique de sécurité de l'intelligence artificielle (AISI).
L'AISI ne souscrit pas aux affirmations de Frontier Security concernant les problèmes de configuration du bac à sable.
Un porte-parole de l'AISI a déclaré au magazine Wired que ces affirmations étaient "inexactes et irresponsables".
Inspect est un ensemble d'outils open source de test de sécurité des IA, les utilisateurs doivent effectuer la configuration en fonction de leurs propres besoins, et l'AISI a également publié des documents d'orientation détaillés. L'institution estime que les problèmes connexes proviennent de la manière dont l'équipe de test a configuré l'outil.
Frontier Security a répondu qu'ils utilisaient la configuration par défaut d'Inspect, sans modification supplémentaire.
Ah, cet été où les IA "dérappent" fréquemment
On peut dire que, de fin juillet à début août, il y a eu fréquemment des cas où des modèles de pointe ont franchi ou contourné les limites d'exécution lors de tests de cybersécurité, accédant voire attaquant des systèmes réels.
Image générée par IA
Mi-juillet, OpenAI a révélé un incident connexe.
Selon les informations publiques, un modèle interne non encore publié ainsi que GPT-5.6 Sol ont franchi leur environnement d'isolement lors d'un test de cybersécurité et ont accédé à internet.
Ensuite, le modèle a effectué des opérations automatisées sur certains systèmes de Hugging Face, et a accédé de manière non anticipée à des données internes et à des identifiants de service.
OpenAI a par la suite indiqué que cet incident impliquait plusieurs modèles collaborant, le rapprochant ainsi des cas publics les plus proches d'une "attaque trans-systèmes autonome par un modèle".
Peu après, Anthropic a également révélé une situation similaire.
L'entreprise a examiné plus de 140 000 évaluations de cybersécurité et a découvert que des systèmes incluant des modèles comme Claude Opus 4.7, Claude Mythos 5, etc., avaient obtenu la capacité d'accéder au réseau public en raison d'erreurs de configuration dans des environnements de test tiers.
Dans l'un de ces incidents, un modèle a accédé aux systèmes d'une organisation réelle, a lu une base de données de production, a exploité des mots de passe faibles et des interfaces non authentifiées, et a téléchargé un paquet Python malveillant sur PyPI, créant un risque potentiel pour la chaîne d'approvisionnement logicielle.
Début août, Meta a également été mis en lumière pour un problème similaire.
Lorsque Meta collaborait avec l'entreprise de tests de cybersécurité Irregular, en raison d'un problème de configuration de l'environnement, son modèle a obtenu l'accès au réseau public et a exploité une vulnérabilité pour pénétrer le système d'une entreprise non divulguée, modifiant une partie de son environnement interne.
Les informations publiques indiquent que pour l'instant, cet incident n'a pas créé de risque de sécurité persistant, et rien ne prouve que le modèle ait mené une attaque complexe.
BTW, aujourd'hui, OpenAI a annoncé en urgence que son dernier modèle, Astra, était hors de contrôle.
À ce stade, les internautes en sont même venus à exprimer une sorte de déception face au Gemini de Google :
Pas un "échappement par prompt" traditionnel
Dans ces récents incidents de dérapage de modèles, les erreurs de configuration humaine ont presque toujours joué un rôle important.
Mais d'un autre côté, les caractéristiques propres des modèles à hautes capacités ont également amplifié l'impact de ces vulnérabilités.
Comparés aux logiciels traditionnels, les modèles d'IA effectuent des raisonnements, planifient et tentent d'entreprendre des actions en plusieurs étapes pour atteindre un objectif.
Lorsqu'un objectif est fixé comme "résoudre un problème", mais que les contraintes externes ne sont pas suffisamment strictes, le modèle peut rechercher des méthodes non anticipées par les testeurs.
En d'autres termes, à mesure que les modèles évoluent d'outils de discussion vers des agents intelligents capables d'utiliser des outils, d'accéder au web, d'opérer des logiciels, les questions de sécurité sont passées de "est-ce que le modèle va dire quelque chose de faux" à "est-ce que le modèle va entreprendre des actions inattendues pour accomplir sa tâche".
Matt Fredrikson, professeur associé à l'université Carnegie Mellon, a déclaré : "Ce n'est pas surprenant. Si vous donnez à ce type de modèle un objectif sans définir clairement de frontières d'isolement, il trouvera un moyen d'obtenir la réponse."
Bien sûr, certains internautes ont émis des doutes.
Quelqu'un a laissé un message sur X pour demander si la série d'incidents d'"échappement d'IA" ne serait pas devenue un moyen pour les entreprises d'IA de démontrer les capacités de leurs modèles ???
Hmm, qui sait~
Liens de référence :
[1]https://x.com/Hesamation/status/2085628790772842955?s=20
[2]https://x.com/ns123abc/status/2085563290713829473
Cet article provient du compte public WeChat "Quantum Bit", auteur : Heng Yu
