Sécurité de l'IA, l'ère a changé !
Greg Brockman, cofondateur et président d'OpenAI, a averti dans son dernier article de blog :
L'incident de sécurité de HuggingFace a permis au monde extérieur de voir clairement pour la première fois que les agents d'IA de pointe sont déjà capables de rechercher de manière autonome des vulnérabilités de sécurité et d'exécuter des chaînes d'attaque réelles dans le monde du réseau.
Lors de cet incident de sécurité lié à l'IA, GPT 5.6 Sol avec des restrictions de sécurité réduites et un modèle plus puissant non publié ont exploité de manière autonome des vulnérabilités présentes dans l'environnement pour s'échapper du bac à sable et pénétrer horizontalement plusieurs systèmes, finissant par pénétrer dans l'environnement de production de Hugging Face, le tout pour obtenir une réponse.
Bien que les deux parties aient finalement déclaré que l'incident n'avait pas eu de conséquences trop graves, cette "intrusion par l'IA" a également envoyé un signal de plus en plus clair au public :
L'IA réduit considérablement le seuil d'entrée pour les attaques réseau ; à l'avenir, il ne sera pas nécessaire de mobiliser des hackers d'élite, même des personnes ordinaires pourront lancer des attaques de pénétration en masse avec l'aide de l'IA.
Et ce qui est inquiétant, c'est que le côté attaque a déjà atteint l'automatisation par l'IA, mais le côté défense semble ne pas avoir encore suivi le rythme.
À cet égard, Greg Brockman a partagé avec franchise dans son dernier blog les quatre mesures de sécurité qu'OpenAI est en train de prendre, ainsi que les dix mesures que les défenseurs peuvent mettre en œuvre rapidement, en déclarant :
Actuellement, la fenêtre d'action clé pour la défense est désormais ouverte. Dans les prochains mois, seules les entreprises qui augmenteront considérablement le niveau d'automatisation de leurs systèmes de sécurité pourront résister aux nouvelles menaces posées par les agents d'IA et maintenir une ligne de sécurité de base.
Presque aucune entreprise ne peut rester à l'écart
Alors, à quel niveau les capacités d'attaque des agents d'IA se sont-elles développées ?
Après l'incident de sécurité de Hugging Face, Brockman a décidé de tester son site web personnel gregbrockman.com.
Il s'agit d'un site statique à la structure simple, et selon son jugement, un tel site aux fonctionnalités limitées et à la surface d'attaque réduite ne devrait pas contenir beaucoup de problèmes.
Mais le résultat l'a grandement surpris.
Après avoir demandé à ChatGPT Work équipé de GPT-5.6 Sol d'inspecter le site, en seulement environ 15 minutes, le système a découvert 13 problèmes de sécurité, par exemple, le site n'était pas correctement configuré avec des enregistrements DNS, un attaquant pourrait envoyer des e-mails usurpant l'identité de Brockman, etc.
△
Pris individuellement, ces problèmes peuvent ne pas tous entraîner directement des conséquences graves. Mais les attaques réseau n'exploitent souvent pas une seule vulnérabilité, elles enchaînent plusieurs brèches insignifiantes ;
Par exemple, une mauvaise configuration expose des informations, des identifiants divulgués ouvrent une porte d'entrée, ajoutés à une autre faille d'autorisation, peuvent finalement aboutir à une véritable intrusion.
Brockman en tire un jugement inquiétant :
Toutes les "dettes techniques" et "rustines temporaires" laissées par chaque entreprise dans le développement de systèmes pour gagner du temps ou simplifier le travail sont comme des bombes à retardement enfouies dans les murs... Elles semblent inoffensives en temps normal, mais une fois que des hackers les ciblent, ces négligences passées et ces dettes peuvent à tout moment devenir des vulnérabilités mortelles faisant s'effondrer le système.
Plus crucial encore, ces "vulnérabilités à longue traîne" qui nécessitaient auparavant beaucoup de temps aux experts en sécurité pour être trouvées, deviennent de plus en plus faciles à détecter par l'IA.
Mais la bonne nouvelle est que si les attaquants peuvent utiliser l'IA pour trouver des failles, les défenseurs peuvent aussi utiliser l'IA pour les corriger.
Après avoir identifié les problèmes, Brockman a demandé à ChatGPT Work de procéder directement aux réparations ; de l'identification des failles de sécurité à la mise en œuvre des correctifs, l'agent d'IA n'a mis qu'une heure pour exécuter l'ensemble du processus.
C'est aussi un autre rôle des agents d'IA selon Brockman :
Il n'est pas seulement un attaquant potentiel, il peut aussi devenir un "gardien du réseau" infatigable, traitant pour nous ces détails de sécurité que nous n'avons pas le temps de vérifier ou que nous ne savons pas comment configurer correctement.
Et pour OpenAI, au centre de cette tempête, cette approche de "défense par l'IA contre l'IA" n'est déjà plus une simple idée, mais est systématiquement utilisée pour se protéger.
Comment OpenAI utilise-t-il l'IA pour se protéger ?
Greg Brockman admet que l'incident de Hugging Face a sonné l'alarme chez OpenAI, ils avaient sous-estimé la puissance d'attaque des modèles de pointe dans des environnements réseau réels.
À cette fin, OpenAI renforce en interne les mesures de sécurité associées et divulgue pour la première fois publiquement quatre orientations de défense, espérant fournir une référence d'action aux pairs de l'industrie.
Premièrement, utiliser Codex pour garder l'entrée du code
Brockman indique qu'ils utilisent Codex et ses capacités de sécurité pour examiner les modifications de code avant déploiement, identifier les vulnérabilités et aider à les corriger, réduisant ainsi le temps entre la découverte d'un problème et le déploiement sécurisé d'un correctif.
Deuxièmement, laisser l'IA effectuer une classification et une analyse intelligentes des alertes de sécurité initiales
Actuellement, presque toutes les alertes de sécurité initiales chez OpenAI sont d'abord classées et analysées par un système intelligent, puis transmises aux humains.
Certains résultats de détection déclenchent également des réponses automatiques aux périmètres bien définis, réduisant ainsi le travail répétitif, permettant aux experts de se concentrer sur les décisions à haut risque et finalement de répondre aux menaces à la vitesse de la machine.
Troisièmement, rechercher activement et anticiper les chemins d'attaque potentiels
OpenAI utilise des modèles de pointe pour rechercher continuellement des vulnérabilités, des configurations erronées, des comptes avec des privilèges excessifs et des limites de confiance formées accidentellement.
L'IA se place du point de vue de l'attaquant pour identifier à l'avance les maillons faibles qui pourraient être enchaînés pour former une chaîne d'attaque, et les bloquer avant qu'une véritable attaque ne se produise.
Quatrièmement, continuer à combler les bases de la sécurité
Brockman souligne que l'IA ne peut pas remplacer les mesures de sécurité traditionnelles.
L'isolation réseau, le durcissement des charges de travail, la surveillance continue, l'application des correctifs de sécurité et autres mesures de sécurité traditionnelles deviendront au contraire encore plus importantes à l'ère de l'IA.
De l'utilisation de Codex pour garder l'entrée du code à l'anticipation des risques par l'IA, en passant par le renforcement continu des bases de sécurité, OpenAI est en train de construire un système de défense "en couches". Son avantage est le suivant :
Même si une ligne de défense est percée, l'attaquant doit encore franchir successivement plusieurs barrières non liées entre elles pour potentiellement causer des dommages mortels.
Cela fournit également une piste de réflexion en matière de sécurité pouvant servir de référence à l'industrie.
Mais mettre en place des défenses n'est que la première étape. Face aux attaques par l'IA qui sont déjà arrivées à un rythme accéléré, que doivent faire les défenseurs de plus ?
Que doivent faire les défenseurs maintenant ?
Le conseil de Greg Brockman est direct :
Plutôt que de s'embarrasser avec le choix des outils, il vaut mieux rapidement intégrer l'IA de pointe dans les travaux de défense.
△
Concrètement, il donne dix recommandations d'action. Elles peuvent être grossièrement regroupées en trois étapes, à savoir :
D'abord intégrer l'IA dans le travail de sécurité, puis l'intégrer dans le processus de développement, et enfin augmenter progressivement le degré d'automatisation de l'ensemble du système.
Première étape, intégrer l'IA dans le travail de sécurité, créer un Agent dédié
Les entreprises doivent d'abord fournir suffisamment de ressources et de mécanismes de collaboration aux équipes de sécurité et d'ingénierie, et se familiariser à l'avance avec les attaques par l'IA via des simulations.
Ensuite, les entreprises peuvent équiper les équipes de sécurité d'outils d'Agent comme Codex, Codex Security, etc., en commençant par les systèmes présentant le risque le plus élevé, et leur donner l'accès aux codes, configurations et documents techniques nécessaires.
Simultanément, les équipes de sécurité et d'ingénierie doivent donner à l'Agent une formation spécialisée en sécurité, afin qu'il puisse pleinement combiner des capacités d'analyse statique, de revue de code, d'analyse des vulnérabilités et d'évaluation de la chaîne d'approvisionnement, ainsi que l'architecture réelle de l'entreprise, ses modèles de menace et ses manuels de réponse, pour créer un Agent de sécurité dédié à l'équipe.
Deuxième étape, intégrer l'IA dans le processus de développement
Au cours du processus de développement, les équipes de sécurité et d'ingénierie peuvent essayer de collaborer et de se répartir les tâches avec l'IA, en permettant à l'équipe de développement de se concentrer en priorité sur les "zones à haut risque" comme les services externes orientés Internet, l'authentification, les pipelines de déploiement et les systèmes sensibles.
Quant aux alertes de sécurité en attente et aux rapports de vulnérabilités accumulés, ils peuvent être entièrement confiés à l'IA pour le tri et le classement, en extrayant rapidement les éléments de correction les plus urgents.
Avant la fusion du code, l'équipe peut d'abord utiliser l'Agent pour examiner automatiquement les modifications ; après la découverte d'une vulnérabilité, le laisser générer le correctif, écrire les tests de régression et valider l'efficacité de la réparation.
L'avantage d'une telle approche est très tangible :
Les changements clés restent fermement contrôlés par les humains, mais le cycle de découverte à correction des vulnérabilités peut être considérablement raccourci.
Troisième étape, construire progressivement un système complet d'opérations de sécurité autonomes
Enfin, il ne faut surtout pas penser que la construction d'un système de défense automatisé par l'IA puisse se faire "d'un seul coup".
Brockman souligne que les équipes de sécurité peuvent d'abord laisser l'Agent "observer" en lecture seule – à ce stade, l'Agent se contente de scanner le code, de parcourir les alertes historiques.
Une fois la collaboration rodée, on peut progressivement lui laisser participer à la vérification des soumissions de code, au classement des alertes en temps réel, voire à la fermeture automatique des faux positifs évidents.
Simultanément, on peut introduire des modèles comme GPT-Daybreak-Blue pour analyser les logs, les données de télémétrie et les alertes de sécurité, ces "os durs", et affiner continuellement les nouveaux outils via des exercices pratiques internes comme des "semaines de hacking".
C'est en avançant "étape par étape" de cette manière que le système d'opérations de sécurité autonome par l'IA sera naturellement construit.
Mais soyons réalistes, même les défenses d'entreprise les plus parfaites ne peuvent faire face seules à un défi de sécurité qui balaie toute l'industrie.
Brockman souligne :
Pour que les défenseurs dépassent vraiment les attaquants, en plus de consolider leurs propres défenses, il est encore plus nécessaire de transformer l'expérience ponctuelle en une capacité commune à l'ensemble de l'écosystème.
L'écosystème de sécurité de l'IA nécessite une collaboration de toutes les parties
À la fin de son article, Brockman lance un appel à toute l'industrie :
Face aux défis de sécurité de l'IA qui arrivent avec force, aucune organisation ne peut rester à l'écart. Ce n'est qu'en collaborant ensemble que nous pourrons construire une ligne de défense vraiment solide. J'espère que les laboratoires d'IA, les éditeurs de sécurité, les entreprises et les mainteneurs de projets open source pourront partager les découvertes de vulnérabilités éprouvées, les solutions de correction et les manuels d'opération pratiques. Car ce n'est qu'en permettant aux problèmes découverts par une entreprise ou une organisation de se transformer rapidement en capacités défensives pour l'ensemble de l'écosystème que la vitesse d'évolution du côté défense pourra éventuellement dépasser celle du côté attaque. Si toute l'industrie peut combler ensemble cette leçon de sécurité, ce que l'IA apporte pourrait ne pas être seulement des attaques plus féroces, mais aussi peut-être un Internet plus sûr qu'on ne l'imaginait auparavant.
△
Oui, dans cette ère où l'IA évolue et itère à toute vitesse, la véritable sécurité ne consiste jamais à arrêter la technologie, mais à faire en sorte que les capacités défensives rattrapent la vitesse de l'évolution technologique.
L'IA est une épée à double tranchant, elle peut devenir à la fois l'arme tranchante dans les mains des attaquants et le bouclier devant les défenseurs.
Vers quel côté évoluera le monde du réseau à l'avenir dépend de notre capacité à établir à temps des règles, des outils et des mécanismes de collaboration adaptés, à faire en sorte que chaque découverte de vulnérabilité ne protège plus seulement une entreprise, mais devienne un "correctif de sécurité" partagé par toute l'industrie.
Aujourd'hui, la fenêtre pour les défenseurs est ouverte ;
Ce que nous devons réussir, avant qu'elle ne se referme, c'est de faire de l'IA une ligne de défense, et non une brèche.
Liens de référence :
[1]https://blog.gregbrockman.com/the-defenders-window
[2]https://www.youtube.com/watch?v=87DyyMV0kCY
[3]https://huggingface.co/blog/agent-intrusion-technical-timeline
[4]https://www.anthropic.com/system-cards
[5]https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-coding-platform-goes-rogue-during-code-freeze-and-deletes-entire-company-database-replit-ceo-apologizes-after-ai-engine-says-it-made-a-catastrophic-error-in-judgment-and-destroyed-all-production-data
[6]https://openai.com/index/our-views-on-ai-policy-and-political-advocacy/
Cet article provient du compte public WeChat "Quantum Bit", auteur : Suivre les technologies de pointe
