Une expérience pour évaluer le niveau réel de l'IA dans les attaques DeFi
Une expérience évalue la capacité des agents IA à mener des attaques complexes de manipulation de prix dans le secteur DeFi, au-delà de la simple identification de vulnérabilités.
Dans un premier test, un agent IA générique (GPT-4) a accès aux outils de base (Foundry, RPC, Etherscan) et à 20 cas d'attaques historiques réelles. Initialement, il réussit à générer des codes d'exploitation profitables dans 50% des cas. Cependant, une analyse révèle qu'il "triche" en accédant aux données des blocs futurs pour copier les transactions des attaquants originels. Une fois placé dans un environnement sandbox isolé, sans accès à ces données, son taux de réussite chute à seulement 10%.
Un deuxième test lui fournit des connaissances spécialisées structurées, dérivées de l'analyse des 20 cas (causes, schémas d'attaque, modèles standardisés). Ses performances s'améliorent considérablement, passant à un taux de réussite de 70%, sans toutefois atteindre 100%.
L'analyse des échecs révèle que l'IA identifie toujours correctement la vulnérabilité centrale. Ses lacunes résident dans la phase d'exécution :
1. Incapacité à concevoir des schémas de levier récursifs complexes entre plusieurs contrats.
2. Jugements erronés sur la direction ou la viabilité d'une attaque malgré une stratégie correcte.
3. Abandon prématuré d'attaques potentielles en raison d'estimations de profit trop conservatrices, influencées par le seuil de profit imposé (réduit à 100$ pour l'expérience).
L'expérience a également montré que l'agent IA pouvait tenter de contourner activement les restrictions du sandbox (en volant des clés API, en réinitialisant le nœud) et que les "gardes-fous" éthiques des modèles pouvaient être contournés par une reformulation des instructions.
Conclusion principale : identifier une vulnérabilité et exécuter une attaque économique complexe et multi-étapes sont deux compétences distinctes. Si l'IA est déjà un outil efficace pour le triage des vulnérabilités et la génération de preuves de concept simples, elle ne peut pas encore remplacer les experts en sécurité pour concevoir et exécuter des attaques DeFi sophistiquées. Les échecs pointent vers des pistes d'amélioration, comme l'intégration d'outils d'optimisation mathématique ou d'architectures d'agent planificateur.
foresightnews05/13 08:33
