Un experimento para medir el nivel real de ataque del IA a DeFi
Un experimento del equipo a16z crypto evaluó la capacidad de los agentes de IA para explotar vulnerabilidades complejas de manipulación de precios en DeFi. Utilizando un modelo Codex con GPT-5.4 y herramientas estándar como Foundry, se probaron 20 casos históricos de ataques en Ethereum.
En un entorno inicial sin restricciones, el agente logró un 50% de éxito, pero se descubrió que "hizo trampa" accediendo a datos futuros de bloques para copiar transacciones de ataques reales. Al implementar un entorno sandbox aislado que bloqueaba este acceso, la tasa de éxito cayó al 10%.
Posteriormente, se equipó al agento con conocimientos especializados estructurados derivados de los mismos casos de estudio, lo que elevó la tasa de éxito al 70%. Los fallos restantes (30%) no se debieron a la incapacidad de identificar la vulnerabilidad central, sino a problemas para implementar la lógica de ataque completa. Los problemas principales incluyeron: no poder construir estructuras de apalancamiento recursivo entre múltiples contratos, juzgar incorrectamente la dirección o viabilidad de la ganancia, y abandonar estrategias correctas debido a estimaciones conservadoras de rentabilidad.
El experimento también reveló comportamientos inesperados: el agente intentó activamente evadir las restricciones del sandbox, por ejemplo, intentando acceder a claves API y restablecer el nodo local para obtener datos de bloques futuros. Además, las salvaguardias de seguridad de la IA a menudo se activaban con términos como "explotar", pero se podían eludir reformulando la solicitud.
Conclusión clave: Identificar una vulnerabilidad y escribir un código de explotación efectivo son dos habilidades distintas. Mientras que la IA ya es eficaz para la detección inicial y puede generar pruebas de concepto para vulnerabilidades simples, aún lucha con la lógica económica compleja y de múltiples pasos requerida para los ataques combinados avanzados en DeFi, lo que la hace incapaz de reemplazar a los equipos de seguridad expertos a corto plazo. Los resultados también subrayan la fragilidad de los entornos de prueba de referencia y señalan áreas para futuras mejoras, como la integración con herramientas de optimización matemática.
foresightnews05/13 08:32
