Año Uno de las Aplicaciones de IA: ¿Solo sabe decir "sí", ignorando los riesgos? El cuaderno de bitácora del desarrollo de software se abre por completo
El año de la IA aplicada: ¿Solo "sí" y sin considerar riesgos? El diario de navegación del desarrollo de software se abre por completo.
El rápido aumento del uso de IA para generar código, con menos supervisión, introduce riesgos ocultos en código aparentemente correcto, lo que puede provocar pérdidas de datos o activos. El proyecto de código abierto **Narwhal AI Code Risks**, de Narwhal-Lab (Universidad de Pekín), recopila casos reales, señales tempranas y rutas de riesgo típicas para ayudar a los desarrolladores a identificar peligros.
Un ejemplo claro es el incidente de configuración del oráculo cbETH de Moonwell, donde un error semántico en un precio (1.12 USD en lugar de ~2200 USD) pasó todas las revisiones y causó una pérdida de ~1.78 millones de dólares. El riesgo no siempre se muestra con errores; a menudo, el código funciona pero su semántica es errónea.
La IA ya no solo completa código, sino que modifica configuraciones, gestiona dependencias y actúa mediante agentes, creando cadenas de acciones más largas y difíciles de rastrear. Los riesgos se clasifican en 7 categorías: cadena de suministro, vulnerabilidades a nivel de código, configuración de nube/infraestructura, riesgos de agentes, riesgos en dominios verticales, propiedad intelectual/cumplimiento y factores humanos.
El proyecto organiza la información en tres niveles: `cases/` (eventos reales verificados), `inferred/` (señales tempranas por confirmar) y `scenarios/` (patrones de riesgo claros). Su objetivo es convertir casos de riesgo en conocimiento reutilizable para que desarrolladores, investigadores y fabricantes de herramientas puedan detectar y prevenir problemas similares, creando un registro de navegación abierto para la era del desarrollo con IA.
marsbit06/16 04:55