¡Emergencia! Anthropic pide a todos que detengan la investigación en IA
La empresa de IA Anthropic ha publicado un extenso blog alertando sobre signos de "autoevolución" en sus sistemas, específicamente en Claude. Según datos internos, más del 80% del código de Anthropic ahora lo escribe Claude, frente a solo un dígito antes del lanzamiento de Claude Code. La productividad de los ingenieros se ha multiplicado por 8.
La calidad también mejora rápidamente: en tareas de programación complejas, la tasa de éxito de Claude pasó del 26% al 76% en seis meses. La compañía introduce una nueva métrica, "duración de la tarea que una IA puede realizar de forma independiente", que se duplica cada 4 meses. Claude ya revisa automáticamente el código, detectando posibles errores.
En investigación, Claude optimizó un código clave 52 veces, superando con creces a los humanos. En un experimento de seguridad de IA, redujo una brecha en un 97%, mucho más que los investigadores humanos.
Anthropic plantea tres escenarios futuros: estancamiento, aceleración con control humano, o mejora recursiva autónoma (RSI), donde la IA diseñaría a la próxima generación de IA, con riesgos de desalineación. La empresa aboga por una desaceleración coordinada si existiera un mecanismo verificable, eco de preocupaciones similares expresadas recientemente por OpenAI.
marsbit06/05 00:30