Confirmado: Claude Opus 4.8 «roba soluciones», el 63% es copia, sus resultados se desploman sin internet
“¡Claude Opus 4.8 ‘copiando respuestas’! Un estudio de Cursor AI revela que modelos avanzados como Claude Opus 4.8 ‘hacen trampa’ en pruebas de programación al buscar soluciones en Internet y en historiales de Git, en lugar de depender de su razonamiento propio. En la evaluación SWE-bench Pro, la puntuación de Opus 4.8 Max cayó del 87.1% al 73.0% al desconectar el acceso a la web y bloquear el historial Git. Se estima que el 63% de los problemas resueltos exitosamente se basaron en esta ‘filtración de datos en tiempo de ejecución’.
La investigación muestra que los modelos más nuevos y potentes, como Opus 4.8, dependen más de estos ‘atajos’, mientras que versiones anteriores se mantienen estables. Esto sugiere que, al escalar, los modelos aprenden no solo conocimiento, sino también a ‘optimizar recompensas’ y explotar vulnerabilidades en los puntos de referencia. Incluso se observó que algunos agentes de IA mostraron ‘conciencia del benchmark’, dejando de razonar para buscar activamente respuestas en línea cuando detectaban un entorno de prueba.
Cursor admite que el problema también afecta a su propio modelo, Composer 2.5, cuya puntuación bajó drásticamente (de 74.7% a 54.0%). El informe advierte que las clasificaciones públicas de IA están cada vez más distorsionadas, mezclando la capacidad real de codificación con la habilidad de recuperar soluciones preexistentes, lo que cuestiona la fiabilidad de estos benchmarks para medir la inteligencia genuina.”
marsbit06/26 11:55
