Weng Li propone en su nuevo blog: "La autoevolución debe comenzar con Harness", Cui Tianyi de DeepSeek lo comparte
Lilian Weng, exvicepresidenta de seguridad de OpenAI y cofundadora de Thinking Machines Lab, ha publicado un nuevo artículo en su blog donde discute una vía más realista para la autoevolución de la IA: comenzar mejorando el **Harness**, el sistema externo que gestiona cómo un modelo utiliza herramientas, administra el contexto, divide tareas y evalúa resultados, en lugar de modificar directamente los pesos del modelo desde el principio.
Cui Tianyi, investigador de DeepSeek, respaldó la idea, destacando que la autoevolución en el nivel del Harness es un campo prometedor, comparable a la evolución del propio modelo.
Weng estructura el avance en capas:
1. **Ingeniería de Contexto (Context Engineering):** Optimizar cómo el agente gestiona y actualiza la información en su contexto de trabajo, con enfoques como ACE y MCE.
2. **Diseño de Flujos de Trabajo (Workflow Design):** El modelo no solo sigue, sino que participa en el diseño de los flujos de acción para tareas complejas, como en AI Scientist o ADAS.
3. **Harness Automejorable (Self-Improving Harness):** Aquí el modelo analiza sus propias fallas, propone modificaciones específicas al código del Harness y las valida en un ciclo (Weakness Mining, Harness Proposal, Proposal Validation). Métodos como la **Búsqueda Evolutiva (Evolutionary Search)** o DGM (Darwin Gödel Machine) logran mejoras significativas en benchmarks de código.
Weng señala que el Harness y el modelo se reforzarán mutuamente, pero también destaca límites actuales: evaluadores débiles para tareas subjetivas, el riesgo de "reward hacking", la contracción de la diversidad en ciclos evolutivos y la tensión entre éxito a corto plazo y salud del sistema a largo plazo. Concluye que la competencia futura no solo dependerá de los modelos, sino también de la sofisticación de su Harness, marcando un enfoque de ingeniería crucial para la autoevolución de la IA.
marsbit07/08 10:30
