¿En serio? ¿La ingeniería de prompts puede publicar en ICML ahora???
Recientemente, un usuario compartió en Reddit un artículo recién aceptado para ICML 2026, y el post se volvió viral al instante, con los comentarios aumentando rápidamente.
Sin embargo, todos se quedaron perplejos: ¿Esto es posible?
No propone ningún nuevo algoritmo de optimización, ni entrena un nuevo modelo grande. Los autores solo hicieron una cosa:
Modificar el Prompt.
El artículo propone un método llamado Verbalized Sampling (VS, Muestreo Verbalizado) que, simplemente ajustando el prompt, puede mejorar significativamente la diversidad de las salidas de los modelos grandes, mitigando el problema de Mode Collapse (Colapso Modal) que ha plagado a los LLMs durante mucho tiempo.
Suena bastante valioso en la práctica, pero, ¿es correcto que solo un truco de prompts pueda llegar a una conferencia de primer nivel?
Mejor echemos un vistazo al artículo antes de juzgar.
Un artículo de ICML que genera gran controversia
¿Alguna vez has tenido la sensación de que la IA se está volviendo cada vez más homogénea?
Si le preguntas diez veces "Cuéntame un chiste", las respuestas suelen ser muy similares. Y no solo ocurre con tareas creativas, sino también al responder preguntas, generar código...
Este fenómeno se conoce académicamente como Colapso Modal.
En pocas palabras, el modelo tiende cada vez más a generar la respuesta más probable, más segura y más clásica, rechazando enfoques creativos y alternativos.
Para solucionar este problema del modelo, la mayoría de los investigadores pensarían primero en ajustar parámetros de muestreo, modificar algoritmos de decodificación, reentrenar, etc. Pero este artículo toma un camino diferente: simplemente hace que el modelo también genere su propio proceso de muestreo.
Por ejemplo, volviendo al chiste mencionado anteriormente, los autores modificarían el prompt para pedir al modelo:
Genera 5 chistes, y asigna un valor de probabilidad posible a cada uno.
Entonces el modelo puede producir respuestas más diversas y menos repetitivas.
Suena muy simple, ¿verdad? De hecho, esta es la contribución principal del artículo: el método de Muestreo de Probabilidades Verbalizado. Ni siquiera se necesita fine-tuning, solo cambiar la forma de hacer la pregunta puede mejorar enormemente la diversidad del contenido.
Sin embargo, en el artículo, los autores respaldan esto con un proceso de argumentación riguroso.
En primer lugar, abordan la causa fundamental de la homogeneidad del modelo.
Anteriormente, la academia atribuía este problema al nivel algorítmico, por ejemplo, que el modelo de recompensa no era suficientemente bueno o que la penalización KL no estaba configurada adecuadamente. Este artículo investiga más a fondo y argumenta que la raíz real del problema está en los propios datos de preferencias.
Introducen un concepto llamado Sesgo de Tipicidad. Desde una perspectiva de psicología cognitiva, los anotadores humanos prefieren naturalmente textos familiares, fluidos y convencionales, otorgando inconscientemente puntuaciones más altas a respuestas estereotipadas y generalizadas.
Por lo tanto, incluso si el modelo de recompensa y los algoritmos de optimización fueran perfectos, siempre que los datos de preferencias humanas utilizados para el entrenamiento tengan un sesgo de tipicidad inherente, el modelo alineado seguirá sufriendo colapso modal.
Para respaldar esto, los autores realizaron pruebas repetidas en cinco conjuntos de datos de preferencias y diferentes modelos base, y las conclusiones fueron consistentes.
Una vez comprendido esto, los autores argumentan que, dado que el problema está arraigado en los datos de entrenamiento, solo se necesita diseñar una solución en la etapa de inferencia para corregirlo. Es decir, mediante un prompt que haga que el modelo genere su distribución de probabilidad completa, se puede reactivar la distribución de salida diversa que el modelo poseía originalmente en la fase de preentrenamiento, recuperando así la diversidad.
El resto consistió en ejecutar este método en varios escenarios. Los resultados mostraron que, en tareas de escritura creativa, la diversidad era 1.6~2.1 veces mayor que con prompts normales, sin reducir la precisión factual del contenido ni los niveles de seguridad del modelo.
Además, cuanto más potente sea el modelo y mayor sea su número de parámetros, más pronunciado será el efecto de mejora de la diversidad aportado por VS.
Así que, aunque el método presentado en este artículo sea simple, ICML finalmente lo aceptó.
Polémica en Reddit
Sin embargo, en el hilo original de Reddit, las opiniones sobre este artículo están muy divididas.
Muchos usuarios expresaron que antes, en ICML, se presentaban innovaciones sólidas como nuevos modelos, nuevos algoritmos o nueva teoría. Consideran que solo trabajar en prompts u optimizaciones del flujo de inferencia no califica como investigación seria en machine learning.
En comparación, la innovación de este trabajo parece algo limitada y también presenta varios problemas:
Primero, métodos similares de redacción de instrucciones no son exclusivos, e incluso algunos afirman que ya escribían prompts así. Segundo, la teoría no es fácil de verificar, ya que un prompt podría dejar de funcionar con otro modelo, a diferencia de un algoritmo que es más estable. Tercero, la escala experimental es limitada, insuficiente para demostrar que sea una regla universal.
Algunos usuarios incluso comparan la situación actual en el campo del machine learning con la crisis académica que sufrió la psicología hace más de una década.
En aquel entonces, muchos investigadores tenían bases estadísticas débiles y abusaban de las herramientas estadísticas, lo que llevó a que las conclusiones de muchos artículos no fueran replicables, provocando una grave crisis de confianza en la industria. Ahora, la industria del machine learning también depende en gran medida de experimentos empíricos, menospreciando el apoyo de una teoría rigurosa.
La intensa competencia interna persigue nuevos métodos, pero prevalece una atmósfera de ajuste excesivo de parámetros y búsqueda de puntuaciones en benchmarks. Muchos de los llamados algoritmos innovadores apenas tienen valor práctico para implementación en comparación con modelos base maduros, y se empaquetan como logros innovadores basándose en pequeñas mejoras en métricas.
En esencia, se trata de un problema de publicación de artículos causado por la falta de normas claras en una disciplina en rápida expansión.
Pero los partidarios argumentan que la investigación científica no consiste en ver quién tiene el método más complejo. Siempre que la hipótesis sea clara, los experimentos sean sólidos y los resultados sean estables y replicables, también puede tratarse de una investigación excelente.
Por ejemplo, este artículo explica exhaustivamente qué es el colapso modal y propone que el verdadero problema reside en la preferencia por la tipicidad, una perspectiva más importante que el prompt en sí mismo.
Uno de los autores respondió en los comentarios, indicando que este artículo, aunque parece simple, en realidad involucra un proceso de tratamiento muy complejo.
Todo el trabajo incluye un rastreo completo del problema, una nueva atribución teórica, derivaciones matemáticas y experimentos cuantitativos multidimensionales, no es un trabajo superficial de ajuste de prompts sin sustancia.
Muchos también mencionaron la Cadena de Pensamiento (CoT). Cuando CoT apareció por primera vez, en esencia también era un simple prompt:
Pensemos paso a paso. (Let’s think step by step.)
Pero hoy en día, casi todos los métodos de razonamiento pueden rastrearse hasta CoT. Esto demuestra precisamente que la ingeniería de prompts ya no es simplemente escribir prompts; se está convirtiendo en un nuevo método para estudiar el comportamiento de los modelos.
Durante las últimas décadas, la investigación en machine learning se ha centrado casi por completo en el entrenamiento. Pero ahora, algunas técnicas de uso en la fase de inferencia también se están abriendo camino hacia el núcleo de la investigación en machine learning.
Quizás en los próximos años veremos más artículos como este. No añaden una sola línea de código de entrenamiento ni un solo parámetro al modelo, pero aún así pueden cambiar los límites de las capacidades de los modelos grandes.
Presentación del equipo de investigación
Finalmente, echemos un vistazo al equipo de investigación.
Este trabajo fue realizado en colaboración por el equipo de Weiyan Shi de la Universidad Northeastern (EE.UU.), el laboratorio Manning de Stanford y la Universidad de Virginia Occidental. Jiayi Zhang, Simon Yu y Derek Chong son los primeros autores conjuntos.
Jiayi Zhang realizó su licenciatura en la Universidad de Michigan, obteniendo tres títulos en Ciencias de la Computación, Matemáticas y Lingüística. Luego cursó una maestría en Ciencias de la Computación en la Universidad Northeastern (EE.UU.).
Otro de sus artículos, aceptado en la conferencia de primer nivel de PLN NAACL 2024, titulado "Analyzing the Role of Semantic Representations in the Era of Large Language Models", también se centra en las representaciones semánticas y los modelos grandes.
Simon Yu actualmente está cursando su doctorado en la Universidad Northeastern (EE.UU.). Su investigación se centra principalmente en los mecanismos de alineación y aprendizaje por refuerzo en modelos grandes. Completó su licenciatura y maestría en la Universidad de Edimburgo y ha publicado varios artículos en conferencias de primer nivel.
Además de este artículo, otro suyo titulado "Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents" también fue aceptado en ICML 2026.
Derek Chong se graduó con una maestría en la Universidad de Stanford. Actualmente es investigador en el Laboratorio de Inteligencia Artificial de Stanford, y su investigación se centra principalmente en PLN con modelos grandes.
Tiene una experiencia de tres años como fundador/emprendedor y trabajó en Ello como científico aplicado, participando en el desarrollo e implementación de IA en la industria. Combina una sólida base teórica con una amplia experiencia práctica de primera línea.
Enlaces de referencia:[1]https://www.reddit.com/r/MachineLearning/comments/1uv1xb3/promptengineering_paper_accepted_to_icml_r/
[2]https://www.linkedin.com/in/jiayizx/[3]https://simonucl.github.io/[4]https://www.linkedin.com/in/derekch/
Este artículo proviene del WeChat Official Account "QbitAI", autor: Atención a la tecnología de vanguardia.
