¿Quién dice que la investigación ya no tiene nuevos problemas? ¿Que todos los buenos temas ya han sido ocupados por generaciones anteriores??
¿Y si te digo que—
la mayoría de los artículos publicados en revistas de alto impacto tienen problemas?
Recientemente, investigadores que utilizaron un Agente de IA para "verificar la integridad académica" descubrieron:
De los 92 artículos presentados en la Conferencia Internacional de Aprendizaje Automático (ICML) de 2026, 58 ya no se pueden reproducir.
¿De verdad? ¿Significa esto que realmente hay oportunidades de publicar mucho en revistas de alto impacto?
Los artículos de conferencias de élite están siendo "verificados" colectivamente por la IA
Normalmente, que un artículo sea aceptado en una conferencia de primer nivel significa que ya ha pasado por una revisión por pares.
Sin embargo, debido a limitaciones de tiempo, los revisores casi nunca tienen tiempo para descargar datos desde cero, ejecutar modelos o reproducir experimentos para verificar cada conclusión experimental del artículo.
Mientras tanto, con la explosión en el número de artículos en el campo de la IA, los modelos son cada vez más complejos y la escala de los experimentos cada vez mayor; el código, los datos y la configuración de parámetros detrás de un artículo pueden involucrar cientos de detalles.
La verificabilidad de los artículos se vuelve cada vez más importante: un artículo se publica, pero ¿se pueden reproducir sus conclusiones?
Actualmente, los Agentes de IA han reducido enormemente el costo de esta verificación y reproducción.
El 22 de julio, una empresa estadounidense de revisión de investigación utilizó un Agente de IA para realizar una auditoría sistemática de reproducción de resultados de los 168 artículos presentados oralmente en ICML 2026.
De los 168 artículos, 92 tenían al menos 5 afirmaciones concluyentes verificables.
El resultado final fue: el Agente de IA pudo reproducir con éxito más del 40% de las conclusiones en solo 34 artículos; y pudo reproducir más del 80% de las conclusiones en solo 8 artículos.
Sin embargo, es necesario aclarar que existe una gran diferencia entre "no poder reproducir" y "fraude en la investigación".
Las razones del fracaso en la reproducción incluyen, entre otras, la falta de archivos clave en el código, versiones incompatibles de librerías dependientes, resultados de ejecución que no coinciden con los del artículo, y hubo 4 artículos cuyos modelos dependientes ya no están disponibles en línea, lo que significa que los resultados experimentales ya no pueden ser reproducidos por nadie de manera permanente.
Además, algunos errores fueron bastante descarados—
Por ejemplo, un artículo destacaba como principal ventaja "entrenar solo el 0.77% de los parámetros del modelo base", pero el checkpoint que realmente publicaron había entrenado el 6.31% de los parámetros, una diferencia de aproximadamente 8 veces.
Otro artículo incluía una tabla de confiabilidad basada en un modelo de evaluación específico, pero su código abierto no contenía en absoluto dicho modelo de evaluación, ni ningún script capaz de generar los resultados de la tabla.
Casualmente, en 2026, Hugging Face y AlphaXiv lanzaron conjuntamente el desafío «Agent Reproduction Challenge» dirigido a ICML 2026, invitando a los investigadores a utilizar Agentes de IA de codificación para la reproducción automatizada de los artículos aceptados en ICML 2026, y los resultados tampoco fueron alentadores.
Una tendencia similar, aún más sorprendente, se observa en la detección de errores y omisiones en los artículos.
A finales de 2025, un estudio desarrolló un sistema de verificación de artículos basado en GPT-5 para analizar trabajos ya publicados en conferencias y revistas de IA de primer nivel, buscando problemas objetivamente verificables. Los investigadores declararon explícitamente:
Solo buscamos "errores objetivos", no nos ocupamos de la innovación o el valor de investigación del artículo.
Los resultados finales mostraron que en promedio, cada artículo contenía 4.7 errores objetivos, y el 99.2% de los artículos tenían al menos un problema marcado.
△ Imagen generada por IA
En cuanto al tipo de errores, los matemáticos y de fórmulas fueron los más comunes, con un 54.0% (incluyendo ecuaciones incorrectas, lagunas en la lógica de derivación, suposiciones erróneas en demostraciones, etc.).
Aproximadamente el 30.8% de los artículos de NeurIPS y el 23.8% de los de ILR contenían al menos un error sustancial que podría afectar la interpretación de los resultados.
Es aún más notable la tendencia temporal: el número promedio de errores por artículo en NeurIPS aumentó de 3.8 en 2021 a 5.9 en 2025, un incremento del 55.3%.
......
Quizás en el futuro, la publicación de un artículo ya no signifique la "victoria" de una investigación, sino solo el comienzo de una nueva ronda de verificación por IA.
Gran beneficio para los novatos académicos: publicar en revistas de alto impacto sin hacer experimentos
Así que, amigos, para quienes están preocupados por encontrar un tema de investigación, esto podría ser una "ventaja" bastante inesperada.
Revisar la literatura en busca de errores y escribir correcciones o erratas siempre ha sido una forma legítima de producción en el mundo académico. Ahora parece ser un "océano azul" académico total.
¿Cómo empezar? Aquí hay algunos consejos para los novatos académicos que luchan por encontrar un tema:
Primero, cambiar el enfoque de investigación: no competir en la frontera, sino examinar el pasado.
Pasar de "buscar nuevos temas" a "buscar anomalías en artículos antiguos", centrándose especialmente en aquellos artículos clásicos muy citados pero con poca controversia. Después de todo, "el 99.2% de los artículos tiene al menos un error".
Segundo, dejar que la IA te ayude a crear mapas de conocimiento y árboles genealógicos de investigación.
Este tipo de mapas de conocimiento pueden ayudarte a comprender: ¿cuáles son los trabajos fundacionales reales? ¿Qué puntos de vista de investigación son actualmente controvertidos? ¿Qué conclusiones son muy citadas pero carecen de verificación? ¿Cuál es la relación de citas entre diferentes artículos? Así podrás encontrar conexiones y anomalías que antes eran difíciles de detectar.
Tercero, Pregunta cualquier cosa.
Muchos avances importantes en la historia de la ciencia no provienen de plantear preguntas completamente nuevas, sino de reexaminar una suposición aceptada durante mucho tiempo.
Por ejemplo: ¿Se ha verificado un experimento clásico según los estándares actuales? ¿Una conclusión ampliamente citada tiene condiciones limitantes que no se han notado?
En el pasado, este tipo de cuestionamiento tenía un costo muy alto, ya que los investigadores necesitaban invertir mucho tiempo consultando la literatura original y comparando detalles experimentales. Ahora, la IA ha reducido ese costo casi a cero.
La IA podría comenzar a reordenar la historia de la ciencia
Recientemente, el teórico químico Pios, de un laboratorio en Zhejiang, al usar IA para predecir los puntos de ebullición molecular, descubrió que los resultados entraban en conflicto evidente con una base de datos química de hace 75 años.
Ante esto, la primera reacción de cualquiera probablemente sería "entonces seguro que me equivoqué yo".
Pios no fue la excepción, y rápidamente revisó su modelo. Pero tras rastrear manualmente la literatura original, descubrió: ¡Vaya, resulta que la IA tenía razón!
Sorprendido, Pios continuó verificando con IA y descubrió que incluso una medición de punto de ebullición de hace aproximadamente un siglo, considerada autoridad en el campo, también estaba equivocada.
Hay que considerar que estos datos han sido citados y absorbidos por investigaciones posteriores año tras año.
El hecho de que este tipo de problemas no se detectaran antes podría estar relacionado directamente con la escala de la literatura científica.
△ Imagen generada por IA
La cantidad de artículos científicos modernos ha superado con creces el límite de lectura de cualquier investigador individual. Por ejemplo, solo el número de envíos anuales a una conferencia de IA de élite como ICLR aumentó de 1013 en 2018 a 19619 en 2026.
A esta escala, un error que aparece inicialmente en un artículo, una vez citado repetidamente por literatura posterior, se propaga a lo largo de la cadena de citas, formando un consenso académico de facto.
Debido a su antigüedad, la complejidad de las cadenas de citas, y el hecho de que el trabajo de verificación es muy costoso en tiempo y ofrece pocas recompensas académicas, la gran mayoría de los errores que han entrado en el sistema literario nunca han sido examinados sistemáticamente.
Pero ahora todo se está resquebrajando. Al menos en capacidad técnica, por primera vez se tiene la posibilidad de revisar a gran escala la literatura científica del pasado.
Sin embargo, tomando como ejemplo el verificador de corrección de artículos impulsado por GPT-5, su precisión de detección es del 83.2%, y en cada verificación aún queda sin detectar aproximadamente el 40% de los errores reales.
Se puede decir que este tipo de herramientas de verificación de hechos por IA no son suficientes por sí mismas para actuar como jueces de la literatura científica. Los resultados de salida de las herramientas de verificación por IA finalmente aún requieren revisión humana.
Este artículo proviene del WeChat público "量子位" (ID: QbitAI), autor: 程浅 (Cheng Qian).
