La predicción de Tsinghua hace 2 años se está convirtiendo en consenso global: Meta y otras tres grandes instituciones de IA han llegado a la misma conclusión
Investigadores chinos de la Universidad de Tsinghua y la empresa FaceWall Intelligence propusieron hace dos años la "Ley de Densidad", que predice que la inteligencia de los modelos de lenguaje (LLM) se duplica cada 3.5 meses, requiriendo la mitad de parámetros para el mismo rendimiento. Recientemente, Meta y METR confirmaron independientemente esta tendencia: Meta demostró que su nuevo modelo Muse Spark necesita menos del 10% de capacidad de entrenamiento para igualar el rendimiento de su modelo anterior de hace un año, mientras que METR observó que la capacidad de los modelos se duplica cada 88.6 días. Tres instituciones, metodologías distintas, misma conclusión. La Ley de Densidad sugiere que los costes de inferencia caen rápidamente, la inteligencia en dispositivos locales será pronto una realidad, y que la estrategia óptima ya no es escalar parámetros sino mejorar la densidad mediante mejores algoritmos y datos. El equipo chino, que ya aplicaba este principio en su serie de modelos MiniCPM, lleva dos años de ventaja. Un raro momento en la ciencia donde una predicción temprana es validada globalmente.
marsbit04/13 12:20
