OpenAI se desploma, bug en la ley de escala original, un billón de potencia computacional quemada en vano
Un investigador de DeepMind reveló que el documento original de Scaling Law de OpenAI contenía un error crítico, lo que llevó a la industria de IA a desperdiciar billones en capacidad de computación durante años. El bug consistió en usar una cantidad fija de tokens de entrenamiento y una programación de tasa de aprendizaje inadecuada para todos los modelos, haciendo que los modelos grandes parecieran estar saturados prematuramente. Esto llevó a la creencia errónea de que aumentar parámetros era más importante que los datos, como se vio en GPT-3. Más tarde, Chinchilla de DeepMind demostró que modelos más pequeños con más datos podían superar a modelos grandes pero con menos datos. Además, se señaló que las leyes de escalado actuales están sesgadas hacia el inglés, un lenguaje ineficiente, mientras que idiomas como el francés o chino pueden lograr mejores resultados con menos recursos. La corrección de este error podría haber acelerado el desarrollo de IA eficiente y ahorrado recursos significativos.
marsbitHace 4 hora(s)
