Le premier modèle de génération à grande échelle utilisant la physique comme primitive de calcul, Un-0, est arrivé. Réduira-t-il la consommation énergétique de l'IA de 1000 fois ?
Unconventional AI, fondée par l'ancien responsable IA de Databricks Naveen Rao, a dévoilé Un-0, un modèle génératif d'images innovant utilisant un système physique de "coupled oscillators" (oscillateurs couplés) comme primitif de calcul. L'objectif est de réinventer le calcul pour l'IA en exploitant la dynamique naturelle des systèmes physiques, afin de réduire potentiellement la consommation énergétique de l'inférence IA d'un facteur 1000 par rapport aux systèmes numériques traditionnels basés sur GPU.
Le modèle Un-0 fonctionne en entraînant un vaste réseau d'oscillateurs couplés (modélisés par l'équation de Kuramoto) dont les forces de couplage et les fréquences naturelles sont les paramètres appris. Pour générer une image, le système est initialisé aléatoirement, guidé par un label de classe, puis laissé à évoluer selon sa dynamique physique. Un état latent est prélevé à un instant T et converti en pixels par un petit décodeur.
Sur ImageNet 64x64, Un-0 atteint un FID de 6.74 avec 322 millions de paramètres, une performance comparable à celle des premiers modèles génératifs traditionnels comme BigGAN, bien qu'en deçà des modèles de pointe actuels. Entraîné avec une nouvelle fonction de perte "Drifting Loss", il démontre la faisabilité d'utiliser un système dynamique physique pour une tâche IA à grande échelle.
Ce modèle représente une première étape vers une nouvelle génération de matériel de calcul "non conventionnel" où la physique effectue le calcul, fusionnant calcul et mémoire et tolérant le bruit, ce qui pourrait mener à des gains d'efficacité énergétique révolutionnaires.
marsbit06/26 10:59
