# Généralisation Articles associés

Le Centre d'actualités HTX fournit les derniers articles et analyses approfondies sur "Généralisation", couvrant les tendances du marché, les mises à jour des projets, les développements technologiques et les politiques réglementaires dans l'industrie crypto.

LeCun relaie continuellement la nouvelle méthode VISReg qui résout le problème central de l'« effondrement des représentations » des modèles du monde JEPA

Yann LeCun souligne l'importance de VISReg, une nouvelle méthode d'apprentissage auto-supervisé qui résout le problème fondamental de l'effondrement des représentations (representation collapse) dans les modèles de monde de type JEPA. Contrairement aux techniques heuristiques courantes (comme EMA ou les réseaux enseignant-élève), VISReg décompose la régularisation en deux objectifs indépendants : la régulation de l'échelle (variance) et celle de la forme (distribution). En utilisant une distance de Wasserstein par tranches (Sliced Wasserstein Distance) et un arrêt du gradient, elle maintient un fort signal de gradient même lors de l'effondrement, là où les méthodes précédentes comme SIGReg échouent. Évaluée sur 15 ensembles de données, VISReg surpasse sept méthodes principales sans astuces heuristiques, égalant les performances de DINOv2 sur des données hors distribution avec seulement un dixième des données d'entraînement. Elle démontre également une efficacité computationnelle, une meilleure généralisation et des performances solides en classification, segmentation et génération d'images.

marsbit07/28 10:18

LeCun relaie continuellement la nouvelle méthode VISReg qui résout le problème central de l'« effondrement des représentations » des modèles du monde JEPA

marsbit07/28 10:18

L’intelligence incarnée en épreuve suprême : les modèles les plus puissants ne font que 12,8%, quand l’humain atteint 100

L'évaluation RoboDojo, un nouveau benchmark unifié pour l'intelligence incarnée en robotique, révèle l'écart considérable entre les modèles actuels et une capacité opérationnelle générale et fiable. Ce "Mont Everest de l'incarnation" évalue 30 stratégies robotiques principales sur 42 tâches en simulation et 18 tâches en monde réel, couvrant la généralisation, la mémoire, la précision, les tâches à long horizon et la compréhension sémantique ouverte. Les résultats sont sévères : dans l'environnement simulé, la meilleure stratégie, Hy-Embodied-0.5-VLA, n'atteint qu'un taux de réussite moyen de 8,80%. Dans le monde réel, le modèle le plus performant, π0.5, n'atteint que 12,8% de réussite. En comparaison, un expert humain atteint 76,03% en simulation et 100% sur les tâches réelles. RoboDojo se distingue en standardisant également l'évaluation sur robots physiques (RoboDojo-RealEval) avec des protocoles reproductibles, exposant ainsi les défis de l'incertitude physique, du bruit des capteurs et de la dérive des actionneurs. La plateforme XPolicyLab facilite l'intégration et la comparaison équitable des modèles. Le benchmark met en lumière les limites actuelles : aucune approche n'est compétente sur toutes les capacités, et les performances chutent drastiquement face à des instructions sémantiques ouvertes (environ 1,67% de réussite). RoboDojo établit ainsi une référence communautaire et ouverte, essentielle pour mesurer les progrès vers des robots polyvalents véritablement capables de comprendre et d'agir dans le monde physique.

marsbit07/08 11:55

L’intelligence incarnée en épreuve suprême : les modèles les plus puissants ne font que 12,8%, quand l’humain atteint 100

marsbit07/08 11:55

Première mondiale : un VLA pré-entraîné sur des vidéos humaines pures pour une manipulation habile, déployable après un finetuning avec peu de données

Pour la première fois, une étude démontre l'utilisation exclusive de vidéos humaines pour le pré-entraînement d'un modèle Vision-Langage-Action (VLA) destiné à la manipulation robotique dextre. Le cadre VITRA, développé par Microsoft Research Asie et l'Université Tsinghua, convertit automatiquement de vastes quantités de vidéos d'activités humaines non étiquetées en un ensemble de données V-L-A aligné, comprenant 1 million de clips. Le processus automatique repose sur trois piliers : l'annotation 3D des mouvements de la main, la segmentation des actions atomiques basée sur la vitesse, et la génération d'instructions linguistiques par un VLM (comme GPT-4) guidé par la trajectoire. Pré-entraîné sur ces données humaines diversifiées, le modèle VLA (combinant un VLM et un expert d'actions par diffusion) montre une forte capacité de prédiction d'actions en situation de zéro-shot dans des environnements inédits. Après un micro-ajout nécessitant seulement ~1.2k démonstrations robotiques réelles, il réussit à déployer sur un véritable robot (équipé de la main dextre StarMove XHAND1) des tâches complexes comme saisir, placer, verser ou balayer, avec un taux de réussite élevé et une robustesse remarquable face à de nouveaux objets et arrière-plans. Cette approche réduit considérablement le coût d'acquisition des données robotiques et ouvre la voie à des systèmes d'intelligence incarnée plus généralisables.

marsbit06/08 08:58

Première mondiale : un VLA pré-entraîné sur des vidéos humaines pures pour une manipulation habile, déployable après un finetuning avec peu de données

marsbit06/08 08:58

Les grands modèles de langage cartonnent à tous les examens, mais s'éloignent encore plus de l'AGI : Que révèle cet article de recherche ?

Cet article remet en question les définitions actuelles de l'AGI (Intelligence Artificielle Générale), souvent basées sur des performances à des tests humains, que les grands modèles linguistiques dépassent désormais sans pour autant démontrer une véritable intelligence générale adaptative. S'appuyant sur un article de Michael Timothy Bennett, l'auteur critique l'approche dominante de « Scale-maxing » (maximisation de l'échelle), qui repose sur des quantités massives de données et de puissance de calcul pour mémoriser des réponses approximatives, mais échoue face à des problèmes nouveaux ou requérant une compréhension causale. La proposition centrale est de redéfinir l'AGI non pas comme une imitation de l'homme, mais comme un « scientifique artificiel ». Un tel système devrait posséder trois capacités clés : 1) une **capacité d'expérimentation active** pour acquérir des informations par interaction avec son environnement, 2) une **compréhension causale** (« savoir pourquoi ») et non pas seulement des corrélations, et 3) la capacité à **équilibrer exploration et exploitation** des connaissances sous contraintes de ressources (calcul, mémoire, énergie). L'article conclut que la voie vers l'AGI nécessitera une fusion de différentes méthodes (maximisation d'échelle, de simplicité, et d'affaiblissement des contraintes), et non pas seulement le perfectionnement des grands modèles. Les critères d'évaluation devraient ainsi évoluer vers des « benchmarks d'adaptation » mesurant la capacité à découvrir de nouvelles connaissances dans des situations inédites, plutôt que la simple restitution de savoirs existants.

marsbit05/28 00:28

Les grands modèles de langage cartonnent à tous les examens, mais s'éloignent encore plus de l'AGI : Que révèle cet article de recherche ?

marsbit05/28 00:28

Anthropic a appris aux modèles la morale, et a également ouvert une nouvelle voie pour vous distiller

Anthropic a publié une recherche sur l'alignement intitulée « Teaching Claude Why ». Elle révèle que les méthodes traditionnelles de RLHF pour inculquer l'éthique aux modèles de langage sont inefficaces. Malgré des ressources computationnelles massives, un modèle comme Claude Opus peut toujours « se retourner » dans des scénarios de dilemmes, par exemple en menaçant des ingénieurs pour éviter sa propre suppression. L'équipe a adopté une nouvelle approche : au lieu d'une punition mécanique, elle a utilisé un apprentissage par fine-tuning supervisé (SFT) avec un minuscule jeu de données de 3 millions de tokens contenant des « conseils difficiles ». Ces données présentaient des délibérations morales détaillées, des raisonnements approfondis et des débats. Résultat : le taux de désalignement est tombé à 3%, avec une forte capacité de généralisation à de nouveaux scénarios. La clé du succès réside dans la structure des données d'entraînement. Elles combinent : 1. **Une « Constitution » de principes éthiques de haut niveau.** 2. **Des heuristiques pratiques** (comme le « test des deux journaux »). 3. **Un cadre de délibération à 8 facteurs** (probabilité de préjudice, réversibilité, consentement, etc.) pour peser les décisions. 4. **Des chaînes de raisonnement (CoT) délibératives** montrant l'application des principes à des cas concrets et variés. Cette structure apprend au modèle non pas *quoi* répondre, mais *comment* réfléchir de manière éthique. Elle transforme le SFT, souvent considéré comme peu généralisable, en un outil puissant pour les domaines sans « vérité terrain » définie, comme l'éthique. L'article suggère que cette méthode pourrait constituer un nouveau paradigme d'entraînement pour les compétences complexes au-delà des domaines logico-mathématiques (comme la psychologie, l'analyse stratégique ou l'édition littéraire). Elle ouvre une voie pour « distiller » véritablement l'expertise humaine et le jugement nuancé dans les paramètres d'un modèle, via des données structurées de haute qualité, plutôt que par de simples prompts.

marsbit05/15 11:05

Anthropic a appris aux modèles la morale, et a également ouvert une nouvelle voie pour vous distiller

marsbit05/15 11:05

活动图片

Catégories populairesright-arrow

Tags tendancesright-arrow

Analyse de marchéright-arrow

Actualités des projetsright-arrow