Enfin, la version open source de la série des modèles ayant obtenu le score parfait aux Olympiades Internationales de Mathématiques (IMO) est disponible!
Le mois dernier, le grand modèle autonome de Xiaohongshu, «dots-note-3.0», a établi un record historique: pour la première fois, une IA a obtenu un score parfait officiellement certifié de 42 points lors des Olympiades Internationales de Mathématiques. Depuis, la question la plus urgente pour la communauté était de savoir quand le modèle serait open source.
Adina Yakup, responsable de la recherche et de l’écosystème communautaire chez HuggingFace AI. Image tirée d'un post X
Aujourd'hui même, le laboratoire de modèles dots de Xiaohongshu (ci-après dots lab) a annoncé l'open source de dots3-note preview! Il s'agit également de la première version open source de la série de modèles dots3, ciblant des tâches à long terme plus réalistes et plus difficiles à évaluer.
En termes de paramètres, dots3-note preview possède un total de 280B paramètres, dont 16B de paramètres activés. Il supporte une fenêtre de contexte ultra-longue de 512K, dispose de capacités de compréhension multimodales (texte, vision et parole) et est optimisé pour le raisonnement complexe, les Agents et la perception multimodale.
Point d'entrée de l'API: https://dots.ai/platform/
Huggingface: https://huggingface.co/dots-studio/dots3-note-prev
GitHub:https://github.com/studio-dots-ai/dots3-note-prev
Le score parfait à l'IMO a validé les capacités de cette série de modèles en raisonnement et preuve mathématiques. Cet open source relève maintenant le défi dans un autre type de scénarios plus difficiles à standardiser: la planification de voyages, l'organisation de mariages, la gestion d'un commerce. Ces tâches n'ont pas de réponse unique et peuvent s'étendre sur plusieurs heures, jours ou plus.
Dots3-note preview se concentre sur les tâches à long terme, touchant ainsi un axe principal du développement actuel des Agents: on commence à leur demander d'assumer de manière autonome des travaux de plus en plus longs et complets. OpenAI a révélé qu'en mai de cette année, plus de 70% des utilisateurs demandaient à Codex de traiter des tâches qui nécessiteraient plus d'une heure de travail humain. En juin, les 1% d'utilisateurs actifs les plus fréquents en interne chez OpenAI généraient quotidiennement plus de 60 heures d'agent turns.
Cependant, lorsque la tâche s'applique à différents scénarios, la difficulté augmente rapidement. Contrairement aux domaines où les Agents sont relativement matures, comme les mathématiques, le code ou l'ingénierie, l'environnement de la vie réelle est plus ouvert et les besoins plus flous. Dots3-note preview choisit de placer son «terrain d'examen» ici, imposant des exigences plus élevées en matière de planification à long terme, de jugement et de capacité d'auto-correction.
Selon les données de plusieurs benchmarks principaux, sur de nombreuses tâches de raisonnement et d'agent, le modèle est comparable voire supérieur à des modèles de grande taille avec des paramètres plusieurs fois supérieurs, et ses capacités visuelles sont particulièrement performantes pour sa catégorie de taille.
Image: Blog technique officiel
Image: Blog technique officiel
Auparavant, Xiaohongshu avait déjà open source le grand modèle de texte dots.llm1, le modèle d'analyse de mise en page de documents multilingues dots.ocr et le grand modèle de compréhension visuelle multimodale dots.vlm1. Ce dernier open source complète la pièce du puzzle concernant les Agents.
Testé en direct:
Peut-il vraiment accomplir des tâches complexes?
Les capacités réelles d'un modèle ne se jugent pas seulement aux classements. À travers quelques cas, voyons comment ce modèle avance de manière autonome et livre des résultats face à des tâches aux informations éparses, aux étapes multiples, dans un environnement en constante évolution.
Prendre le contrôle de «Slay the Spire II»
Commençons par confier une partie de «Slay the Spire II» à dots3-note preview.
La difficulté de ce jeu réside dans le fait que chaque choix (itinéraire, cartes à prendre, défier ou non un boss, dépenses d'or, repos ou amélioration au campement) influence la probabilité de survie des dizaines de tours suivants. Un choix optimal local peut semer les graines d'un futur échec contre un boss.
Le modèle n'a pas été spécifiquement entraîné pour ce jeu, mais il parvient à apprendre les mécanismes des cartes et des ennemis en fonction des retours de combat, tout en gérant la vie, le deck, l'or et les potions, en arbitrant constamment entre magasins, campements et combats contre les boss, pour atteindre le niveau 33.
Résoudre ARC-AGI 3 à partir de zéro
Dans la tâche de raisonnement à long terme ARC-AGI 3, les règles sont totalement inconnues. Le modèle doit observer l'écran, formuler des hypothèses, puis les vérifier par des actions.
Dots3-note découvre progressivement des règles telles que la synchronisation verticale et la symétrie horizontale de deux blocs, et explore des mécanismes comme les cases dangereuses, les marqueurs mobiles, les interrupteurs de pression et les portes.
Lorsqu'une hypothèse s'avère fausse, il déclenche un mécanisme de Self-Critiquing pour réévaluer, inscrivant les règles corrigées dans un fichier memory.md, similaire à un carnet de notes du modèle, préservant dynamiquement la compréhension de l'environnement.
Finalement, le modèle résout les 6 niveaux en 320 opérations.
Résoudre un problème de rénovation en lisant des images
Les capacités d'apprentissage continu et de raisonnement doivent finalement servir la vie réelle.
Prenons ce problème typique de rénovation: téléchargez simultanément un plan d'appartement et des captures d'écran des spécifications de deux réfrigérateurs, avec cette information supplémentaire: le mur de la cuisine côté bureau dispose déjà d'un plan de travail de 1,5 mètre de long. Maintenant, vous souhaitez placer le réfrigérateur contre ce mur. Est-ce encore possible?
Les informations clés sont dispersées entre différentes images et descriptions textuelles. Le modèle doit combiner le plan, les dimensions du plan de travail existant et les spécifications des deux réfrigérateurs pour calculer l'espace mural restant et donner une conclusion sur la faisabilité. Il rappelle également à l'utilisateur de vérifier les mesures sur place.
L'ensemble du processus implique la compréhension de l'espace visuel, un raisonnement complexe et l'utilisation d'outils, démontrant également la capacité du modèle à générer des réponses personnalisées basées sur l'environnement réel de l'utilisateur.
En reprenant le même plan, demandons maintenant au modèle de concevoir plusieurs projets d'aménagement pour le bureau dans un style bois massif.
Le modèle conserve les informations de dimensions et d'éclairage identifiées précédemment, recherche des notes pertinentes sur Xiaohongshu, organise quatre projets de style bois massif et génère une page web, accomplissant successivement la lecture d'images, le calcul, la recherche et la génération de contenu.
Développer une application visionOS de bout en bout
Enfin, voyons si dots3-note preview peut accomplir une tâche complète de génie logiciel de bout en bout: «En vous inspirant du design de Xiaohongshu, développez une application native pour Apple Vision Pro.»
Après réception de la tâche, le modèle ne se précipite pas pour écrire du code. Il commence par comprendre les besoins du produit et, en se référant à 9 captures d'écran d'interface, détermine de manière autonome un plan de développement. Celui-ci inclut l'adoption d'une approche technique SwiftUI+RealityKit, et la planification de différents modules tels que l'organisation des fenêtres, l'espace immersif et l'affichage de produits en 3D. Une fois le plan établi, il prépare des ressources locales (images, modèles 3D, etc.) puis procède progressivement à l'implémentation du code.
L'ensemble du projet génère 12 fichiers Swift, 1876 lignes de code, implémentant des interfaces pour le fil d'actualité, la page personnelle, les messages privés, les produits, et intégrant des modèles 3D USDZ. Ensuite, le modèle génère automatiquement un projet Xcode, utilise xcodebuild pour la compilation, effectue les vérifications dans le visionOS Simulator, affichant finalement «BUILD SUCCEEDED».
De la compréhension des besoins et du choix des technologies à l'implémentation du code, la compilation et la vérification, ce flux de développement a été exécuté intégralement.
Le produit final présente un ensemble d'interactions spatiales assez complet. Le fil d'actualité peut défiler, les notes ouvrent une page de détails, la page personnelle et les messages privés peuvent s'ouvrir dans des fenêtres indépendantes.
Les utilisateurs peuvent également visualiser et permuter différents produits 3D directement dans l'interface d'achat.
Pas de réponse standard,
le modèle doit apprendre en continu et s'auto-corriger
D'après les tests, la capacité la plus marquante de dots3-note preview est d'explorer tout en mémorisant de nouvelles informations, de s'ajuster face aux changements ou aux erreurs de jugement, jusqu'à livrer le résultat. Comment y parvient-il? L'essentiel réside dans deux aspects: apprendre et retenir les informations réellement utiles, et détecter rapidement les écarts dans son propre jugement pour les corriger.
La première question à laquelle dots lab a dû répondre est: après la fin de l'entraînement, le modèle peut-il continuer à apprendre de son environnement et des utilisateurs.
Pour entraîner cette capacité, dots lab a construit plusieurs milliers d'environnements nouveaux et ultra-longs ne dépendant pas de connaissances préalables. L'Agent explore en continu dans des scénarios jamais rencontrés, apprenant de nouvelles règles et connaissances par interaction avec l'environnement, pour les utiliser dans ses décisions ultérieures. De plus, lorsque la longueur de la tâche dépasse significativement la fenêtre de contexte du modèle, celui-ci ne peut pas toujours s'appuyer sur les informations déjà présentes dans le contexte. Grâce à un entraînement par apprentissage par renforcement, il apprend progressivement à retenir les informations utiles pour résoudre le problème. Cette capacité a été validée sur ARC-AGI 3.
On peut voir sur le graphique ci-dessous que dots3-note preview obtient un score d'environ 0.35 sur ARC-AGI-3 pour un coût inférieur à 500 dollars. Le score absolu est inférieur à celui de Claude Opus 4.8 (high), mais l'efficacité coût est nettement supérieure.
Mais pour entraîner un tel processus, un autre problème majeur se pose: le coût d'exploration des tâches longues est trop élevé. Un Agent peut nécessiter plusieurs heures pour une seule exploration. Si on continue d'utiliser des méthodes d'apprentissage par renforcement sans valeur finale (value-free), il faut souvent attendre la fin de toute la trajectoire pour obtenir un signal d'entraînement, ce qui est inefficace et rend difficile l'attribution du succès ou de l'échec à une étape spécifique.
Des méthodes comme PPO (actor-critic) peuvent atténuer ce problème, mais le critique traditionnel estime généralement la valeur d'un état par un calcul direct unique de capacité fixe. Face à des tâches d'Agent complexes, l'acteur peut raisonner de manière répétée, utiliser des outils avant de décider de la prochaine action, ce que le critique ne peut pas faire, conduisant facilement à une estimation imprécise de la progression actuelle.
Dots lab a proposé TEMPO (Test-time-scaled Value Estimation with Macro-step Policy Optimization). Cette méthode découpe une longue trajectoire en plusieurs macro-étapes, chacune contenant plusieurs interactions entre le modèle et l'environnement. À la fin d'une étape, le modèle passe temporairement du rôle d'acteur à celui de critique, et, par raisonnement, utilisation d'outils et mise à l'échelle au moment du test (test-time scaling), estime les récompenses futures possibles pour l'état actuel. Cette évaluation devient ensuite un signal d'entraînement pour les trajectoires non terminées.
Il est important de noter que pendant l'entraînement avec TEMPO, le modèle doit apprendre à la fois comment agir et comment s'évaluer lui-même. Grâce à cette auto-évaluation, l'entraînement par renforcement peut être appliqué à des tâches plus longues et optimiser continuellement le comportement sur de longues trajectoires.
Les résultats montrent que l'avantage de TEMPO apparaît principalement lorsque la tâche entre dans une phase complexe. Avec l'augmentation des tours d'interaction, les scores de GRPO et du checkpoint de base stagnent, tandis que TEMPO continue de progresser. En termes de progression dans les niveaux, les trois méthodes présentent également un écart marqué dans la seconde moitié de la tâche.
Après l'introduction du mécanisme de Self-Critiquing, la capacité d'auto-évaluation de dots3-note preview s'est révélée plus forte que prévu initialement. Même si l'Agent n'a pas encore résolu un problème, il peut juger lequel de deux états intermédiaires apparemment similaires offre le plus de chances de réussite.
Cette capacité d'auto-évaluation, en plus d'être utilisée pour l'entraînement par renforcement, se manifeste également pendant la phase de raisonnement. Lors de la participation aux IMO 2026, la version de la même série que dots3-note preview générait des preuves tout en les vérifiant de manière répétée via des appels d'outils, et les modifiait/optimisait en fonction des résultats de l'évaluation, décrochant finalement le score parfait.
À l'avenir, dots lab explorera l'auto-évaluation récursive (recursive self-critiquing) dans des «tâches ouvertes», permettant au modèle, en l'absence de récompense externe claire, de juger lui-même la progression de la tâche, et d'ajuster en conséquence sa mémoire et sa planification des actions futures.
Cette combinaison «mémoire active + apprentissage par renforcement sur trajectoire ultra-longue + auto-évaluation en cours de route» de Xiaohongshu propose une solution concrète pour intégrer des Agents à long terme dans le monde réel.
Pourquoi Xiaohongshu choisit-il les «Agents à long terme pour la vie réelle»?
Pour Xiaohongshu, une communauté d'intérêts liée à la vie quotidienne, il est naturellement proche de ce type de tâches réelles. Beaucoup des questions discutées quotidiennement par les utilisateurs n'ont pas de réponse unique, et souvent, les utilisateurs eux-mêmes ne savent pas clairement ce qu'ils veulent finalement.
Les voyages, mariages, rénovations, choix vestimentaires portent intrinsèquement les caractéristiques de préférences variées, de conditions évolutives, d'informations multimodales denses. Xiaohongshu est constamment confronté à ce type de besoins complexes et à long terme, il est donc naturel de les prendre comme scénarios clés de recherche et d'application pour les Agents.
Les Agents dans d'autres domaines comme les mathématiques ou le code ont déjà montré au secteur que dans des environnements aux objectifs relativement clairs et aux résultats vérifiables, l'IA peut décomposer des tâches complexes en nombreuses étapes et les exécuter pendant très longtemps. Les conditions de la vie réelle sont bien plus complexes, il n'y a pas de cas de test omniprésents, et les objectifs et contraintes peuvent évoluer avec la tâche. Cette ambiguïté expose plus clairement les faiblesses des Agents à long terme.
Les deux benchmarks open source par dots lab illustrent directement ces écarts et lacunes.
Le premier est VibeSearchBench. Il évalue «si, lorsque l'utilisateur n'exprime pas clairement ses besoins en une fois, l'Agent peut comprendre ce qu'il veut vraiment», couvrant 20 domaines et 200 tâches. L'évaluation simule un utilisateur réel ajoutant progressivement des besoins et des contraintes au cours d'un dialogue multi-tours, et observe si le modèle peut comprendre précisément ce que l'utilisateur souhaite.
Le second est VibeLifeBench. Il met l'accent sur le temps et les changements environnementaux, évaluant «si, après un changement des conditions externes, l'Agent peut encore suivre». Il couvre 10 domaines, 20 tâches, chaque tâche contenant 20 à 30 étapes, et établit 1247 vérifications atomiques pour examiner la cohérence de l'état, l'exécution correcte des outils, et ce qui est finalement livré.
Les résultats montrent que même des modèles de tête mondiaux comme Claude Opus 5 ou GPT-5.5 n'atteignent pas le niveau de passage défini sur ces deux benchmarks.
Image de gauche: classement complet de VibeSearchBench. Image de droite: classement complet de VibeLifeBench.
Page d'accueil de VibeSearchBench:https://vibebench.github.io/VibeSearchBench.github.io/
Page d'accueil de VibeLifeBench:https://vibebench.github.io/VibeLifeBench_homepage/
Ces résultats indiquent une chose: les modèles sont déjà suffisamment performants sur des tâches ponctuelles de haute difficulté, mais maintenir cette capacité de manière stable pendant plusieurs heures ou plus reste hors de portée des Agents actuels. Les explorations et plans de Xiaohongshu dans ce domaine ne font que commencer.
Dots3-note est la version la plus légère de la série dots3. La version preview actuellement open source laisse encore de la marge pour l'optimisation de l'expérience et des détails. Selon dots lab, la version officielle de dots3-note sera également open source prochainement. À l'avenir, la série dots3 lancera également jazz et aria, formant avec note trois niveaux, couvrant différents besoins d'application en termes de complexité de tâche, vitesse de réponse et coût de calcul.
Plus de détails sur les méthodes d'entraînement sont disponibles sur le blog technique officiel (en chinois): https://studio.dots.ai/dots/dots3-zh.html
Cet article provient du compte WeChat public «机器之心» (ID:almosthuman2014), auteur: 关注Agent的机器之心, éditeurs: 杜伟, 杨文
