L’acquisition de données pour l’intelligence incarnée dispose d’une nouvelle voie.
Avant de la présenter officiellement, faisons une petite interaction : sans évoquer l’IA et sans consulter de ressources, pouvez-vous citer en 5 secondes les méthodes actuelles d’acquisition de données pour l’intelligence incarnée ?
Les principales sont au nombre de quatre : l’acquisition par téléopération avec robot réel, l’acquisition portable sans encombrement (UMI/Ego), la synthèse de données par simulation, et la distillation à partir de vidéos Internet.
(Pas d’ordre de priorité, je les cite au hasard.)
Si l’on souhaite affiner la classification, on peut établir une longue liste.
C’est du moins la réponse que me donne l’IA, vous pouvez en juger par vous-même —
Récemment, une nouvelle approche commence à émerger et à gagner en popularité ; cette méthode étend le champ de l’acquisition de données au-delà des mouvements externes, pour s’intéresser davantage à la sortie motrice du corps humain.
Il s’agit de la solution neuromusculaire (sEMG, électromyographie de surface) qui attire actuellement beaucoup d’attention.
OriginFlow (渊澈太初) est la startup la plus en vue et la plus suivie dans cette voie.
Son fondateur et PDG, Qin Shentao, est né en 2001 et est actuellement doctorant à la Faculté des véhicules et du transport de l’université Tsinghua.
En août dernier, il a fondé OriginFlow à Pékin ; jusqu’en mai de cette année, la société a annoncé avoir achevé successivement des tours de financement d’amorçage, stratégique et Pre-A1, pour un montant cumulé de plus de 5 milliards de yuans, avec des investisseurs tels que Lanchi, Oasis, Monolith, etc.
Qin Shentao nous a confié :
Les scénarios industriels réels et les modèles manquent d’une couche capable d’abstraire les informations d’interaction physique non structurées, de haute précision et aux détails complexes, en représentations pouvant être entraînées.
C’est pourquoi il a lui-même créé une entreprise pour développer une infrastructure d’AGI physique, souhaitant faire de la neuromusculaire l’une des entrées d’acquisition de données pour l’intelligence incarnée.
Qin Shentao affirme qu’à court terme, par rapport aux solutions UMI ou à la vision à la première personne Ego, NeuroScale représente davantage un complément ; mais l’acquisition de données discrète est sans aucun doute une tendance majeure pour l’avenir.
Lorsqu’une nouvelle révolution se produit, la stratégie la plus appropriée est d’évoluer en synergie avec les technologies existantes.
Utiliser une «interface neurale» pour acquérir des données pour l’intelligence incarnée
Commençons par approcher de manière concrète ce que fait actuellement OriginFlow.
Lorsqu’une personne serre une vis, porte fermement un bol de soupe ou saisit un objet mou, son corps fournit constamment des retours infimes en fonction de la situation réelle.
Quand les doigts commencent-ils à se resserrer ? Comment la force augmente ou diminue-t-elle ?... En vérité, les gens ne réfléchissent pas sérieusement à chacune de ces questions ; souvent, en un temps très court, le corps est capable d’accomplir et d’exécuter toute une série de jugements sur le contact, la friction, le poids et la stabilité.
OriginFlow souhaite enregistrer cette couche de réactions pour en faire partie des données de l’intelligence incarnée.
Le choix de se concentrer sur cette direction remonte nécessairement à la période de licence de Qin Shentao.
Durant ses études de licence, Qin Shentao a conduit son équipe à remporter presque tous les championnats de compétitions robotiques possibles ; c’est aussi durant cette période qu’il a approfondi sa réflexion :
Le clavier, la souris et la voix ne sont pas les moyens de communication les plus directs entre l’homme et la machine. Les mains humaines sont les outils les plus agiles ; si la machine comprend l’intention réelle derrière les mouvements de la main, l’interaction homme-machine franchira un nouveau palier.
C’est ainsi que l’interface neurale est entrée dans le champ de vision de Qin Shentao, qui est «obsédé» par la fusion homme-machine.
L’interface neurale capte les signaux électriques de surface liés aux nerfs moteurs périphériques (c’est-à-dire les signaux neuromusculaires), évitant ainsi les problèmes d’invasion élevée, de nombre élevé de canaux et de correspondance avec les zones cérébrales rencontrés dans les interfaces cerveau-ordinateur.
Depuis sa naissance officielle, la neuromusculaire est longtemps restée confinée aux laboratoires universitaires.
Par la suite, avec l’évolution des capteurs sans fil, des électrodes sèches et des algorithmes d’IA, la neuromusculaire a commencé à être utilisée comme point d’entrée pour percevoir l’intention motrice humaine, largement appliquée dans la rééducation médicale pour l’entraînement par biofeedback, l’analyse des mouvements sportifs, l’évaluation des troubles musculo-squelettiques professionnels et le contrôle d’actions discrètes des prothèses myoélectriques.
△
Prenons un exemple typique ~
En 2019, le département de recherche et développement principal de Meta, Reality Labs, a racheté la société d’interfaces neurales non invasives CTRL-Labs.
Avant le rachat, CTRL-Labs avait déjà publié un kit de développement, comprenant un dispositif principal de la taille d’une montre et un composant attaché contenant des électrodes.
Grâce à un capteur myographique à 16 canaux, il surveille les signaux électriques musculaires transmis par les neurones moteurs vers les doigts au niveau du poignet, et utilise des algorithmes d’IA pour décoder ces signaux et les convertir en commandes numériques (comme un clic, un glissement, un geste, etc.).
Deux ans plus tard, Meta a présenté pour la première fois publiquement un prototype de brassard à interface neurale, le Meta Neural Band, basé sur la technologie de CTRL-Labs, démontrant son potentiel à contrôler une interface AR en capturant des signaux neuraux infimes, comme taper à distance, sélectionner un menu, etc.
À l’époque, Mark Zuckerberg a déclaré que, parce qu’elle peut percevoir avec précision les intentions d’action des utilisateurs avant même qu’ils ne les réalisent, ce mode d’interaction est un «contrôle quasi illimité».
L’année dernière, la troisième génération de lunettes intelligentes de Meta intégrait déjà un brassard d’entrée neurale, permettant aux utilisateurs de contrôler directement l’interface des lunettes via des mouvements de la main (imaginer un glissement, un clic).
(Une information annexe : les gestes de pincement «pinch» sur l’Apple Watch pour confirmer, fermer des fenêtres, etc., reposent principalement sur des capteurs optiques.)
Contrairement à Meta, qui ne s’intéresse pas tant à faciliter les clics, les glissements ou la saisie de texte, la réflexion de Qin Shentao se concentre sur les conditions manquantes pour l’AGI physique.
Selon lui, tout d’abord, le manque criant de données d’interaction physique de haute qualité est devenu un frein clé à l’avancement des robots à intelligence incarnée.
Les méthodes actuelles d’acquisition de données pour l’intelligence incarnée présentent chacune des inconvénients ; serait-il possible d’utiliser la neuromusculaire comme point d’entrée pour les compléter davantage ?
De plus, le choix de l’acquisition par neuromusculaire pourrait permettre de contourner les différences de matériaux et de capteurs des surfaces de contact spécifiques, en partant des côtés de commande respectifs de l’homme et de la machine, pour trouver un ensemble de représentations d’actions partageables pouvant relier l’activation musculaire, la force tendineuse et le mouvement articulaire.
L’acquisition commence par un brassard
En 2025, alors qu’il était encore doctorant, Qin Shentao s’est officiellement lancé dans l’entrepreneuriat, créant OriginFlow, avec pour vision de construire une «base d’actions» pour le Physical AGI, au-delà du texte et de la vidéo.
Peu après, l’équipe a proposé le système technologique NeuroScale.
NeuroScale ne consiste pas simplement à ajouter un brassard myoélectrique aux équipements d’acquisition de données existants pour l’intelligence incarnée.
Il s’agit d’un système complet de données et de modèles, allant de la collecte de signaux à la reconstruction de quantités physiques, de la représentation des actions à la migration trans-embodiment.
Ce système utilise une interface neurale motrice non invasive comme point d’entrée des signaux, fusionne des informations multimodales telles que la neuromusculaire, la vision à la première personne et les IMU, et reconstruit, via le modèle de base PULSE, la posture, la force de contact et la force motrice lors d’opérations humaines, en organisant une opération réelle en Human Tokens pouvant être appris par la machine.
NeuroScale s’intéresse à long terme à deux questions fondamentales.
Premièrement, comment réaliser le Scale Up des données humaines (Human Data Scale Up) ?
C’est-à-dire comment, en perturbant le moins possible la perception et le mouvement naturels de l’homme, enregistrer continuellement des opérations réelles et produire davantage de données d’interaction physique de haute qualité.
Deuxièmement, comment réaliser le transfert entre l’homme et le robot (Cross-Embodiment Transfer), afin que l’expérience motrice humaine, après représentation et adaptation, puisse être intégrée à des robots de structures différentes.
Sous ces deux questions se cache un problème technique plus fondamental : sous quelle forme l’action humaine doit-elle entrer dans un modèle de base ?
Le texte a déjà formé une représentation en Token relativement mature, la vision converge progressivement vers une représentation en Patch ou Latent, mais la modalité «action» manque encore d’une représentation standard reconnue.
OriginFlow décompose une opération physique en trois espaces interconnectés :
Le MotionSpace, décrivant la posture de la main et la trajectoire du mouvement.
Le TactileSpace, décrivant la force normale, la force tangentielle et le retour tactile.
Le TendonSpace, décrivant la force motrice musculaire, tendineuse et le couple articulaire.
La force motrice génère le mouvement, le mouvement entraîne le contact, et le contact forme finalement la force d’action ; ces trois éléments constituent ensemble une chaîne de causalité physique.
Les Human Tokens dont parle OriginFlow sont précisément des représentations d’actions basées sur ces trois types de quantités physiques.
«En termes de forme, l’homme peut être considéré comme un cas particulier dans l’espace de configuration d’une incarnation (embodiment). Ainsi, le transfert de ‘l’homme vers le robot’ est essentiellement un sous-problème du ‘transfert trans-embodiment’.», déclare Qin Shentao.
Plus concrètement, les données humaines à grande échelle (Human Data) sont responsables de couvrir la distribution la plus large possible des actions et compétences humaines ; les données trans-embodiment, moins nombreuses mais avec une diversité suffisante de configurations robotiques, fournissent des points d’ancrage d’alignement entre l’homme et différentes incarnations robotiques.
Une fois ces deux types de données combinées, le modèle a la possibilité d’apprendre un ensemble de représentations d’actions partageables, relativement découplées de l’incarnation spécifique, puis de rediriger la même séquence d’actions et d’informations de force humaine vers différentes incarnations robotiques, ayant des degrés de liberté et des modes d’actionnement distincts.
Par conséquent, OriginFlow ne souhaite pas simplement copier les données d’opération humaines pour les donner au robot, mais cherche d’abord les relations d’action, de force motrice et de contact partageables entre différentes incarnations, avant d’effectuer l’adaptation et la cartographie.
Dans le monde réel, NeuroScale commence par un brassard.
Le brassard est nommé OriginKitGen 1.0 ; son design est légèrement plus large que le bracelet d’une Apple Watch, mais son volume global est plus petit et son poids plus léger.
Le brassard est chargé de collecter les signaux myoélectriques de surface de l’ordre du microvolt émis par le porteur ; son système utilise une acquisition à 16 canaux, avec un débit d’informations d’environ 96 Ko/s, et modélise en continu le mouvement de la main.
Cependant, la mise en œuvre de NeuroScale ne repose pas uniquement sur le brassard.
Avec le seul brassard, le système ne peut que connaître les changements d’activité musculaire de l’avant-bras, mais il lui est difficile de déterminer ce que cela signifie précisément en termes d’action des doigts.
Les signaux captés par OriginKitGen 1.0 entrent, avec les informations visuelles à la première personne, les IMU, etc., dans le pipeline de données de NeuroScale.
Les formes d’onde brutes sont alignées, calibrées et traitées, puis le modèle de base développé en interne par l’équipe, PULSE, en extrait les indices liés à la posture de la main, à la trajectoire du mouvement, à la force de contact et à la force tendineuse — correspondant respectivement aux trois quantités physiques fondamentales : Motion Space (espace de mouvement), Tactile Space (espace tactile) et Tendon Space (espace tendineux) — le côté matériel effectue le filtrage, la différentiation, la suppression des artefacts de mouvement, le côté modèle effectue l’encodage des signaux neuraux et l’apprentissage supervisé fort — pour progressivement les organiser en représentations d’actions que la machine peut apprendre.
C’est ce que l’équipe appelle les Human Tokens.
Lors de la WAIC, Qin Shentao et son équipe ont présenté les résultats actuels, une démo de la version 0.2 de PULSE :
Le brassard est chargé de collecter les signaux myoélectriques de surface à 16 canaux ; PULSE prend ces signaux en entrée, modélise en continu le mouvement de la main et observe les variations de force lors de l’action de pincement.
Contrairement à la reconnaissance de gestes discrets, PULSE se concentre sur le suivi continu de la main et la représentation de la force du bout des doigts.
Lorsque l’utilisateur effectue un mouvement de pincement, le système peut observer en temps réel les variations de force.
Cependant, reconstruire une action à partir d’un segment de signal neural n’équivaut pas à obtenir des données directement utilisables pour l’entraînement d’un robot.
Les données brutes doivent encore subir un alignement temporel multi-appareils, un étalonnage individuel, un traitement des artefacts de mouvement, une segmentation des tâches, une annotation des actions et des forces, un filtrage de qualité et une cartographie trans-embodiment.
Pour ce faire, OriginFlow a également construit une infrastructure de données (Data Infra) couvrant la production, le traitement, l’évaluation et l’entraînement.
Parmi elles, ORACLE utilise des modèles multimodaux pour réaliser l’annotation automatique des actions, des forces, de la sémantique et des segments de tâches ; le modèle de base unifié entièrement modal, CHORD, est responsable de l’alignement temporel et des représentations entre la neuromusculaire, la vision, les IMU, le langage et l’état du robot.
Les données passent également successivement par des étapes de qualité : validité physique, validité de la tâche, validité de l’annotation, valeur du modèle et évaluation sur robot réel. Seules les données pouvant générer une valeur réelle dans l’entraînement du modèle ou dans des tâches robotiques entrent dans l’ensemble de données final livré.
En d’autres termes, il ne s’agit pas seulement de collecter des données, mais aussi de pouvoir, à un coût marginal suffisamment bas, transformer des signaux bruts massifs en actifs de données entraînables, évaluables et réutilisables.
Des données humaines (Human Data) vers l’amélioration de l’humain (Enhance Human)
La démonstration de PULSE 0.2 ne représente qu’une petite partie des activités de l’entreprise, et le modèle lui-même n’est qu’une production intermédiaire.
La version 0.3 de PULSE, en cours de développement, explore davantage la relation entre la force tendineuse et la cinématique directe (forward kinematics) de la main.
Le brassard mentionné précédemment n’est également que le terminal de collecte actuel, et non la forme produit finale.
Pour une voie dépendant d’une collecte à long terme et à grande échelle, la capacité de l’appareil à être accepté naturellement par les personnes détermine si les données peuvent être produites de manière continue.
Qin Shentao affirme qu’il faut d’abord que les gens acceptent de porter l’appareil, et qu’ils soient prêts à le porter suffisamment longtemps.
Dans son essence, OriginFlow souhaite, sans changer autant que possible la perception et le mode de mouvement originels de l’homme, enregistrer continuellement la sortie motrice de l’homme dans le monde réel et la transformer en Physical Tokens.
Ce n’est qu’ainsi que la collecte de données pourra quitter les usines de collecte et les postes de travail spécialement aménagés, pour entrer dans la vie quotidienne et les processus de production réels.
À ce moment-là, les «mille milliards d’heures de données» actuellement inaccessibles dans le domaine de l’intelligence incarnée ne nécessiteront qu’environ dix jours d’enregistrement du comportement de l’humanité entière.
Qin Shentao décrit ce processus comme une amplification continue du Scaling des données.
Pour l’avenir, nous allons promouvoir la mise à l’échelle des données humaines entièrement modales, passant progressivement de dizaines de millions d’heures, à des centaines de millions d’heures, pour atteindre finalement des milliers de milliards d’heures.
Et le point d’entrée physique de la prochaine génération envisagé par l’équipe évoluera progressivement vers une forme plus légère, plus naturelle et plus proche des produits de consommation.
Dans leur vision, à l’avenir, il suffira aux gens de porter des lunettes, une montre ou un bracelet encore plus léger aux propriétés grand public, pour modéliser continuellement leur propre personne dans la vie quotidienne et bénéficier de commodités grâce à leur modèle personnel.
△
Dans l’ensemble, ce que fait actuellement la société OriginFlow se situe encore dans la première phase de son plan de développement.
Ils se sont fixé une feuille de route en trois étapes — Première étape, From Human, commencer par collecter autant que possible comment l’homme bouge, distiller et transformer systématiquement l’expérience opérationnelle de l’homme dans le monde physique en données et représentations que la machine peut apprendre.
OriginFlow souhaite, sans interférer avec les processus de perception et de mouvement naturels de l’homme, restituer complètement la sortie motrice humaine.
L’ensemble de la solution de collecte suit toujours le principe de non-invasion, garantissant que, tout en maintenant son état originel, les actions de l’homme puissent être observées et reconstituées avec précision par le système.
Deuxième étape, With Human.
Cette étape consistera à construire une nouvelle génération de matériels IA, incluant des robots, sous une forme Always-on (toujours actif) intégrée au travail et à la vie quotidienne, permettant à davantage de personnes de bénéficier de la valeur apportée par la prochaine génération d’interface homme-machine (Interface).
La troisième étape concerne l’amélioration de l’humain (Enhance Human) pour les 10 à 30 prochaines années.
Bien sûr, entre la démonstration d’un simple pincement par PULSE 0.2 et la mise à l’échelle de données humaines entièrement modales à mille milliards d’heures, il reste une longue validation technique.
One More Thing
Il est rapporté que d’autres startups nationales, telles que Strong Brain Technology, Octopus Power, SnowOrigin, Nianxiang Technology, Wujie Mailuo, Shouyi Technology, etc., utilisent également la neuromusculaire pour collecter des données pour l’intelligence incarnée.
Cet article provient du compte WeChat officiel «Quantum Bit» (ID: QbitAI), auteur : Heng Yu
