Une société intelligente ne devrait pas permettre à des systèmes invisibles d'influencer les choix, les récompenses et les comportements des gens, sans leur donner des moyens efficaces d'observer, de contester et de corriger cette influence. Avec le développement de l'intelligence artificielle, la société glisse sur une pente dangereuse, passant rapidement de l'expérimentation et de l'intégration de l'IA à la dépendance, pour finalement en devenir dépendante, voire même accro. Cependant, l'une des questions les plus importantes est de savoir si les décideurs politiques sont conscients de cette transition.
Généralement, l'asymétrie signifie que les deux parties dans une relation ne sont pas sur un pied d'égalité. Dans la vie numérique, « l'asymétrie algorithmique » décrit un déséquilibre plus profond entre les deux parties : une partie peut observer, modéliser, tester et améliorer ses algorithmes, tandis que l'autre subit principalement les conséquences des algorithmes. Ce déséquilibre imprègne désormais des domaines comme le recrutement, les prêts, les assurances, l'éducation, la police, les médias et l'architecture de l'attention quotidienne. Sa conséquence est une asymétrie de la subjectivité algorithmique, où les utilisateurs sont incapables d'identifier et de résister aux influences inappropriées des algorithmes sur leur propre situation.
La triple « camisole de force cognitive » des algorithmes
Cette asymétrie algorithmique peut être expliquée à trois niveaux.
Le premier niveau est l'opacité, qui fait référence au fait que les organisations qui conçoivent, déploient ou achètent des systèmes algorithmiques comprennent généralement mieux que les personnes qui interagissent avec le système ses objectifs, ses seuils, ses mécanismes d'incitation et ses faiblesses. Le « problème de l'opacité » explique pourquoi cet écart persiste : certains systèmes sont délibérément cachés pour protéger la propriété intellectuelle, d'autres nécessitent une formation professionnelle pour être compris, et d'autres encore sont difficiles à interpréter, même pour les experts. Lorsqu'un système est difficile à inspecter, ses résultats semblent souvent plus objectifs qu'ils ne le sont en réalité, ce qui conduit au « sophisme de la boîte noire ».
Le deuxième niveau de l'asymétrie algorithmique est l'amplification des biais historiques. Les algorithmes apprennent du monde passé, y compris ses préjugés ou exclusions. Même des systèmes apparemment neutres peuvent reproduire des schémas d'inégalité déjà présents dans les données. Un passé biaisé est injecté comme matière d'apprentissage, et ressort sous forme de prédictions, de scores ou de recommandations, qui semblent neutres car ce sont des résultats calculés. En réalité, ce n'est qu'une réapparition des anciennes hiérarchies sous une interface plus moderne et plus épurée.
Le troisième niveau est celui des systèmes récursifs. Les systèmes ne sont généralement pas déployés une fois pour toutes ; au contraire, les utilisateurs les forment continuellement. Chaque clic, pause, suggestion, choix de parcours, comportement d'achat et hésitation devient une donnée. Les systèmes de recommandation sont conçus pour apprendre de ces signaux et s'ajuster, mais ce n'est pas la fin de la boucle. Forts de ces apprentissages, les systèmes façonnent ce que nous voyons ensuite, décident de ce qui semble normal, de ce qui paraît pertinent, parfois même de ce qui semble désirable, tandis que leur objectif reste flou pour l'utilisateur final. Autrement dit, nous entraînons les systèmes, et les systèmes nous entraînent en retour. La « dérive algorithmique » fait référence à cette relation de co-évolution entre l'utilisateur et la plateforme.
Quand l'algorithme « vit » à votre place
L'agentivité (Agency) de l'intelligence artificielle désigne la capacité à juger, choisir et agir de manière significative, en comprenant les diverses forces qui influencent ses propres choix.
L'asymétrie d'agentivité survient lorsque des organisations utilisent des systèmes numériques – comme les flux personnalisés, la publicité ciblée, la tarification dynamique, les moteurs de recommandation, les scores de risque, etc. – pour tester, mesurer et optimiser l'influence et les résultats à grande échelle. Le marketing a toujours tenté d'influencer les comportements ; la différence aujourd'hui réside dans la précision et les mécanismes de rétroaction : les organisations peuvent observer les comportements individuels en temps réel, segmenter les populations en catégories de plus en plus fines, mener continuellement des tests A/B et ajuster ce que chacun voit, paie ou obtient comme offre. En revanche, les individus n'ont généralement accès qu'à la surface du système : une notification, un score, un prix, une recommandation ou un refus, sans savoir comment leurs données sont utilisées, quel objectif est optimisé, ni comment leurs choix sont guidés.
Ce point est crucial, car les gens s'adaptent à ce que le système récompense. Dans le recrutement, on ne se contente plus de se demander si les candidats peaufinent leur CV pour plaire aux recruteurs ; les outils de tri automatisés et les systèmes de classement par IA peuvent récompenser certains signaux spécifiques, tout en cachant la logique sous-jacente. Une étude de l'Université de Washington a révélé qu'après avoir classé plus de 550 CV réels, de grands modèles de langage préféraient dans 85 % des cas les CV associés à des noms blancs, et n'ont jamais favorisé de CV associés à des noms d'hommes noirs. Dans l'éducation, la controverse sur les notes au Royaume-Uni en 2020 a montré comment un modèle algorithmique transformait l'historique au niveau des écoles en notes individuelles : l'Office of Qualifications and Examinations Regulation (Ofqual) a abaissé les notes d'évaluation en interne pour environ 40 % des élèves, déclenchant une forte opposition publique et conduisant finalement le gouvernement à annuler cette décision.
De plus, les outils d'IA plus récents présentent davantage de risques. Des chercheurs de l'Université de Stanford ont testé sept détecteurs d'IA largement utilisés sur des échantillons provenant de locuteurs natifs et non natifs de l'anglais. Les résultats ont montré que sur l'échantillon des non-natifs, les détecteurs d'IA classaient par erreur 61,22 % des textes comme étant générés par l'IA, indiquant que certains étudiants sont plus susceptibles d'être suspectés ou sanctionnés en raison de leur style d'écriture. Des phénomènes similaires apparaissent dans la vie et le travail numériques. La fameuse expérience du fil d'actualité de Facebook en 2014 sur 689 003 utilisateurs a montré que l'exposition à des publications positives ou négatives affectait le langage émotionnel utilisé par la suite. Dans la vente au détail, les travailleurs des entrepôts Amazon ont également rapporté qu'ils devaient atteindre des indicateurs basés sur la vitesse, sans savoir comment ces indicateurs étaient calculés. Des rapports et des études sur la gestion algorithmique des entrepôts Amazon ont également exploré ce phénomène. Ces cas révèlent un problème plus profond : les systèmes numériques ne se contentent pas de catégoriser les comportements a posteriori. Ils enseignent également aux gens quels mots utiliser, quels risques éviter, quelles émotions exprimer et quels indicateurs poursuivre. Lorsque les organisations façonnent les conditions dans lesquelles les gens pensent, agissent et prennent des décisions, tandis que les individus ne font qu'expérimenter ces conditions comme des scores, des niveaux, des informations, des objectifs ou des prix, l'asymétrie de l'agence algorithmique prend une dimension politique.
La politique ne peut pas se contenter de slogans
Par conséquent, la politique doit rééquilibrer cette relation. Premièrement, les législateurs doivent exiger une notification et une explication significatives lorsque des impacts se produisent. Les utilisateurs devraient savoir quand ils interagissent avec une IA, quand un contenu est synthétique, et quand une décision importante est influencée par un système automatisé. La logique derrière l'obligation de transparence européenne à l'article 50 de la loi européenne sur l'IA pointe dans la bonne direction. Les principes de l'OCDE sur l'IA expriment le même point de vue de manière plus large : les gens ont besoin d'informations suffisantes pour comprendre les résultats et, si nécessaire, les contester.
Deuxièmement, les gouvernements devraient exiger des évaluations d'impact exécutoires avant que les systèmes algorithmiques n'entrent dans des domaines à haut risque comme l'emploi, l'éducation, le logement, les assurances, les soins de santé, les prestations sociales et la police. Certaines méthodes existantes en fournissent une base, comme l'évaluation d'impact algorithmique du Canada, l'évaluation d'impact des droits de la personne pour l'IA de l'Ontario et l'évaluation d'impact des droits fondamentaux pour les systèmes d'IA à haut risque en Europe. Des échecs récents montrent que des garanties plus solides sont cruciales. Au Royaume-Uni, la Cour d'appel a statué dans l'affaire « R (Bridges) c. South Wales Police Chief Constable » que l'utilisation de la reconnaissance faciale automatique en temps réel par la police du sud du pays de Galles était illégale. À Détroit, Robert Williams a été arrêté à tort suite à une mauvaise correspondance de reconnaissance faciale, documentée par l'ACLU. Par conséquent, avant le déploiement, les institutions devraient évaluer les impacts potentiels des systèmes d'IA, tels que les violations de droits, les préjudices aux groupes vulnérables et la distribution des erreurs, ainsi qu'évaluer la nécessité d'une supervision humaine, de mécanismes de recours et de mesures correctives, et rendre compte publiquement autant que possible.
Troisièmement, la supervision humaine doit être réelle, effective, formée et protégée. Dans de nombreuses institutions, le pouvoir d'« intervention humaine » est souvent limité lorsque les employés sont sous pression pour faire confiance aux sorties du système. Le programme australien « Robodebt » a montré comment le calcul automatisé des dettes de prestations pouvait nuire aux gens lorsque les fonctionnaires considéraient les réclamations générées par le système comme faisant autorité. Dans l'affaire R (Bridges) c. South Wales Police, la Cour d'appel britannique a jugé l'utilisation de la reconnaissance faciale en temps réel illégale, en partie en raison de garanties insuffisantes concernant le pouvoir discrétionnaire, la protection des données et l'impact équitable. Le scandale « Horizon » de la Poste britannique a révélé un échec similaire : on faisait confiance aux résultats d'un logiciel défectueux plutôt qu'à l'expérience vécue de centaines de gérants de bureaux de poste. La valeur de l'article 14 de la loi européenne sur l'IA réside dans le fait qu'il exige que les personnes chargées de superviser les systèmes d'IA à haut risque comprennent, surveillent, interprètent, outrepassent ou interrompent le système. Toute institution utilisant une IA ayant un impact significatif devrait désigner des réviseurs responsables, les former à identifier les biais d'automatisation et leur donner un réel pouvoir d'arrêter les sorties nuisibles.
Quatrièmement, la régulation ne devrait pas s'arrêter à la publication du système. Les modèles dérivent, les environnements changent, les incitations évoluent. Un système qui semble acceptable lors des tests peut devenir discriminatoire ou manipulateur une fois en interaction avec de vraies populations. Par conséquent, la surveillance post-déploiement, la journalisation, l'audit indépendant et le rapport d'incidents devraient devenir des obligations légales. Le cadre de gestion des risques liés à l'IA du NIST américain et les dispositions sur la surveillance post-commercialisation dans la loi sur l'IA reconnaissent ce point. Un indice d'IA prosociale pourrait être utilisé pour cartographier, mesurer et surveiller l'impact des systèmes d'IA sur les humains et leur environnement.
Cinquièmement, certaines pratiques devraient être interdites. Les systèmes conçus pour exploiter les faiblesses, déformer les comportements par une conception trompeuse ou manipuler les enfants et d'autres groupes vulnérables devraient être interdits, et non simplement faire l'objet de directives douces. L'article 5 de la loi européenne sur l'IA interdit certains usages manipulateurs et abusifs, traçant une ligne dure nécessaire. Une société numérique saine ne peut pas reposer uniquement sur la divulgation d'informations, mais doit s'interroger sur la conception sous-jacente visant à saper le jugement.
La littératie algorithmique devrait être considérée comme une infrastructure civique. Si seuls les développeurs, les fournisseurs et les équipes de conformité comprennent le fonctionnement de ces systèmes, même sous une bonne régulation, le problème de l'asymétrie de pouvoir persiste. Les citoyens, les enseignants, les juges, les journalistes, les cliniciens et les gestionnaires publics ont tous besoin d'une littératie pratique sur les médias synthétiques, les systèmes de classement, l'orientation des comportements, le droit de contester et les limites des sorties des modèles. L'article 4 de la proposition européenne sur la littératie en IA est un signal utile, qui devrait être développé en une mission publique plus large. Outre la littératie en IA, il est temps d'investir dans une double littératie pour s'assurer que les utilisateurs prennent conscience de l'interaction entre la perception individuelle, le comportement et l'influence des actifs artificiels.
En fin de compte, l'asymétrie de l'agence algorithmique n'est pas un problème technique isolé, mais un déséquilibre structurel quant à qui peut percevoir, façonner et résister aux forces des algorithmes. D'un côté, l'apprentissage est plus rapide, avec des tests et interventions continus et discrets ; de l'autre, l'adaptation se fait avec des informations partiellement opaques. Une bonne politique ne peut pas éliminer complètement cette asymétrie, mais elle peut réduire l'écart dans les domaines les plus critiques en rendant les influences automatisées visibles, contestables, auditées et gouvernables.
Cet article provient du compte public WeChat « Internet Law Review », auteur : Cornelia Walter
