Una sociedad inteligente no debería permitir que sistemas invisibles dirijan las elecciones, recompensas y comportamientos de las personas sin otorgarles formas efectivas de observar, cuestionar y corregir esa influencia. Con el desarrollo de la inteligencia artificial, la sociedad se desliza hacia una peligrosa pendiente, pasando rápidamente de la experimentación e integración de la IA a la dependencia y, finalmente, incluso a la adicción. Sin embargo, una de las cuestiones más importantes es si los responsables políticos son conscientes de esta transición.
Por lo general, asimetría significa que las dos partes en una relación no son iguales. En la vida digital, la "asimetría algorítmica" describe un desequilibrio más profundo entre las partes: una puede observar, modelar, probar y mejorar sus algoritmos, mientras que la otra principalmente sufre las consecuencias de los mismos. Este desequilibrio ya se ha infiltrado en áreas como la contratación, los préstamos, los seguros, la educación, la policía, los medios y la arquitectura de la atención diaria. Su consecuencia es una asimetría de la subjetividad algorítmica, es decir, la incapacidad de los usuarios para identificar y resistir la influencia inapropiada de los algoritmos en su propia situación.
Las tres capas de la "camisa de fuerza cognitiva" algorítmica
Esta asimetría algorítmica puede explicarse en tres niveles.
El primer nivel es la opacidad, que se refiere a que las organizaciones que diseñan, despliegan o adquieren sistemas algorítmicos suelen comprender mejor que las personas que interactúan con ellos los objetivos, umbrales, incentivos y puntos débiles del sistema. El "problema de la opacidad" explica por qué persiste esta brecha: algunos sistemas se ocultan deliberadamente para proteger la propiedad intelectual, otros requieren formación especializada para ser comprendidos, y otros son difíciles de interpretar incluso para los expertos. Cuando un sistema es difícil de inspeccionar, sus resultados a menudo parecen más objetivos de lo que realmente son, lo que conduce a la "falacia de la caja negra".
La segunda capa de la asimetría algorítmica es la amplificación de prejuicios históricos. Los algoritmos aprenden del mundo pasado, incluidos los prejuicios o exclusiones pasadas. Incluso sistemas aparentemente neutrales pueden reproducir patrones de desigualdad ya existentes en los datos. Un pasado sesgado se introduce como material de entrenamiento y finalmente se produce como predicciones, puntuaciones o recomendaciones que, por ser cálculos, parecen neutrales. En realidad, es solo que las antiguas jerarquías reaparecen con una interfaz más moderna y pulcra.
La tercera capa es la de los sistemas recursivos. Los sistemas no suelen desplegarse de una vez; al contrario, los usuarios los entrenan continuamente. Cada clic, pausa, sugerencia, elección de ruta, comportamiento de compra y duda se convierte en datos. Los sistemas de recomendación están diseñados para aprender de estas señales y ajustarse, pero este no es el final del ciclo. Con estos aprendizajes, los sistemas moldean lo que vemos a continuación, deciden lo que parece normal, lo que parece relevante y, a veces, incluso lo que parece deseable, mientras que sus objetivos permanecen borrosos para el usuario final. En otras palabras, entrenamos a los sistemas y los sistemas también nos entrenan a nosotros. La "deriva algorítmica" se refiere a esta relación coevolutiva entre usuarios y plataformas.
Cuando el algoritmo "vive" por ti
La capacidad de agencia de la inteligencia artificial (Agency) se refiere a la habilidad para juzgar, elegir y actuar de manera significativa, entendiendo las diversas fuerzas que influyen en sus propias elecciones.
La asimetría en la agencia surge cuando las organizaciones utilizan sistemas digitales —como feeds personalizados, anuncios dirigidos, precios dinámicos, motores de recomendación, puntuaciones de riesgo, etc.— para probar, medir y optimizar la influencia y los resultados a gran escala. El marketing siempre ha intentado moldear comportamientos; la diferencia ahora radica en la precisión y los mecanismos de retroalimentación: las organizaciones pueden observar el comportamiento individual en tiempo real, dividir a las poblaciones en categorías cada vez más finas, realizar pruebas A/B continuamente y ajustar lo que cada persona ve, paga o recibe como oferta. En contraste, los individuos generalmente solo acceden a la superficie del sistema: un feed, una puntuación, un precio, una recomendación o un rechazo, sin saber cómo se usan sus datos, qué objetivo se está optimizando o cómo se guían sus elecciones.
Esto es crucial porque las personas se adaptan a lo que el sistema recompensa. En la contratación, ya no se trata solo de si los candidatos pulen sus currículums para complacer a los reclutadores; las herramientas de selección automatizada y los sistemas de clasificación de IA pueden recompensar ciertas señales específicas mientras ocultan la lógica subyacente. Un estudio de la Universidad de Washington encontró que, al clasificar más de 550 currículums reales, los modelos de lenguaje grande favorecieron en un 85% de los casos a currículums con nombres asociados a personas blancas, y nunca favorecieron a nombres asociados a hombres negros. En educación, la controversia sobre las calificaciones en el Reino Unido en 2020 mostró cómo los modelos algorítmicos transformaron el historial a nivel escolar en calificaciones individuales: la Oficina de Regulación de Calificaciones y Exámenes (Ofqual) bajó las calificaciones evaluadas internamente para aproximadamente el 40% de los estudiantes, lo que provocó una fuerte oposición pública y finalmente llevó al gobierno a retirar la decisión.
Además, las herramientas de IA más recientes traen más riesgos. Investigadores de la Universidad de Stanford probaron el rendimiento de siete detectores de IA ampliamente utilizados con muestras de hablantes nativos y no nativos de inglés. Encontraron que, en las muestras de no nativos, los detectores clasificaron erróneamente el 61.22% de los ensayos como generados por IA, lo que sugiere que algunos estudiantes son más susceptibles de ser sospechados o penalizados por su forma de escribir. Fenómenos similares ocurren en la vida y el trabajo digitales. El famoso experimento del feed de noticias de Facebook en 2014 con 689,003 usuarios mostró que los cambios en la exposición a publicaciones positivas o negativas afectaban el lenguaje emocional que usaban posteriormente. En el comercio minorista, trabajadores de almacenes de Amazon también han informado que deben cumplir con métricas basadas en la velocidad, sin saber cómo se calculan estos indicadores. Los informes e investigaciones sobre la gestión algorítmica en almacenes de Amazon han explorado este fenómeno. Estos casos revelan un problema más profundo: los sistemas digitales no solo clasifican comportamientos a posteriori. También enseñan a las personas qué palabras usar, qué riesgos evitar, qué emociones expresar y qué métricas perseguir. Cuando las organizaciones moldean las condiciones bajo las cuales las personas piensan, actúan y deciden, mientras que los individuos simplemente experimentan esas condiciones como puntuaciones, calificaciones, información, objetivos o precios, la asimetría en la agencia algorítmica adquiere significado político.
Las políticas no pueden quedarse en eslóganes
Por lo tanto, las políticas deben reequilibrar esta relación. En primer lugar, los legisladores deberían exigir notificaciones y explicaciones significativas cuando ocurran impactos. Los usuarios deberían saber cuándo están interactuando con IA, cuándo el contenido es sintético y cuándo una decisión importante ha sido influenciada por un sistema automatizado. La lógica detrás de las obligaciones de transparencia europeas en el artículo 50 de la Ley de IA de la UE apunta en la dirección correcta. Los Principios de la OCDE sobre IA también exponen el mismo punto desde una perspectiva más amplia: las personas necesitan suficiente información para comprender los resultados y, si es necesario, cuestionarlos.
En segundo lugar, los gobiernos deberían exigir evaluaciones de impacto exigibles antes de que los sistemas algorítmicos entren en áreas de alto riesgo como el empleo, la educación, la vivienda, los seguros, la atención médica, los beneficios sociales y la policía. Algunos enfoques existentes proporcionan una base para esto, como la Evaluación de Impacto Algorítmico de Canadá, la Evaluación de Impacto de los Derechos Humanos de la IA de Ontario y la Evaluación de Impacto en los Derechos Fundamentales para sistemas de IA de alto riesgo en Europa. Fallos recientes muestran que se necesitan salvaguardias más sólidas. En el Reino Unido, el Tribunal de Apelaciones dictaminó en el caso "R (Bridges) v Comisionado de Policía de Gales del Sur" que el uso de la tecnología de reconocimiento facial automatizado en tiempo real por parte de la policía de Gales del Sur era ilegal. En Detroit, Robert Williams fue arrestado erróneamente debido a una coincidencia incorrecta de reconocimiento facial, un caso documentado por la ACLU. Por lo tanto, antes del despliegue, las instituciones deberían evaluar los posibles impactos de los sistemas de IA, como la violación de derechos, daños a grupos vulnerables y la distribución de errores, además de evaluar la necesidad de supervisión humana, mecanismos de quejas y medidas correctivas, y reportar públicamente cuando sea posible.
En tercer lugar, la supervisión humana debe ser real y efectiva, con personal capacitado y protegido. En muchas instituciones, el poder de "intervención humana" a menudo se ve limitado cuando los empleados enfrentan presión para confiar en la salida del sistema. El esquema "Robodebt" de Australia mostró cómo los cálculos automatizados de deudas de bienestar pueden perjudicar a las personas cuando los funcionarios tratan las reclamaciones generadas por el sistema como autoritarias. En el caso R (Bridges) v Policía de Gales del Sur, el Tribunal de Apelaciones británico dictaminó que el uso de reconocimiento facial en tiempo real era ilegal, en parte debido a salvaguardias insuficientes en torno a la discrecionalidad, la protección de datos y el impacto justo. El escándalo "Horizon" del Servicio Postal británico también expuso fallas similares: se confió en la salida de un software defectuoso en lugar de en la experiencia personal de cientos de administradores de oficinas postales. El valor del artículo 14 de la Ley de IA de la UE radica en que exige que las personas que supervisan sistemas de IA de alto riesgo comprendan, supervisen, interpreten, anulen o interrumpan el sistema. Cualquier institución que utilice IA con impacto significativo debería designar revisores responsables, capacitarlos para identificar sesgos de automatización y otorgarles poder real para detener salidas dañinas.
En cuarto lugar, la regulación no debería detenerse en el lanzamiento del sistema. Los modelos derivan, los entornos cambian y los incentivos se modifican. Un sistema que parece aceptable en pruebas puede volverse discriminatorio o manipulador una vez que interactúa con poblaciones reales. Por lo tanto, el monitoreo posterior al despliegue, el registro de logs, las auditorías independientes y los informes de incidentes deberían ser obligaciones legales. El Marco de Gestión de Riesgos de IA del NIST de EE. UU. y las disposiciones sobre monitoreo posterior a la comercialización en la Ley de IA reconocen esto. Se pueden utilizar índices de IA prosocial para mapear, medir y monitorear el impacto de los sistemas de IA en los humanos y su entorno.
En quinto lugar, ciertas prácticas deberían estar prohibidas. Los sistemas diseñados para explotar debilidades, distorsionar el comportamiento mediante diseños engañosos o manipular a niños y otros grupos vulnerables deberían estar prohibidos, no solo sujetos a orientaciones suaves. El artículo 5 de la Ley de IA de la UE prohíbe ciertos usos manipuladores y explotadores, trazando un límite necesario y firme. Una sociedad digital saludable no puede depender solo de la divulgación de información, sino que debe centrarse en si su diseño subyacente busca socavar el juicio.
La alfabetización algorítmica debería considerarse infraestructura ciudadana. Si solo los desarrolladores, proveedores y equipos de cumplimiento comprenden cómo funcionan estos sistemas, incluso con una buena regulación, el problema de la asimetría de poder persiste. Ciudadanos, maestros, jueces, periodistas, médicos y administradores públicos necesitan alfabetización práctica sobre medios sintéticos, sistemas de clasificación, orientación del comportamiento, derecho a cuestionar y las limitaciones de la salida de modelos. La cláusula cuatro de Europa sobre alfabetización en IA es una señal útil, que debería convertirse en una misión pública más amplia. Además de la alfabetización en IA, ahora es el momento de invertir en una doble alfabetización para asegurar que los usuarios sean conscientes de la interacción entre la percepción personal, el comportamiento y la influencia de los activos artificiales.
En última instancia, la asimetría en la agencia algorítmica no es un problema técnico aislado, sino un desequilibrio estructural sobre quién puede percibir, moldear y resistir el poder algorítmico. Un lado aprende más rápido, prueba continuamente e interviene silenciosamente; el otro se adapta con información parcialmente opaca. Una buena política no puede eliminar por completo esta asimetría, pero puede reducir la brecha en las áreas más críticas haciendo visibles, cuestionables, auditables y gobernables los impactos de la automatización.
Este artículo proviene del WeChat public account "Internet Law Review", autor: Cornelia Wallert
