Autor: Curry, Deep Tide TechFlow
La semana pasada, una escuela secundaria en Manchester, Reino Unido, utilizó IA para revisar su biblioteca.
La IA elaboró una lista de 193 libros para retirar, cada uno con una justificación. '1984' de George Orwell estaba en la lista, con el motivo de "contener temas de tortura, violencia y coerción sexual".
'1984' describe un mundo donde el gobierno lo vigila todo, reescribe la historia y decide lo que los ciudadanos pueden y no pueden ver. Ahora, una IA hizo lo mismo por una escuela, y probablemente ni siquiera entendía lo que estaba diciendo.
La bibliotecaria de la escuela consideró que era irrazonable y se negó a implementar todas las recomendaciones de la IA.
La escuela inició de inmediato una investigación interna contra ella, citando "seguridad infantil", acusándola de introducir libros inapropiados en la biblioteca, y lo reportó al gobierno local. Ella se ausentó por enfermedad debido a la presión y finalmente renunció.
Lo absurdo fue que la investigación del gobierno local concluyó que efectivamente había violado los procedimientos de seguridad infantil, dando por válida la queja.
Caroline Roche, presidenta de la Asociación de Bibliotecas Escolares del Reino Unido, dijo que esta conclusión significa que ya no podrá trabajar en ninguna escuela.
La persona que resistió el juicio de la IA perdió su trabajo, mientras que quien aprobó el juicio de la IA no tuvo ningún problema.
Posteriormente, la escuela admitió en documentos internos que todas las clasificaciones y justificaciones fueron generadas por IA, afirmando: "Aunque la clasificación fue generada por IA, consideramos que es mayormente precisa".
Una escuela delegó el juicio de "qué libros son apropiados para los estudiantes" a una IA. La IA devolvió una respuesta que ni ella misma entendía, y luego un administrador humano la aprobó sin revisarla detenidamente.
Cuando la organización de libertad de expresión Index on Censorship expuso esto, las cuestiones planteadas fueron mucho más allá de los estantes de una escuela:
Cuando la IA comienza a decidir qué contenido es apropiado y qué contenido es peligroso, ¿quién juzga si el juicio de la IA es correcto?
Wikipedia le cierra la puerta a la IA
La misma semana, otra institución respondió a esta pregunta con acciones.
Mientras la escuela dejaba que la IA decidiera lo que las personas pueden leer, la enciclopedia en línea más grande del mundo, Wikipedia, tomó la decisión opuesta: no permitir que la IA decida lo que se escribe en la enciclopedia.
La misma semana, la Wikipedia en inglés aprobó formalmente una nueva política que prohíbe el uso de modelos de lenguaje grande (LLM) para generar o reescribir el contenido de los artículos. La votación fue de 44 a favor y 2 en contra.
La causa directa fue una cuenta de IA llamada TomWikiAssist. A principios de marzo, esta cuenta creó y editó de forma autónoma varios artículos en Wikipedia, lo que fue detectado y manejado urgentemente por la comunidad.
A la IA le toma segundos escribir un artículo, pero a los voluntarios les lleva horas verificar los hechos, las fuentes y la redacción de un artículo generado por IA para asegurar su precisión.
La comunidad de editores de Wikipedia es limitada. Si la IA puede producir contenido infinitamente, los editores humanos no podrían revisarlo todo.
Y esta no es ni siquiera la parte más problemática. Wikipedia es una de las fuentes de datos de entrenamiento más importantes para los modelos de IA a nivel global. La IA aprende conocimientos de Wikipedia y luego usa lo aprendido para escribir nuevos artículos de Wikipedia, que a su vez son ingeridos por la siguiente generación de modelos de IA para continuar el entrenamiento.
Si la información errónea generada por IA se cuela en este ciclo, se amplificará constantemente, creando un envenenamiento de IA en forma de muñeca rusa:
La IA contamina los datos de entrenamiento, y los datos de entrenamiento contaminan a la IA.
Sin embargo, la política de Wikipedia deja dos espacios para la IA: los editores pueden usar IA para pulir textos escritos por ellos mismos o para ayudar en traducciones. Pero la política advierte específicamente que la IA puede "ir más allá de tu solicitud, cambiar el significado del texto, haciéndolo incompatible con las fuentes citadas".
Los escritores humanos cometen errores, y Wikipedia ha dependido de la colaboración de la comunidad para corregirlos durante más de veinte años. La IA se equivoca de manera diferente: inventa cosas que parecen más reales que la realidad y puede producirlas en masa.
Una escuela confió en el juicio de la IA y perdió a una bibliotecaria. Wikipedia optó por no confiar y simplemente cerró la puerta.
Pero, ¿y si incluso quienes crean la IA也开始 a desconfiar?
Los creadores de IA tienen miedo primero
Mientras instituciones externas cierran puertas a la IA, las propias compañías de IA también se están retrayendo.
La misma semana, OpenAI suspendió indefinidamente el "modo para adultos" de ChatGPT. Esta función, planeada originalmente para diciembre pasado, permitiría a usuarios adultos verificados por edad entablar conversaciones de naturaleza erótica con ChatGPT.
El CEO Sam Altman lo anunció personalmente en octubre, diciendo textualmente que quería "tratar a los usuarios adultos como adultos".
Después de tres retrasos, finalmente la cancelaron.
Según el Financial Times, el comité asesor interno de salud de OpenAI votó unánimemente en contra de esta función. Las preocupaciones de los asesores eran concretas: los usuarios desarrollarían una dependencia emocional poco saludable hacia la IA, y los menores de edad encontrarían inevitablemente la manera de eludir la verificación de edad.
Un asesor fue más directo: sin mejoras significativas, esto podría convertirse en un "entrenador de suicidio sexy".
La tasa de error del sistema de verificación de edad supera el 10%. Con una base de usuarios activos semanales de ChatGPT de 800 millones, un 10% significa que decenas de millones de personas podrían ser clasificadas incorrectamente.
El modo para adultos no fue el único producto cancelado este mes. La herramienta de video AI Sora y la función de pago instantáneo integrada en ChatGPT también fueron retiradas. Altman dijo que la empresa se centraría en su negocio principal, eliminando "tareas secundarias".
Pero OpenAI se prepara simultáneamente para su OPI (Oferta Pública Inicial).
Que una empresa en camino a su salida a bolsa cancele de forma密集 funciones potencialmente controvertidas, este movimiento podría llamarse más accurately "enfoque".
Hace cinco meses Altman decía que había que tratar a los usuarios como adultos. Cinco meses después, descubrió que su propia empresa aún no tenía claro qué podía y qué no podía tocar la IA para los usuarios.
Ni siquiera los creadores de la IA tienen la respuesta. Entonces, ¿quién debería trazar esta línea?
La brecha de velocidad inalcanzable
Si juntas estos tres eventos, es fácil llegar a una conclusión central:
La velocidad a la que la IA produce contenido y la velocidad a la que los humanos lo moderan ya no están en la misma escala.
La elección de la escuela de Manchester se entiende fácilmente en este contexto. ¿Cuánto tiempo le tomaría a un bibliotecario leer 193 libros uno por uno para luego juzgar? ¿Y a la IA? Unos minutos.
El director eligió la opción de minutos. ¿Realmente crees que confiaba en el criterio de la IA? Creo que更多的是 porque no quería invertir ese tiempo.
Es una cuestión económica. El costo de generación se acerca a cero, el costo de la revisión lo asumen entirely los humanos.
Por lo tanto, cada institución afectada por la IA se ve obligada a responder de la manera más brutal: Wikipedia directamente prohíbe, OpenAI directamente cancela líneas de producto. Ninguna solución es el resultado de una reflexión profunda, todas son parches aplicados apresuradamente porque no hubo tiempo para pensarlo bien.
"Tapar primero y pensar después" se está convirtiendo en la norma.
Las capacidades de la IA iteran cada pocos meses, mientras que el debate sobre qué contenido puede tocar la IA ni siquiera tiene un marco internacional decente. Cada institución solo traza la línea en su propio jardín, las líneas se contradicen entre sí y nadie las coordina.
La velocidad de la IA sigue aumentando. El personal de moderación no va a aumentar. Esta brecha de tijera solo se hará más grande, hasta que un día ocurra algo mucho más grave que prohibir '1984'.
Para entonces, trazar la línea podría ser demasiado tarde.
