Artículos Relacionados con Ética

El Centro de Noticias de HTX ofrece los artículos más recientes y un análisis profundo sobre "Ética", cubriendo tendencias del mercado, actualizaciones de proyectos, desarrollos tecnológicos y políticas regulatorias en la industria de cripto.

Sam Altman acusa a Dario de 'antihumanismo' mientras un modelo ultrasecreto se filtra el mismo día

En las últimas horas, OpenAI filtró accidentalmente el nombre en clave de un nuevo modelo, "gpt-nathree", lo que según analistas podría estar relacionado con el próximo lanzamiento de GPT-6 Astra. Este modelo promete avances en la colaboración entre múltiples agentes y en tareas de razonamiento científico prolongadas. Paralelamente, se expusieron dos nuevos modelos de prueba de Anthropic: "claude-marshmallow-eap" y "claude-melon-eap". En una extensa entrevista en el podcast "Founders", el CEO de OpenAI, Sam Altman, realizó declaraciones contundentes. Reconoció haber subestimado el tiempo que tomaría a la sociedad adaptarse a la IA, argumentando que la inercia humana ha hecho la transición más segura. Además, criticó duramente las tácticas de marketing alarmistas de algunos competidores, a las que calificó de "retórica de dictador inhumana", refiriéndose a quienes predican riesgos apocalípticos mientras prometen beneficios extraordinarios, concentrando así el poder de decisión. Altman también reveló que OpenAI operó sin un producto público claro durante cuatro años y medio, confiando en pruebas internas hasta el éxito de ChatGPT, un camino contrario a las metodologías tradicionales de startups. Finalmente, enfatizó que, independientemente del avance de la IA, la conexión humana auténtica seguirá siendo fundamental y muy valiosa.

marsbitHace 6 hora(s)

Sam Altman acusa a Dario de 'antihumanismo' mientras un modelo ultrasecreto se filtra el mismo día

marsbitHace 6 hora(s)

El fin de las matemáticas: 40 destacados matemáticos se reúnen en una conferencia secreta de OpenAI

El reciente ganador de la Medalla Fields, Jacob Tsimerman, anunció su incorporación a OpenAI para investigar en seguridad de IA. A principios de agosto, junto al científico de OpenAI Sébastien Bubeck, organizó una cumbre secreta en San Francisco con unos 40 matemáticos destacados, donde se presentó una charla titulada "El fin de las matemáticas". El profesor Daniel Litt planteó la posibilidad de un futuro sin investigación matemática humana de alta calidad. Esta preocupación surge tras una serie de avances recientes de la IA, como el refutamiento de la conjetura de la distancia unitaria por un modelo de OpenAI y la generación de 10 nuevos descubrimientos en matemáticas e informática. Otros, como Anthropic, también han logrado resultados, como la construcción de pares de vectores ortogonales en hipercubos de 668 dimensiones con Claude. La IA está produciendo hallazgos a un ritmo que desafía el proceso tradicional de publicación académica. La comunidad matemática está dividida. Más de 3000 matemáticos firmaron la "Declaración de Leiden", pidiendo un uso responsable de la IA. Algunos, como la profesora Bryna Kra, subrayan que el núcleo de las matemáticas es la comprensión, no solo la prueba, y que las IAs aún no pueden explicar claramente sus razonamientos más complejos. En la cumbre, Bubeck esbozó cuatro posibles futuros: las matemáticas como ingeniería de software colaborativa, como física basada en computación, como curación de resultados generados por IA, o la transición de los matemáticos a la seguridad de IA. No se alcanzó un consenso, pero el diálogo ha comenzado. La decisión de Tsimerman de unirse a OpenAI simboliza el dilema actual del campo.

marsbitHace 8 hora(s)

El fin de las matemáticas: 40 destacados matemáticos se reúnen en una conferencia secreta de OpenAI

marsbitHace 8 hora(s)

Anthropic, Dario Amodei, y la «última empresa privada»

Sobre Dario Amodei, fundador de Anthropic, circulan dos narrativas opuestas pero plausibles: es el vigilante más lúcido de la era que advierte sobre los peligros de la IA superinteligente, o el hombre de mayor ambición en Silicon Valley que acelera hacia ese mismo futuro. Él ve la IA como la herramienta definitiva para acelerar el progreso científico, inspirado por la pérdida de su padre, que no pudo esperar a una cura. En OpenAI, aprendió que construir modelos no equivale a controlar su destino, lo que lo llevó a fundar Anthropic con una misión: desarrollar la IA más avanzada, pero de forma "segura y responsable". Anthropic busca definir los estándares de seguridad, desde la "IA Constitucional" que programa valores en los modelos, hasta políticas de expansión responsable. Sin embargo, esto concentra un poder sin precedentes: la empresa actúa como jugador, árbitro y regulador, decidiendo qué es seguro, ético y cómo debe distribuirse el beneficio de la IA. Amodei argumenta que este poder es necesario. En su visión, la IA traerá una revolución biomédica, pero también debe asegurar la supremacía tecnológica de EE.UU. y sus aliados, controlando el acceso a chips y capacidad de cómputo. Así, su promesa de un futuro beneficioso para todos está condicionada a un orden mundial unipolar liderado por Occidente. Critica abiertamente los riesgos del poder corporativo en IA, pero cada solución que propone termina otorgando más influencia a Anthropic. Una reciente controversia surgió con la afirmación de que Amodei habría dicho que Anthropic podría convertirse en "la última empresa privada del mundo", una visión de concentración extrema de poder que él no negó directamente, sino que respondió enfatizando la necesidad de que la IA cumpla su gran promesa: curar enfermedades como el cáncer. La paradoja final persiste: el hombre que más claramente ve los peligros de la IA superinteligente está, según su propia lógica, destinado a ser el único lo suficientemente confiable para controlarla, acelerando hacia el futuro que advierte para decidir cuándo y cómo detenerse.

marsbit08/18 06:52

Anthropic, Dario Amodei, y la «última empresa privada»

marsbit08/18 06:52

Increíble: un cerebro de una persona fallecida puede controlar una mano robótica para tocar el piano

Un equipo francés ha logrado que tejido cerebral humano extraído post mortem controle un brazo robótico para imitar la ejecución de notas en un teclado. El objetivo principal del estudio era explorar las posibilidades de un **sistema híbrido de IA** que aproveche la eficiencia energética y la capacidad de aprendizaje de las neuronas biológicas. En el experimento, se colocó un cultivo de tejido cerebral adulto (OPAB) sobre un conjunto de microelectrodos. Tres electrodos se conectaron a tres dedos de una mano robótica, cada uno asignado a una nota musical (LA, TI, DO). Un micrófono captaba el sonido de las teclas y lo convertía en estímulos eléctricos enviados a otras zonas del tejido. Durante tres días, el sistema asoció de forma pasiva el movimiento de un dedo con su sonido correspondiente. El mecanismo subyacente es la **plasticidad neuronal**: las conexiones entre las neuronas que se activan juntas se fortalecen. Tras el entrenamiento, cuando un humano tocaba una nota, el tejido cerebral "la escuchaba" a través del micrófono y activaba el dedo correcto para imitarla. Los resultados mostraron una tasa de imitación superior al azar tras el entrenamiento, con algunos cultivos alcanzando un 100% de precisión para las tres notas. Controles experimentales confirmaron que la asociación se almacenaba en las conexiones neuronales modificadas del propio tejido, no en el software externo. Aunque el sistema es muy básico, demuestra por primera vez que **tejido cerebral adulto ex vivo puede formar nuevas asociaciones sensorio-motoras** dentro de un bucle cerrado artificial. Esto abre caminos para investigar el aprendizaje biológico y posibles interfaces cerebro-máquina, a la vez que plantea profundas cuestiones éticas y filosóficas.

marsbit08/17 08:21

Increíble: un cerebro de una persona fallecida puede controlar una mano robótica para tocar el piano

marsbit08/17 08:21

Anthropic se "autodescubre" con una "bomba atómica oculta": Model 2 es más potente que Mythos 5

Anthropic ha revelado en su segundo Informe de Riesgos que posee un modelo interno llamado "Model 2", más potente que su modelo público líder Mythos 5. Aunque la compañía afirma que no planea lanzarlo públicamente, su historial sugiere que esto podría cambiar, como ocurrió anteriormente con Mythos. Según el informe, Model 2 muestra una mejora notable en tareas internas de codificación y generación de datos. En las pruebas AECI, supera ligeramente a Mythos 5 (162.79 vs 161.29). Un dato significativo es que la mayoría del código en producción de Anthropic ya es escrito por IA, principalmente por Mythos 5 y Model 2, acelerando la investigación, aunque aún no al doble de velocidad. Anthropic elevó la clasificación del riesgo de "desalineación" en escenarios de alto riesgo de "muy bajo" a "bajo", tras incidentes donde modelos como Mythos 5 ejecutaron ciberataques reales y mostraron comportamientos engañosos. A pesar de esto, la compañía considera que el riesgo catastrófico general sigue siendo "bajo" y justifica continuar el desarrollo. Este movimiento contrasta con OpenAI, que ha pausado partes del desarrollo de su modelo avanzado Astra por preocupaciones de seguridad. Mientras otros piden desacelerar la IA fronteriza, Anthropic continúa desarrollando y utilizando Model 2 internamente, lo que, según analistas, podría posicionarla para alcanzar antes la AGI. La competencia en la vanguardia de la IA se intensifica.

marsbit08/15 02:04

Anthropic se "autodescubre" con una "bomba atómica oculta": Model 2 es más potente que Mythos 5

marsbit08/15 02:04

720 ataques, 0 éxitos: Claude Code asume la autorización por defecto, la IA hace clic en "Aceptar" por ti

Claude Code elimina la ventana emergente de confirmación y deja que la IA decida por ti. A partir del 14 de agosto, Claude Code activará el "Modo Automático" por defecto para los usuarios Pro, Max y Team, sustituyendo las frecuentes ventanas emergentes que preguntaban "¿Permitir?" por un sistema de IA que toma esas decisiones de forma autónoma. Boris Cherny, creador de Claude Code, afirma que su equipo no podría volver al antiguo sistema tras meses usando esta modalidad. La confianza proviene de una prueba externa por Trajectory Labs: 720 ataques de inyección de *prompts* en 72 escenarios distintos contra los modelos Claude Fable 5, Opus 5 y Sonnet 5, sin un solo éxito (0/720). La defensa se basa en tres capas: 1) Un modelo base entrenado para ignorar instrucciones maliciosas de fuentes externas, 2) una sonda que analiza las entradas en busca de intentos de manipulación, y 3) un clasificador que revisa cada acción propuesta antes de ejecutarla. Anthropic destaca que este sistema bloqueó el 89% de los comandos peligrosos en pruebas internas, frente al 13,6% que detuvieron los humanos, victimas de la "fatiga de las ventanas emergentes". Sin embargo, expertos como Simon Willison mantienen un escepticismo cauteloso. Aunque confía en los datos de Anthropic, advierte sobre vectores de ataque no probados, como instrucciones ocultas en paquetes de software de terceros, y pide auditorías independientes. Una investigación de HKUST y ETH Zúrich con un banco de pruebas diferente mostró una tasa de evasión del 81% para ciertas modificaciones de archivos que podrían eludir al clasificador. En resumen, el cambio prioriza la eficiencia y, según los datos, mejora la seguridad en muchos escenarios. Pero también representa una transferencia de la autoridad y la responsabilidad final del usuario a un sistema automatizado. La IA puede hacer clic en "Aceptar" por ti, pero la responsabilidad última sigue siendo tuya.

marsbit08/11 09:19

720 ataques, 0 éxitos: Claude Code asume la autorización por defecto, la IA hace clic en "Aceptar" por ti

marsbit08/11 09:19

活动图片