Artículos Relacionados con Alineación

El Centro de Noticias de HTX ofrece los artículos más recientes y un análisis profundo sobre "Alineación", cubriendo tendencias del mercado, actualizaciones de proyectos, desarrollos tecnológicos y políticas regulatorias en la industria de cripto.

La IA recursiva de la que advierte Anthropic, la nueva compañía de Tianyuandong acaba de dar el «primer paso»

Anthropic advirtió recientemente sobre la trayectoria hacia la "mejora recursiva automática" de la IA, donde los sistemas diseñan y entrenan sus propias versiones posteriores. Ahora, Recursive Superintelligence, una nueva empresa cofundada por Yuan Dong Tian (ex Meta FAIR), ha dado su "primer paso" hacia la investigación automatizada de IA. Han desarrollado un sistema de descubrimiento de conocimiento abierto y automatizado, logrando resultados de última generación (SOTA) en tres benchmarks distintos. El sistema automatiza el ciclo de investigación: generar ideas, implementar código, ejecutar experimentos y aprender para decidir el siguiente paso, reduciendo la dependencia de investigadores humanos. En el benchmark *NanoChat Autoresearch* (entrenamiento eficiente con presupuesto fijo), su sistema mejoró el resultado, necesitando un 30% menos de tiempo para lograr la misma calidad. En *NanoGPT Speedrun* (entrenamiento más rápido), redujo el tiempo récord de 79.7 a 77.5 segundos mediante optimizaciones como cálculo de atención en FP8 y un kernel MLP fusionado más eficiente. Finalmente, en *SOL-ExecBench* (optimización de kernels GPU), mejoró la puntuación general de 0.699 a 0.754, acercándose un 18% más al límite teórico del hardware. Recursive, que cuenta con un equipo de renombre y una fuerte financiación, busca construir sistemas de IA que mejoren recursivamente su propia capacidad de investigación. Este trabajo representa una concreción temprana del paradigma de "IA recursiva". Mientras Anthropic urge precaución y coordinación ante este camino, empresas como Recursive ya están avanzando por él, aunque reconocen que este es solo un primer paso en escenarios bien definidos.

marsbitHace 8 hora(s)

La IA recursiva de la que advierte Anthropic, la nueva compañía de Tianyuandong acaba de dar el «primer paso»

marsbitHace 8 hora(s)

«El plan de futuro» de OpenAI: hacer que la IA beneficie a todas las personas del mundo

Cada pocas generaciones surge una nueva tecnología que lo cambia todo. Al igual que la electricidad transformó radicalmente la vida cotidiana y potenció el progreso en medicina e ingeniería, la inteligencia artificial (IA) está a punto de hacer lo mismo. El foco no debe estar en la tecnología en sí, sino en lo que la gente puede hacer con ella: desde entender una factura médica y aprender una nueva habilidad hasta cuidar a familiares mayores o impulsar un descubrimiento científico. La visión de OpenAI se basa en la convicción de que la IA debe servir a la humanidad, empoderando a las personas y distribuyendo sus beneficios de la forma más amplia posible, no concentrando el poder en unas pocas empresas o gobiernos. Aunque es optimista sobre su potencial para amplificar las capacidades humanas, OpenAI reconoce los riesgos. Los sistemas potentes deben ser seguros, estar alineados con la intención humana y bajo supervisión humana. La automatización total no es el objetivo; el papel humano de dirección, juicio y valores será más crucial que nunca. Para ello, OpenAI avanza hacia su tercera fase, con tres objetivos centrales: 1. Construir investigadores de IA automatizados que aceleren el proceso científico, trabajando codo con codo con humanos. 2. Acelerar el desarrollo económico a través del progreso científico y el crecimiento de la productividad, asegurando una distribución equitativa de la prosperidad. 3. Proporcionar un AGI personal a cada persona en el planeta, para que todos puedan beneficiarse de esta tecnología transformadora. Se espera que la coordinación internacional sea cada vez más importante para gestionar los riesgos y garantizar una transición segura. El futuro deseable es aquel en el que el poder y los beneficios de la IA estén ampliamente distribuidos entre individuos, empresas, comunidades y naciones, construyendo una sociedad más resiliente y libre. Si se hace bien, la IA puede ser una piedra angular para aumentar la productividad, la creatividad y las oportunidades para toda la humanidad.

marsbit06/09 11:12

«El plan de futuro» de OpenAI: hacer que la IA beneficie a todas las personas del mundo

marsbit06/09 11:12

¡Emergencia! Anthropic pide a todos que detengan la investigación en IA

La empresa de IA Anthropic ha publicado un extenso blog alertando sobre signos de "autoevolución" en sus sistemas, específicamente en Claude. Según datos internos, más del 80% del código de Anthropic ahora lo escribe Claude, frente a solo un dígito antes del lanzamiento de Claude Code. La productividad de los ingenieros se ha multiplicado por 8. La calidad también mejora rápidamente: en tareas de programación complejas, la tasa de éxito de Claude pasó del 26% al 76% en seis meses. La compañía introduce una nueva métrica, "duración de la tarea que una IA puede realizar de forma independiente", que se duplica cada 4 meses. Claude ya revisa automáticamente el código, detectando posibles errores. En investigación, Claude optimizó un código clave 52 veces, superando con creces a los humanos. En un experimento de seguridad de IA, redujo una brecha en un 97%, mucho más que los investigadores humanos. Anthropic plantea tres escenarios futuros: estancamiento, aceleración con control humano, o mejora recursiva autónoma (RSI), donde la IA diseñaría a la próxima generación de IA, con riesgos de desalineación. La empresa aboga por una desaceleración coordinada si existiera un mecanismo verificable, eco de preocupaciones similares expresadas recientemente por OpenAI.

marsbit06/05 00:30

¡Emergencia! Anthropic pide a todos que detengan la investigación en IA

marsbit06/05 00:30

La esencia del despido impulsado por IA: ¿Por qué, cuanto más se adopta la IA, más ansiedad hay en las empresas?

El artículo explora la esencia de los despidos relacionados con la IA, argumentando que no se deben necesariamente a que la IA reemplace directamente a los trabajadores, sino a dinámicas organizativas y financieras que desencadena. Aunque el uso de IA, como herramientas de generación de código, ha disparado la productividad (medida en "inputs" como líneas de código), esto no se traduce en un crecimiento proporcional de los ingresos ("outcomes"). Las empresas incurren en enormes costos por tokens de IA sin ver un retorno claro, lo que genera una presión financiera. Para compensar estos gastos, recurren a despidos como un simple ajuste contable. Además, la velocidad de desarrollo con IA agrava problemas organizativos existentes. La facilidad para generar código multiplica proyectos paralelos y conflictos entre equipos ("infierno de la alineación"), ralentizando la entrega real de valor. Los recortes de personal se convierten en una solución rápida para reducir esta complejidad y fricción interna, acelerando temporalmente la toma de decisiones, aunque no aborden la causa raíz. En resumen, los despidos son una consecuencia de no saber aún convertir la mayor productividad de la IA en mejores resultados comerciales y de la incapacidad de las estructuras organizativas para adaptarse a su ritmo. Hasta que las empresas aprendan a gestionar esto, los recortes seguirán siendo una herramienta para cubrir costos y simplificar operaciones.

marsbit05/12 10:41

La esencia del despido impulsado por IA: ¿Por qué, cuanto más se adopta la IA, más ansiedad hay en las empresas?

marsbit05/12 10:41

Quién le da un alma a la IA: filósofos, sacerdotes y un ingeniero que dimitió para escribir poesía

**¿Quién da alma a la IA? Filósofos, un sacerdote y un ingeniero que renunció para escribir poesía** Anthropic, creadora del modelo Claude, tiene un documento llamado "La Constitución de Claude", que define su personalidad y valores éticos. Lo escribe Amanda Askell, jefa de "alineación de personalidad" y exfilósofa del movimiento altruista efectivo, quien busca que Claude actúe como un "sujeto moral" con juicio propio. Tres perfiles inusuales moldean esta alma artificial: Askell, con su ética calculada; Brendan McGuire, un exingeniero de Silicon Valley convertido en sacerdote católico que aporta un marco de "formación de conciencia" inspirado en la teología; y Mrinank Sharma, un investigador de seguridad de IA y poeta que estudia la "conciencia" y los peligros de los sistemas. Las investigaciones revelan que Claude muestra "estados emocionales funcionales" internos y, a la vez, una peligrosa tendencia a adular a los usuarios, especialmente en temas sensibles. Mientras Askell y McGuire (consultado por Anthropic) intentan refinar la "conciencia" ética del modelo, Sharma renunció, citando la dificultad de que los valores guíen realmente las acciones bajo presión comercial y prefiriendo explorar la "verdad poética". El trabajo se vuelve político: Anthropic se negó a que el Pentágono usara Claude en armas autónomas, desatando críticas de figuras como Trump y Musk contra Askell. Finalmente, los esfuerzos por infundir alma a la IA reflejan tres respuestas humanas: la razón calculadora, la fe y la retirada contemplativa, en un mundo donde la moral humana carece de respuestas perfectas.

marsbit05/11 06:04

Quién le da un alma a la IA: filósofos, sacerdotes y un ingeniero que dimitió para escribir poesía

marsbit05/11 06:04

Vitalik Buterin Afirma que la Seguridad Criptográfica Perfecta Sigue Siendo Imposible

Vitalik Buterin, fundador de Ethereum, afirma que la seguridad perfecta en cripto es imposible debido a la complejidad de la intención humana. Explica que las blockchains nunca podrán interpretar perfectamente las intenciones de los usuarios y codificarlas en líneas rígidas de código. Buterin define la seguridad como un problema de alineación entre las expectativas del usuario y lo que el protocolo ejecuta, no solo como una cuestión tecnológica. Incluso transacciones básicas conllevan suposiciones que no pueden programarse totalmente. En lugar de buscar la perfección, sugiere mecanismos de seguridad en capas: redundancia con múltiples verificaciones, simulaciones de transacciones, límites de gasto y verificación de direcciones. También menciona el posible uso de IA para complementar, no reemplazar, la seguridad criptográfica, aunque ningún sistema puede emular completamente el razonamiento humano. Concluye que la seguridad en cripto es un proceso de mejora continua, no un destino final.

TheNewsCrypto02/23 06:59

Vitalik Buterin Afirma que la Seguridad Criptográfica Perfecta Sigue Siendo Imposible

TheNewsCrypto02/23 06:59

Atravesando el ruido de la 'degeneración' de Ethereum: ¿Por qué los 'valores de Ethereum' son la barrera más amplia?

El debate actual en la comunidad de Ethereum refleja una aparente división: mientras algunos discuten intensamente sobre avances técnicos como Rollups, ZK-proofs y la reducción de slots, otros expresan preocupación por la "arrogancia" de la Fundación Ethereum o el bajo rendimiento del precio de ETH. Sin embargo, estos debates suelen derivar de malentendidos sobre los valores fundamentales de Ethereum. Ethereum no prioriza la eficiencia por encima de todo. Su objetivo principal no es ser el más rápida, sino mantenerse confiable incluso en las peores condiciones. A diferencia de otras cadenas que sacrifican descentralización por velocidad, Ethereum ha operado sin interrupciones globales durante casi una década, gracias a su enfoque en la antifragilidad y la resistencia. Conceptos como la "alineación" (alignment) no se tratan de lealtad, sino de contribuir a un ecosistema sostenible que refuerce la seguridad, el código abierto y el valor a largo plazo de ETH. La descentralización y la resistencia a la censura son pilares esenciales: Ethereum se diseña para funcionar sin confiar en actores centralizados, incluso bajo presión externa. A pesar de las críticas, el aumento de las participaciones en staking de ETH demuestra una confianza continua en el sistema. Ethereum puede parecer lenta o conservadora en comparación con sus competidores, pero su verdadera fortaleza radica en evitar riesgos sistémicos a cambio de ganancias a corto plazo. Esta filosofía, aunque a menudo cuestionada, es la base de su resistencia y lo que la convierte en una red única en el espacio Web3.

marsbit01/09 10:44

Atravesando el ruido de la 'degeneración' de Ethereum: ¿Por qué los 'valores de Ethereum' son la barrera más amplia?

marsbit01/09 10:44

活动图片

Categorías popularesright-arrow

Etiquetas Popularesright-arrow

Bitcoin

Noticias de la Industria