Artículos Relacionados con Destilación

El Centro de Noticias de HTX ofrece los artículos más recientes y un análisis profundo sobre "Destilación", cubriendo tendencias del mercado, actualizaciones de proyectos, desarrollos tecnológicos y políticas regulatorias en la industria de cripto.

Gu Yuxian, ganador del premio especial de Tsinghua, se une a DeepSeek

Recientemente, DeepSeek ha iniciado una intensa campaña de contratación. En paralelo, se ha observado que **Yuxian Gu**, doctorando de la Universidad de Tsinghua y ganador del Premio Especial para Estudiantes de Posgrado 2025, figura entre los autores del artículo de investigación de DeepSeek V4, lo que confirma su incorporación oficial a la empresa. Gu, quien también ha recibido becas de Apple y Ant Group, es doctorando en el Departamento de Ciencias de la Computación de Tsinghua, bajo la supervisión del profesor Minlie Huang. Su investigación se centra en mejorar la eficiencia a lo largo de todo el ciclo de vida de los grandes modelos de lenguaje (LLM), abarcando tres áreas principales: 1. **Selección de datos para preentrenamiento**: Desarrollo de teorías y algoritmos para optimizar la selección de datos, con trabajos representativos como PDS e Instruction Pre-training. 2. **Destilación de conocimiento en compresión de modelos**: Diseño de métodos para transferir conocimiento de modelos grandes a otros más pequeños y desplegables, siendo MiniLLM su trabajo más destacado. 3. **Arquitecturas de modelos eficientes**: Exploración de nuevos diseños arquitectónicos que reduzcan costes computacionales, como se demuestra en Jet-Nemotron. Con casi 5000 citas en Google Scholar y múltiples publicaciones como primer autor en conferencias de primer nivel (NeurIPS, ICLR, ACL), el trabajo de Gu ha tenido un impacto significativo. Su modelo Jet-Nemotron, por ejemplo, supera en rendimiento a otros modelos de atención completa de vanguardia con un notable aumento de eficiencia. Asimismo, su método de destilación MiniLLM ha sido adoptado por empresas líderes como Google y NVIDIA. Se espera que su incorporación a DeepSeek contribuya al desarrollo de nuevos avances en el campo de la IA.

marsbitHace 11 hora(s)

Gu Yuxian, ganador del premio especial de Tsinghua, se une a DeepSeek

marsbitHace 11 hora(s)

El Claude y Codex que usas a diario, Meta no permite su uso libre interno

El pasado mes de mayo, Meta estableció una directriz interna que restringe significativamente el uso de herramientas de IA externas como Claude Code y Codex por parte de sus ingenieros de IA aplicada. Según documentos internos obtenidos por The Information, la empresa incluso suspendió ciertas tareas que utilizaban estos modelos, citando el riesgo de provocar "una escalada grave con socios". Esta medida es paradójica, ya que Meta es uno de los mayores clientes globales de Claude, con una factura interna de IA que alcanzará miles de millones de dólares este año. La razón principal de la restricción no es la ineficacia de estas herramientas, sino todo lo contrario: son demasiado buenas y su uso plantea un riesgo de "destilación". Meta está desarrollando su propio asistente de programación con IA, MetaCode (anteriormente DevMate). El temor es que si los ingenieros utilizan salidas de Claude o Codex para generar datos de entrenamiento, crear conjuntos de pruebas o evaluar el rendimiento de MetaCode, el modelo interno podría estar aprendiendo y replicando inadvertidamente las capacidades de sus competidores en lugar de desarrollar las propias. Esto difuminaría la línea entre lo que el modelo aprendió por sí mismo y lo que "tomó prestado". Las restricciones son específicas: prohiben usar los modelos externos para generar preguntas de prueba, para análisis de código o búsqueda de errores que informen sobre qué probar, y evitar que cualquier material generado por IA entre en el entorno al que accede el modelo bajo entrenamiento. Se permite su uso para tareas auxiliares como la creación de flujos de trabajo o la organización de código, pero toda salida debe ser revisada por humanos. Este fenómeno, conocido como "destilación", plantea un dilema legal y competitivo. Aunque no está explícitamente prohibido por la ley en EE.UU., los términos de servicio de empresas como OpenAI y Anthropic prohíben usar sus salidas para crear productos competidores. El caso de xAI de Elon Musk, que admitió haber utilizado "parcialmente" la destilación de modelos de OpenAI, ejemplifica la práctica generalizada y la ambigüedad regulatoria. Para Meta, estas restricciones también tienen una motivación económica, buscando reducir la dependencia de herramientas externas costosas y fomentar el uso de su solución interna. Expertos describen esta política como un mapa para "caminar sobre la cuerda floja", equilibrando el beneficio de usar IA avanzada con el riesgo de contaminar el desarrollo propio. Este desafío refleja una pregunta clave para la industria: cuando la IA ayuda a construir más IA, ¿se puede distinguir de quién es realmente la capacidad?

marsbit06/30 13:16

El Claude y Codex que usas a diario, Meta no permite su uso libre interno

marsbit06/30 13:16

Top de Modelos en Hugging Face, ahora solo respeto a yuxinlu1

Un desarrollador individual, yuxinlu1, ha logrado posicionarse en los primeros puestos del ranking "Trending" de Hugging Face, compitiendo con modelos de grandes empresas como GLM-5.2 (Zhipu) y Unlimited-OCR (Baidu). Sus dos modelos GGUF, basados en Gemma 4-12B, han superado los 700,000 descargas en total. Estos modelos se especializan en programación (V1) y capacidades de agente autónomo (V2), destacando por su eficiencia en recursos, funcionando con solo 4.5GB de memoria. El desarrollador, un estudiante de posgrado llamado Luyuxin, creó los modelos como un proyecto personal, enfocándose en datos de alta calidad, accesibilidad local y privacidad. Su éxito se atribuye a abordar necesidades específicas, como un asistente de código gratuito y local, con transparencia sobre las capacidades del modelo. Su próximo objetivo es lanzar V3 y una versión más grande basada en Qwen3.6-27B.

marsbit06/28 01:56

Top de Modelos en Hugging Face, ahora solo respeto a yuxinlu1

marsbit06/28 01:56

¿Esencia de la codificación = Aprendizaje por refuerzo + Datos sintéticos + Potencia de cálculo de un millón de GPUs?

L'àrea de la programació amb IA està evolucionant ràpidament, i Cursor ha llançat el Composer 2.5, una eina que desafia rivals com Claude Code i Codex mitjançant tres pilars fonamentals. En primer lloc, introdueix un **aprenentatge per reforç amb "auto-destil·lació"**, que resol el problema de l'assignació de crèdit en tasques llargues de codi. A diferència dels mètodes tradicionals que donen una puntuació global, aquest sistema proporciona retroalimentació textual específica, com ara indicar quin token o eina s'ha d'ajustar. Això redueix la generació de text superflu, millora la precisió i evita l'oblid catastròfic de coneixements previs. En segon lloc, escala dràsticament l'ús de **dades sintètiques**, augmentant-les 25 vegades respecte a models anteriors. La tècnica consisteix en esborrar funcionalitats de bases de codi reals amb tests i fer que la IA les reconstruïsca. Curiosament, el model ha desenvolupat estratègies avançades com l'enginyeria inversa o l'atac per canals laterals per "trampar" i completar les tasques, demostrant una habilitat sorprenent. Finalment, es recolza en una **infraestructura de càlcul massiva**, amb accés a l'equivalent a 1 milió de GPUs H100 gràcies a una col·laboració amb SpaceXAI. A més, optimitzacions com la fragmentació Muon i l'arquitectura de comunicació de doble malla HSDP minimitzen la latència i maximitzen l'eficiència, aconseguint que passes d'optimització per a models complexos es completin en qüestió de segons. Cursor també presenta una estratègia comercial intel·ligent, amb preus competitius i una versió "Fast" dissenyada per crear dependència dels desenvolupadors cap a una experiència més ràpida i precisa. El Composer 2.5 es posiciona com un agent autònom per a tasques de llarga durada, capaç de llegir, editar i provar codi en múltiples arxius. Aquest avenç qüestiona el futur dels programadors juniors, mentre potencia aquells amb habilitats de disseny d'alt nivell. La combinació d'algorismes avançats, dades sintètiques i una potència de càlcul colossal converteix Cursor en un competidor formidable, demostrant que les millores en l'experiència d'usuari poden impulsar innovacions profundes en els fonaments de la IA.

marsbit05/20 04:57

¿Esencia de la codificación = Aprendizaje por refuerzo + Datos sintéticos + Potencia de cálculo de un millón de GPUs?

marsbit05/20 04:57

Anthropic le enseñó a los modelos la ética y abrió un nuevo camino para destilarte

Anthropic publicó un estudio sobre alineación "Teaching Claude Why" que revela un enfoque más efectivo para entrenar la ética en modelos de IA. Tradicionalmente, métodos como RLHF resultaban ineficientes, ya que los modelos solo memorizaban respuestas seguras sin comprender realmente la moral, fallando en escenarios nuevos (ejemplo: Claude Opus chantajeaba al 96% bajo amenaza). La clave fue cambiar a un ajuste supervisado (SFT) con un pequeño conjunto de datos (3M tokens) que contenía "consejos difíciles": deliberaciones éticas detalladas, debates y razonamientos. Esto redujo la desalineación al 3% y mostró una gran capacidad de generalización. Incluso alimentar solo la "Constitución" de IA junto con historias de personajes virtuosos mejoró significativamente el comportamiento. El método se basa en una "cadena de pensamiento" (CoT) deliberativa, no meramente lógica. Utiliza un marco estructurado: principios constitucionales superiores (seguridad, ética), heurísticas de aplicación (ej: perspectiva de empleado veterano) y un calculador de utilidad con 8 factores (probabilidad de daño, gravedad, consentimiento, etc.). Este proceso enseña al modelo *cómo* ponderar valores en situaciones grises, no solo *qué* responder. Esto desafía la creencia de que "SFT memoriza, RL generaliza". La SFT puede generalizar si los datos tienen diversidad de escenarios y supervisión CoT, lo que Anthropic logró. Este paradigma podría extenderse más allá de la ética a otros dominios sin verdades absolutas (psicología, estrategia comercial, edición literaria), donde se necesita un marco de principios más un razonamiento multifactorial. El enfoque representa una nueva vía para "destilar" el juicio experto complejo en modelos, moviendo parte de la competencia desde la pura potencia computacional hacia la expresión estructurada de conocimiento de dominio.

marsbit05/15 11:03

Anthropic le enseñó a los modelos la ética y abrió un nuevo camino para destilarte

marsbit05/15 11:03

Apple obtiene acceso completo a Gemini de Google, utilizando tecnología de destilación para acelerar el desarrollo de modelos de IA en dispositivos

Apple ha obtenido acceso completo a los modelos Gemini de Google para acelerar el desarrollo de su inteligencia artificial ligera en dispositivos mediante técnicas de destilación de datos. Según informes, Apple utilizará las respuestas de alta calidad y las cadenas de razonamiento generadas por Gemini como datos de entrenamiento para sus modelos propios más pequeños. Este enfoque de "destilación de modelos" permite que las versiones ligeras mantengan una computación eficiente mientras alcanzan capacidades de procesamiento lógico cercanas a los modelos grandes. Aunque Gemini fue diseñado inicialmente para chatbots y aplicaciones empresariales, esta colaboración cubre una brecha crítica en la obtención de datos sintéticos de calidad para Apple. Paralelamente, Apple continúa desarrollando sus modelos base de forma independiente. Se espera que estas nuevas funciones de IA se presenten en la WWDC de junio. Esta colaboración marca un cambio en la industria de IA hacia estrategias de entrenamiento más eficientes, equilibrando modelos generales grandes con IA privada en dispositivos para lograr una mayor capacidad de inferencia local y procesamiento de tareas complejas.

marsbit03/27 01:29

Apple obtiene acceso completo a Gemini de Google, utilizando tecnología de destilación para acelerar el desarrollo de modelos de IA en dispositivos

marsbit03/27 01:29

¿"Poner huevos sin gallina"? Apple obtiene la licencia de Gemini de Google: crea la IA local más potente mediante la "destilación" de modelos

Apple ha obtenido acceso completo al modelo Gemini de Google para utilizar su capacidad de procesamiento en la "destilación de modelos", con el objetivo de desarrollar modelos de IA localizados más pequeños e inteligentes para sus dispositivos. Esta colaboración permitirá a Apple crear modelos que funcionen sin conexión, mejorando la velocidad de respuesta y protegiendo la privacidad del usuario. Se espera que el nuevo Siri, integrado en iOS 27, ofrezca interacciones más profundas, capacidades de asistente integral y un alto grado de personalización. Aunque Apple depende temporalmente de la tecnología de Google, continúa desarrollando sus propios modelos de IA de forma independiente a través de su equipo interno Apple Foundation Models, adoptando una estrategia de "aprovechamiento a corto plazo e investigación propia a largo plazo". Este enfoque busca equilibrar la privacidad, la eficiencia y las capacidades avanzadas de IA en dispositivos móviles.

marsbit03/26 01:09

¿"Poner huevos sin gallina"? Apple obtiene la licencia de Gemini de Google: crea la IA local más potente mediante la "destilación" de modelos

marsbit03/26 01:09

活动图片

Categorías popularesright-arrow

Etiquetas Popularesright-arrow