Artículos Relacionados con Aceleración

El Centro de Noticias de HTX ofrece los artículos más recientes y un análisis profundo sobre "Aceleración", cubriendo tendencias del mercado, actualizaciones de proyectos, desarrollos tecnológicos y políticas regulatorias en la industria de cripto.

La nueva tecnología DeepSeek se adapta a los chips Apple, acelerando el modelo local en Mac un 60%

El proyecto de código abierto DSpark de DeepSeek, originalmente diseñado para acelerar modelos de lenguaje en GPUs de centros de datos, ha sido adaptado por el ingeniero Abdur Rahim para funcionar de forma nativa en chips Apple (mlx-dspark). Esta adaptación logra aceleraciones de aproximadamente 1.6x para Gemma-4 12B y 1.4x para Qwen3-4B en un Mac con M4 Pro, manteniendo una precisión de salida idéntica al modelo original (byte por byte), incluso con muestreo por temperatura. La clave de DSpark es el "decodificado especulativo": un modelo pequeño y rápido (draft) genera varios tokens candidatos que luego son verificados de manera eficiente por el modelo principal (target). Rahim optimizó este proceso para la arquitectura Apple Silicon, utilizando cuantización de 4 bits para el modelo draft (1.8 GB) y 8 bits para el target, logrando una tasa de aceptación del 82%. Posteriormente, el proyecto integró también DFlash, una técnica alternativa de decodificación especulativa que genera bloques de tokens en paralelo. DFlash mostró un rendimiento superior (hasta ~2.1x de aceleración) en tareas estructuradas como código y matemáticas, mientras que DSpark es más eficaz en conversaciones abiertas. La versión mlx-dspark v0.0.3 ahora permite elegir entre ambos métodos según la tarea. Este trabajo demuestra la viabilidad de ejecutar eficientemente LLMs avanzados localmente en hardware Apple, combinando velocidad y precisión.

marsbit07/03 12:25

La nueva tecnología DeepSeek se adapta a los chips Apple, acelerando el modelo local en Mac un 60%

marsbit07/03 12:25

La nueva herramienta de código abierto de NVIDIA para MoE: Una sola línea de 'import' acelera el ajuste fino 3.7 veces

Con solo una línea de importación, la herramienta NeMo AutoModel de NVIDIA acelera el ajuste fino de modelos MoE hasta 3.7 veces. Este nuevo código abierto, basado en Transformers v5 de Hugging Face, permite una mejora significativa sin necesidad de modificar las API existentes. Las pruebas en una configuración de 8 GPUs H100 muestran un aumento en el rendimiento de entrenamiento de 3.4 a 3.7 veces y una reducción del 29% al 32% en el uso de memoria GPU para modelos como Qwen3-30B-A3B. La clave radica en tres tecnologías: Paralelismo de Expertos (EP) para distribuir pesos y reducir la presión en la memoria, DeepEP para fusionar computación y comunicación, y TransformerEngine para optimizar operaciones clave. Juntas, permiten un ajuste más rápido y eficiente de los grandes modelos de lenguaje con arquitectura Mixture of Experts (MoE). El recurso ya está disponible en GitHub, ofreciendo una actualización sencilla para quienes ya utilizan Transformers v5, con mejoras drásticas en velocidad y consumo de recursos durante la fase de fine-tuning.

marsbit06/26 07:31

La nueva herramienta de código abierto de NVIDIA para MoE: Una sola línea de 'import' acelera el ajuste fino 3.7 veces

marsbit06/26 07:31

Advertencia global de Anthropic, OpenAI ya cruzó el 'umbral de fiabilidad': la IA ha iniciado su propia aceleración

El mundo de la IA se ve sacudido por la advertencia de Anthropic: la IA está acelerando su propio desarrollo, acercándose a un punto de "mejora recursiva". Por otro lado, Yann Dubois de OpenAI revela que el crecimiento de las capacidades es lineal, pero la "utilidad" para los usuarios es discontinua, dependiendo de un "umbral de fiabilidad" que OpenAI superó alrededor de diciembre del año pasado. Una vez cruzado, la IA se convierte en una herramienta fiable que puede acelerar incluso su propia investigación y desarrollo. Dubois destaca que el proceso de construcción de IA es más un "oficio" que una ciencia pura, y señala que las "aplicaciones verticales" (Harness) actuales podrían ofrecer ya un sabor de AGI si se perfeccionaran. El verdadero cuello de botella no es la inteligencia del modelo, sino los "permisos, conexiones y datos" necesarios para integrarlo en los flujos de trabajo reales. El mayor reto pendiente es la "aprendizaje continuo", para que la IA no solo tenga un alto nivel inicial, sino que también mejore con la experiencia, como lo hacen los humanos.

marsbit06/06 23:28

Advertencia global de Anthropic, OpenAI ya cruzó el 'umbral de fiabilidad': la IA ha iniciado su propia aceleración

marsbit06/06 23:28

¿Ejecutar MoE en un móvil? Meta propone MobileMoE, acelera hasta 3.8 veces en iPhone 16 Pro

El equipo de Meta presenta MobileMoE, el primer modelo de mezcla de expertos (MoE) optimizado para ejecutarse de manera eficiente en teléfonos inteligentes comerciales. Diseñado como un modelo de lenguaje Transformer decoder-only, MobileMoE reemplaza las capas densas de feed-forward por capas MoE, empleando un router que selecciona los pocos expertos más relevantes por token junto con un experto compartido. El modelo se entrena en cuatro fases: preentrenamiento, entrenamiento intermedio, ajuste fino supervisado y entrenamiento consciente de cuantización (hasta INT4/INT8). Los experimentos determinan una configuración óptima de 8 expertos con granularidad 8, enrutamiento top-4 y un experto compartido. En evaluaciones de referencia, MobileMoE-S/M logra una precisión media comparable o superior a modelos densos, utilizando entre 1/2 y 1/4 del cálculo de inferencia con memoria similar. Especialmente en iPhone 16 Pro, MobileMoE-S acelera la fase de entrada hasta 3.8 veces y la generación token por token hasta 3.4 veces respecto a líneas de base. MobileMoE establece un nuevo límite de Pareto para modelos de lenguaje grandes en dispositivos, mejorando el equilibrio entre precisión y coste computacional. Los desafíos futuros incluyen mejorar la capacidad de seguimiento de instrucciones y la gestión de memoria dinámica, así como explorar el despliegue en NPU móviles.

marsbit06/01 06:12

¿Ejecutar MoE en un móvil? Meta propone MobileMoE, acelera hasta 3.8 veces en iPhone 16 Pro

marsbit06/01 06:12

Pipe Network Lanza SolanaCDN: Un Cliente Validador Gratuito y de Código Abierto con Aceleración Integrada para Solana

Pipe Network ha lanzado SolanaCDN, un cliente validador de código abierto y gratuito para Solana que incluye una capa de aceleración CDN integrada. Basado en un fork de Agave de Anza, SolanaCDN permite a los validadores acceder a una propagación de "shreds" 3,8 veces más rápida a través de una red global de más de 35.000 nodos. La herramienta aborda el problema de la desigualdad en el rendimiento de los validadores debido a su ubicación geográfica, ofreciendo una ruta paralela y optimizada para la entrega de datos, manteniendo el gossip nativo como respaldo. Además de la aceleración, el cliente incluye optimizaciones como la descarga de snapshots desde la red global de Pipe y métricas en tiempo real. Es totalmente compatible con Agave, se activa con una bandera de configuración y, en caso de fallo, el validador continúa operando con normalidad. Disponible desde ahora, SolanaCDN se ofrece como infraestructura de bien público para mejorar la velocidad y equidad de la red Solana.

TheNewsCrypto02/26 14:27

Pipe Network Lanza SolanaCDN: Un Cliente Validador Gratuito y de Código Abierto con Aceleración Integrada para Solana

TheNewsCrypto02/26 14:27

Pipe Network lanza SolanaCDN: un cliente de validador de Solana gratuito y de código abierto con aceleración incorporada

Pipe Network ha lanzado SolanaCDN, un cliente de validador de Solana gratuito y de código abierto con una capa de CDN integrada para acelerar la transmisión de fragmentos (shreds). Basado en un fork del cliente Agave de Anza, SolanaCDN utiliza la red global de más de 35,000 nodos PoP de Pipe para ofrecer a los validadores una ruta más rápida y eficiente, independiente del protocolo gossip nativo. Soluciona problemas de latencia geográfica, mejorando el rendimiento de validadores en regiones con conectividad limitada. Los datos se envían a través de la red mallada de Pipe, que elige rutas óptimas en tiempo real, reduciendo la demora de propagación en un 3.8x comparado con Turbine (78 ms frente a 300 ms). Incluye optimizaciones como Fast Shreds, descarga de snapshots desde la red de Pipe y monitoreo en tiempo real durante la sincronización. Es totalmente compatible con Agave, no modifica el consenso y es opcional: si falla CDN, el validador sigue operando. Ya disponible en GitHub, SolanaCDN es una infraestructura pública para mejorar la velocidad y reducir bifurcaciones en toda la red Solana.

marsbit02/26 14:10

Pipe Network lanza SolanaCDN: un cliente de validador de Solana gratuito y de código abierto con aceleración incorporada