Artículos Relacionados con Eficiencia

El Centro de Noticias de HTX ofrece los artículos más recientes y un análisis profundo sobre "Eficiencia", cubriendo tendencias del mercado, actualizaciones de proyectos, desarrollos tecnológicos y políticas regulatorias en la industria de cripto.

El exalumno post-00 de Tsinghua, Wang Guan, presenta otra innovación: revolucionando los modelos de preentrenamiento Transformer con 1/900 tokens y 1/432 de potencia computacional

El equipo de Wang Guan, egresado de la Universidad Tsinghua, ha presentado HRM-Text, un nuevo modelo de preentrenamiento que desafía el paradigma tradicional de los grandes modelos de lenguaje. Sustituyendo el Transformer estándar por un Modelo Recurrente Jerárquico (HRM) y utilizando un objetivo de entrenamiento directo en pares instrucción-respuesta, HRM-Text logra un rendimiento comparable a modelos de código abierto de 2B a 7B de parámetros, pero con una fracción mínima de los recursos. Concretamente, el modelo de 1B de parámetros se entrenó con solo 40B de tokens únicos, utilizando aproximadamente 100-900 veces menos tokens y 96-432 veces menos cómputo estimado que los modelos baseline estándar, a un costo cercano a los 1500 USD. Aún así, alcanzó puntuaciones destacadas en benchmarks clave: MMLU (60.7%), ARC-C (81.9%), DROP (82.2%), GSM8K (84.5%) y MATH (56.2%). La arquitectura HRM emplea módulos de actualización lenta (H) y rápida (L), permitiendo múltiples pasos recurrentes por token para aumentar la profundidad computacional sin agregar parámetros. Técnicas como MagicNorm y Warmup Deep Credit Assignment aseguraron la estabilidad del entrenamiento recurrente. Los experimentos muestran que HRM supera en eficiencia y estabilidad a Transformers de tamaño similar bajo un presupuesto computacional fijo. Las ablaciones confirman la contribución clave del objetivo de finalización de tareas y el enmascaramiento PrefixLM. El análisis sugiere que la estructura recurrente confiere una "profundidad efectiva" mayor. Las limitaciones incluyen una cobertura de conocimiento aún limitada por el corpus, la necesidad de mecanismos de tiempo de cómputo adaptativo, y desafíos de ingeniería para implementar PrefixLM en entornos de diálogo. El trabajo futuro explorará desacoplar el núcleo de razonamiento del almacenamiento de conocimientos y validar la escalabilidad a tamaños de modelo mayores.

marsbit05/26 03:19

El exalumno post-00 de Tsinghua, Wang Guan, presenta otra innovación: revolucionando los modelos de preentrenamiento Transformer con 1/900 tokens y 1/432 de potencia computacional

marsbit05/26 03:19

El camino de DeepSeek hacia los 10 billones de dólares: Utilizar el código abierto para impulsar un ecosistema de hardware de billones

DeepSeek está siguiendo una estrategia audaz que trasciende la competencia inmediata por modelos de IA. En lugar de centrarse en monetizar aplicaciones o suscripciones, su objetivo es remodelar fundamentalmente la infraestructura de hardware para IA. A través de innovaciones arquitectónicas como MLA, DSA, CSA, Engram y técnicas de compresión de KV Cache, DeepSeek reduce drásticamente la dependencia de componentes costosos y de difícil acceso como la HBM (High Bandwidth Memory). Esto permite utilizar memoria más abundante y asequible, como NAND/SSD para almacenar cachés y LPDDR para cargar pesos y módulos Engram, intercambiando eficientemente capacidad de memoria por potencia de cálculo. Estos avances no solo hacen que los modelos de DeepSeek sean excepcionalmente eficientes en costos (su DeepSeek V4 requiere solo ~5.5GB de HBM para 1 millón de tokens de contexto, frente a los 60-89GB de competidores), sino que también crean un enorme mercado potencial para fabricantes de hardware alternativos, especialmente en China (como YMTC para NAND y CXMT para LPDDR). Iniciativas como TileLang buscan además debilitar la ventaja del ecosistema CUDA. La visión a largo plazo de DeepSeek es catalizar un ecosistema de hardware de IA valorado en billones, donde su propio valor podría alcanzar el billón de dólares, no mediante la venta directa de modelos, sino facilitando una infraestructura de IA más accesible y eficiente para todos.

marsbit05/25 13:19

El camino de DeepSeek hacia los 10 billones de dólares: Utilizar el código abierto para impulsar un ecosistema de hardware de billones

marsbit05/25 13:19

Ahorrando 300 Millones de Tokens por Semana: La Guía de Caché de Claude Code de un Ingeniero de Anthropic

**Cómo ahorrar mil millones de tokens con el caché de Claude Code: Guía de un ingeniero de Anthropic** Muchos usuarios notan que los tokens en Claude Code se consumen rápido. La clave para reducir costes no está en escribir menos código, sino en reutilizar el contexto ya procesado mediante el **caché de prompts**. **Cómo funciona el caché y ahorra dinero** - Cada token cachead**o cuesta solo un 10%** de un token de entrada normal. - El sistema cachea en tres capas: 1. **Capa del sistema:** Instrucciones base y definiciones de herramientas. 2. **Capa del proyecto:** `CLAUDE.md`, reglas y memoria del proyecto. 3. **Capa de conversación:** Historial de mensajes. - Claude reutiliza el caché si el prefijo del nuevo mensaje coincide con uno ya almacenado, evitando reprocesar todo el contexto. **TTL (Tiempo de vida del caché)** - **Claude Code (suscripción):** **1 hora** por defecto. - **API de Claude:** 5 minutos por defecto (ampliable a 1 hora con costo mayor). - **Sub-agentes:** Siempre 5 minutos. **Buenas prácticas para mantener el caché (cubre el 95% de los casos)** 1. **No dejar la sesión inactiva más de 1 hora:** Si pasa, es mejor iniciar una nueva conversación con un resumen del progreso anterior. 2. **Al cambiar de tarea, reinicia limpiamente:** Usa un "session handoff" (un breve resumen) antes de `/clear`, en lugar de `/compact`. 3. **Para documentos grandes, usa Projects:** En Claude.ai, sube archivos grandes a un Proyecto en lugar de pegarlos directamente en el chat. **Acciones que rompen el caché (sin advertencia evidente)** - **Cambiar de modelo** (incluido activar el modo "Opus plan"). - Editar `CLAUDE.md` **no** rompe el caché de la sesión actual; se aplicará en la siguiente. **Conclusión** No es necesario dominar todos los detalles técnicos. Centrándose en lo esencial—aprovechar que el caché es 10 veces más barato, respetar el TTL de 1 hora y evitar interrupciones como cambiar de modelo—se puede alargar significativamente la duración de las sesiones y optimizar el uso de la cuota de tokens.

marsbit05/24 00:40

Ahorrando 300 Millones de Tokens por Semana: La Guía de Caché de Claude Code de un Ingeniero de Anthropic

marsbit05/24 00:40

CEO de Cloudflare: ¿Cómo decidí qué empleados reemplazar con IA?

El CEO de Cloudflare, Matthew Prince, explica la decisión de despedir a más del 20% de la plantilla a pesar del fuerte crecimiento y rentabilidad de la empresa. Según Prince, el cambio se debe a la transformación que la inteligencia artificial (IA) está provocando en los modelos de negocio. Citando al gurú de gestión Peter Drucker, Prince clasifica los roles empresariales en tres tipos: constructores (builders), vendedores (sellers) y medidores (measurers). La IA, argumenta, no amenaza a los constructores (ingenieros, cuya productividad puede multiplicarse) ni a los vendedores (que basan su éxito en relaciones humanas), sino principalmente a los "medidores". Estos roles, que abarcan auditoría, finanzas, legal, gestión media y operaciones, pueden ser realizados con mayor objetividad, detalle y eficiencia por sistemas de IA. En Cloudflare, los despidos se concentraron en estas áreas, permitiendo consolidar equipos, automatizar procesos y reducir capas de gestión. El objetivo, sin embargo, no es simplemente reducir costes. La compañía tiene un récord de puestos vacantes abiertos y planea seguir creciendo, reinvirtiendo los recursos ahora liberados en contratar más "constructores" y "vendedores". Prince ve a la IA como una herramienta que redefine las empresas, permitiendo medir el rendimiento con precisión sin precedentes y liberando a las personas para que se concentren en donde realmente crean valor: construyendo y vendiendo.

marsbit05/22 02:28

CEO de Cloudflare: ¿Cómo decidí qué empleados reemplazar con IA?

marsbit05/22 02:28

Dominando GitHub: Guía esencial para usuarios de Claude Code

CLAUDE.md, un archivo de texto plano que debes colocar en la raíz de tu proyecto, actúa como un manual de instrucciones para Claude Code. Al leerlo automáticamente al inicio de cada sesión, evita que tengas que repetir constantemente el contexto, la pila tecnológica o las decisiones ya tomadas. El artículo, basado en reglas inicialmente propuestas por Andrej Karpathy, detalla cómo este archivo soluciona tres problemas clave y ahorra costes: 1. **Configuración por defecto:** Evita perder tiempo (y dinero) reexplicando en cada sesión detalles del proyecto, tu rol o tu estilo de comunicación preferido. 2. **Restricciones de comportamiento:** Previene modificaciones no autorizadas, estableciendo reglas claras como no tocar código irrelevante, pedir confirmación para cambios destructivos y siempre resumir lo modificado. 3. **Memoria y pila técnica:** Mediante archivos auxiliares como `MEMORY.md` y `ERRORS.md`, permite que Claude "recuerde" decisiones pasadas y errores, y bloquea la recomendación de herramientas incompatibles con tu pila tecnológica definida. Implementar estas reglas, empezando solo por las 4 esenciales de Karpathy (preguntar ante la duda, hacer primero la solución más simple, no tocar código irrelevante y señalar incertidumbres), puede aumentar la precisión de codificación del 65% al 94%. Es una inversión mínima de tiempo para eliminar horas de trabajo repetitivo y costoso cada semana.

marsbit05/18 09:43

Dominando GitHub: Guía esencial para usuarios de Claude Code

marsbit05/18 09:43

活动图片