Autora: Sarah Guo
Compilación: Deep Tide TechFlow
Guía de Deep Tide: Cuando los modelos grandes comienzan a superar a los humanos en todas las clasificaciones, los inversores caen en la desesperación: aparte de Anthropic y Nvidia, ¿qué más vale la pena invertir? Esta destacada inversora del Silicon Valley explica con datos y casos que la verdadera fosa defensiva no está en las clasificaciones; se esconde donde los benchmarks no pueden medir.
A mediados de 2026, la versión inversora de la locura por la IA es la desesperación: no hay nada que valga la pena invertir, deberíamos poner todo nuestro dinero en Anthropic y Nvidia y marcharnos a casa.
Yo nunca he sentido eso. Estoy convencida de que los modelos son más inteligentes que yo por varias subversiones, estaría encantada de comprar Anthropic y Nvidia al precio de mercado, todos mis amigos más inteligentes están bastante seguros de que la auto-mejora pronto tendrá éxito, pero aún así no siento esa desesperación.
Esta desesperación no es estúpida. La lógica es: si los modelos siguen mejorando en todo, entonces cada empresa construida sobre ellos es solo una fina capa de empaquetado, esperando ser absorbida, y el único valor que sobrevive es el poder de cómputo y el peso de la vanguardia.
Tomemos el software, el caso favorito de los defensores de la desesperación. Cuando Devin se lanzó en 2024, solo podía resolver el 13% de las tareas en el benchmark estándar de software, básicamente fue ignorado. Un año y medio después, los mejores agentes alcanzan más de 80 puntos, están haciendo trabajos reales dentro de Goldman Sachs y el Ejército de EE. UU. Casi todos sacaron la misma lección equivocada: los modelos se comieron la ingeniería de software. Pero mientras los modelos devoran la parte más fácil de medir de la ingeniería de software, estamos redescubriendo lo que muchos equipos siempre han sabido: la ingeniería siempre ha sido resistente a la medición, y la parte más fácil de medir puede no ser la única importante.
Mert Demirer del MIT y sus colaboradores finalmente dieron números: entre más de 100.000 desarrolladores, los últimos agentes de codificación aumentaron la cantidad de código escrito en aproximadamente un 180%, mientras que el código realmente publicado aumentó en aproximadamente un 30%. Escribir código se abarató. Lo que queda todavía pasa por personas, y es importante. Por supuesto, el impacto neto sigue siendo sorprendente.
Los benchmarks son lo que puedes medir, y lo que puedes medir es en lo que puedes entrenar. Por lo tanto, los agentes de codificación maduraron primero: los compiladores son verificadores gratuitos, las suites de prueba son verificadores gratuitos, cuando la respuesta se verifica sola, puedes pulir y pulir contra esa verificación hasta que la superes. Pero pasar las pruebas nunca te dice si este cambio es correcto para una base de código de diez años con tres módulos no documentados cuya razón de ser, y una pipeline de despliegue que depende precariamente de un cron job que nadie quiere admitir que escribió.
Esa corrección no se puede leer en una tabla de clasificación; de hecho, no se puede leer en nada. Se aprende ejecutando en el mundo real el tiempo suficiente para descubrir si un sistema tan complejo funciona, y los modelos más inteligentes no hacen que el mundo funcione más rápido. Nadie ejecuta pruebas unitarias en algo del tamaño de Google y luego confía en la marca verde; confías en ello porque ha resistido cargas reales durante años. Esa corrección no solo es privada, es el tipo de fosa defensiva lenta que el capital no puede derrumbar. Incluso los optimistas admiten que el reloj no se puede saltar: Noam Brown, pionero de los modelos de razonamiento de OpenAI, escribió recientemente que la única forma confiable de evaluar un agente en un lapso de un año probablemente sea... ejecutarlo durante un año.
Como dijo Gabe Pereyra, la verdadera automatización no es solo que el modelo mejore. Es que el producto, el modelo, el flujo de trabajo y la empresa se muevan juntos, y tres de esos cuatro se mueven a la velocidad de la organización.
Las personas que se mueven son la parte que el benchmark no toca: hacer que una socia escéptica cambie su forma de manejar asuntos, mantener unida a un equipo durante una reconstrucción. Por eso, cuando contratamos CEOs, la capacidad para manejar personas es al menos tan importante como la analítica, y los modelos más inteligentes no cambiarán esa ponderación. La retroalimentación es ambigua, los plazos son de años, la confianza pertenece a una persona. Cada empresa que conozco puso los modelos de codificación de vanguardia a disposición de todos sus ingenieros, pero ninguna cambió su organización de ingeniería a una velocidad cercana a esa. La adopción tomó un trimestre, ¡qué trimestre mágico de crecimiento de tokens fue ese! Pero la reconstrucción está tomando años.
Lo que es visible es lo que se está yendo. El trabajo valioso es estructuralmente invisible: cualquier cosa que puedas poner en una tabla de clasificación, puedes entrenar para ello, por lo que todo lo medible ya está en camino a la mercantilización. Este proceso lleva tiempo y nunca es completo, pero la dirección nunca se revierte. En términos monetarios de mi amigo Matt MacInnis de Rippling: los tokens gastados en responder preguntas genéricas valen casi nada, porque el modelo de cualquiera puede responderla, y los tokens gastados en razonar sobre los datos de tu empresa valen mucho más, porque hace lo que realmente quieres, no solo lo plausible.
El trabajo visible es devorado desde dos direcciones. Desde abajo, saturación de tareas: una vez que un trabajo puede ser verificado de manera barata, los compradores ya no preguntan qué modelo lo hizo, sino cuánto cuesta, y el trabajo cae en el modelo de código abierto o destilado más barato de esa semana. Donde pueden hacer mella, los márgenes finalmente importan. Desde arriba, los laboratorios intentan que los modelos devoren sus propios andamiajes. La recuperación, el enrutamiento entre llamadas baratas y caras, el uso de herramientas, incluso las estrategias de razonamiento, todos los dispositivos que una vez envolvieron al modelo son absorbidos por los pesos, hasta que el envoltorio es el modelo. Esto es absorción de la vanguardia. La presión sobre los márgenes también retrocede: un agente genérico debe estar preparado para cualquier cosa, es costoso, mientras que una aplicación especializada puede ajustar un flujo de trabajo hasta que funcione con una fracción del gasto en tokens, y a diferencia de los laboratorios que venden esos tokens, se queda con la diferencia.
Entonces, podemos preguntarnos dos cosas sobre cualquier tipo de trabajo. ¿Su corrección es privada y costosa de construir, esa verdad que solo existe dentro de los datos de alguien? ¿Está aislado, encerrado en sistemas a los que no puedes acceder? Contrasta esto con qué tan saturada está la tarea, y obtienes una matriz 2x2. El trabajo saturado con respuestas públicas es token commodity, los modelos de código abierto lo poseen. El trabajo de vanguardia con respuestas públicas, donde están los benchmarks de codificación, es donde ganan los laboratorios, porque cuando la evaluación es gratuita, poseerla no cuesta nada. El premio está en la última esquina, la que no se puede entrenar: trabajo de vanguardia cuya corrección solo existe en el ámbito privado. Puedes verlo en las nubes de inferencia que albergan pioneros nativos de IA, donde la gran mayoría de los tokens son generados por modelos personalizados, no por modelos genéricos de código abierto.
Las paredes para entrar en esa última esquina varían en altura. La base de código de juguete de un solo desarrollador es portable y estándar, por lo que el ascenso es corto. El sistema de producción de un banco no es ninguna de las dos cosas, no obtienes acceso root por ser un 2% más listo en SWE-Bench Verified.
La capacidad devora muchas cosas, pero los modelos mejores no convierten los hechos fundamentales privados en públicos. No poseen licencias, no firman responsabilidades, no poseen los documentos de la empresa, no pueden ser la parte demandada cuando la respuesta es incorrecta. La inteligencia no es el cuello de botella aquí. La licencia lo es, la responsabilidad también. Puedes imaginar un modelo mucho más inteligente que cualquier persona, que aún debe ser permitido entrar, que aún debe haber alguien que firme por lo que haga.
Esa puerta tiene una cerradura y un pestillo. La cerradura es el entorno: solo después de ser confiado dentro del sistema, después de revisiones de seguridad, integraciones, contratos donde firmas tus resultados, puedes verificar si la IA hizo algo útil. El pestillo es el usuario. La mayoría de los médicos en EE. UU. abren OpenEvidence todos los días ahora, ninguna cantidad de poder de cómputo puede comprar eso. Un laboratorio podría entrenar un modelo médico perfecto mañana, y aún no entraría en los hábitos del médico, o en el flujo de decisiones de UCSF, porque la confianza se construye lentamente, se basa en relaciones, requiere la aquiescencia del usuario, no borrar su gradiente descendente.
Esto también es trabajo. Una aplicación gana su lugar en la esquina no entrenable haciendo el trabajo invisible: organizar la realidad privada de la empresa para que el modelo pueda actuar sobre ella, darle al modelo herramientas para actuar, trabajar con clientes para cambiar la realidad de sus empleados. Una empresa que traduce es difícil de copiar, y la traducción nunca termina. La integración y el mantenimiento duran tanto como las relaciones, ganados por equipos que colocan ingenieros de dominio y herramientas junto al cliente.
Por ejemplo, en un bufete de abogados de élite, solo el negocio de fusiones y adquisiciones ejecuta casi mil transacciones al año. Por confidencialidad y muchas otras razones, no puedes dejar que cientos de asociados descarguen documentos de clientes en sus escritorios y pidan a un agente genérico que los examine, incluso si pudieras, lo que aprenderías serían fragmentos, una corrección por asociado a la vez, sin ver cómo fluye toda la transacción. La señal importante existe a nivel de transacción, y una transacción tiene una forma: para fusiones y adquisiciones es el NDA, la hoja de términos, la diligencia debida, el acuerdo de compra, documentos anexos, lista de cierre; para litigios de propiedad intelectual, mociones, descubrimiento, estado de la técnica, más mociones. Cada área de práctica tiene la suya, y tanto abogados como herramientas no son intercambiables entre áreas. Y el problema real que resuelve el bufete está un nivel por encima de todo esto: ejecutar cada área de práctica en paralelo, como un socio principal que ejecuta cientos de asuntos a la vez, mientras incorpora nuevos asuntos y entrena asociados. Transformar un bufete así no es una tarea única para la que puedas escribir una evaluación. Requiere un operador para hacerlo con análisis de datos, objetivos extremadamente vagos, retroalimentación incompleta, plazos largos, en un entorno que no se queda quieto.
Desafortunadamente, el valor invisible también es difícil de vender, por la misma razón que es difícil de mercantilizar: las empresas no pueden juzgar desde fuera si la IA transformará sus operaciones, tal como el benchmark no puede juzgar. Así que las empresas más fuertes dejan de intentar demostrarlo desde fuera y entran dentro, poniendo precio al resultado. Sierra cobra cuando su agente resuelve un problema del cliente, no cobra cuando lo pasa a un humano, por lo que el precio se convierte en evaluación, lo que solo funciona si Sierra posee la definición de "resuelto". Devin de Cognition hace lo mismo en software, ofreciendo una "garantía de rendimiento" que solo puedes dar por resultados en sistemas donde se confía en tu acceso.
Incluso los tokens de servicio, la capa que a todos les gusta llamar puro commodity, no funcionan como tal. Las mejores empresas nativas de IA concentran su servicio en uno o dos proveedores (Baseten o Fireworks) porque el costo por token se mercantiliza según el plan, mientras que la confiabilidad bajo tráfico real y el acceso garantizado a capacidad de cómputo escasa no lo hacen. Dónde sirves es una elección diferente a qué modelos usas. El precio es la única parte de la inferencia que funciona como un commodity.
Una objeción común es que los laboratorios son tus proveedores, ¿por qué no ejecutarían su propio producto de primera parte por debajo del costo para exprimirte, o revocar tu acceso a la API y tomar el mercado ellos mismos? Esta es la versión verdadera del argumento de la desesperación, y solo funciona si la capa de modelos es un juego de un solo jugador. Claramente no lo es; se parece más a una competencia mortal de tres jugadores y medio, con un grupo de jugadores internacionales seis meses atrás en entrenamiento, y una liga de desarrollo cinco veces más grande que el año pasado. Los clientes quieren competencia entre proveedores, los laboratorios prefieren cuota de mercado a que muera cualquier aplicación.
Puedes ver esto en los mercados donde los laboratorios compiten de frente. En el chat para consumidores, el mejor modelo nunca ganó simplemente. ChatGPT mantuvo el liderazgo durante años de competencia real, la cuota que pierde ahora va a Gemini, impulsado por Android y la búsqueda, no por un modelo mejor. Anthropic, calificada actualmente por los mercados de predicción (y el ambiente de Internet) como la empresa con el mejor modelo, apenas es un factor en el chat para consumidores, pero construyó su negocio en empresas y codificación. Si un modelo mejor no puede quitarle usuarios a un competidor en la aplicación más central, no lo hará a través de la integración en los registros de un hospital o la responsabilidad de un banco. La elección pública hoy no se basa solo en la codificación. Si la vanguardia sigue estando abarrotada, su capa superior será valiosa.
Si el trabajo no puede ser puntuado desde fuera, alguien interno debe decidir qué es incluso una buena respuesta, y esa decisión es todo el juego. Suficientes de estas decisiones, escritas, se convierten en un benchmark. Harvey publicó uno para derecho, Sierra para agentes de voz. Ganas el derecho a definir qué significa "bueno" para un área siendo el que esa área ya usa, y estas empresas ganaron ese derecho mediante la lucha de la adopción real.
Las evaluaciones que deciden el dinero real son privadas y varían según la empresa: esta empresa, en este tipo de asunto, aceptará qué como buen trabajo, está lejos de completarse porque la profundidad del derecho hace que cualquier prueba pública parezca insignificante. OpenEvidence está determinando qué es una respuesta clínica segura. Estas no son realmente mediciones, se trata de juicios sobre qué es verdadero y qué es bueno, escritos hasta que se convierten en el estándar contra el que todos los demás son medidos, y el laboratorio base, por muy inteligente que sea, no puede escribirlo, porque ese estatus solo existe dentro del campo. Esta autoridad tiende a caer donde ya está sentada. Los abogados senior escriben el benchmark legal. Definir la respuesta clínica segura cae en los médicos. Y "resuelto" significa lo que cualquier empresa que ya tiene clientes dice que significa.
La absorción de la vanguardia sigue aumentando porque seguimos aprendiendo a medir más trabajo, lo medible es devorado. El terreno no entrenable se reduce bajo los pies de cualquiera que esté sobre él, por lo que no puedes encontrar un punto defendible y descansar. Avanzas constantemente hacia cualquier cosa que aún no pueda ser puntuada, re-evalúas constantemente. En una tarea estrecha, con tus datos privados y tu propia evaluación, puedes entrenar hasta la vanguardia y superar al modelo genérico donde importa, ese modelo especializado se convierte en parte de la fosa. Por otro lado, competir en modelos genéricos es una guerra de capital, perderás contra quien tenga más poder de cómputo, esa es la trampa para empresas con acceso superficial y tareas visibles. Promete superar el entrenamiento de vanguardia en tareas genéricas por supervivencia, el día en que el ganador parece determinado más por la escala del centro de datos, el final generalmente no es un campeón independiente sino una venta al que tiene abundancia de cómputo.
Todo esto es defensa. Lo más difícil es la ofensiva, elegir qué construir primero. Esto es lo que busqué durante un año, y quizás lo encontré tres veces. Los modelos no ayudan aquí. Harán cualquier cosa a la que apuntes, pero no pueden decirte qué vale la pena apuntar, no puedes hacer un benchmark de eso, así que no puedes entrenarlo. Esta es también la razón por la que las empresas existentes no se lo llevan todo: mantienen el terreno que tienen, la siguiente cosa viene de quienes descubren usos antes que el resto de nosotros. Quizás la intención es un insumo más escaso que el poder de cómputo.
El argumento de la desesperación tiene la mitad de razón. Las capas de empaquetado delgadas están siendo absorbidas, mucho de lo que parece empresa hoy es empaquetado delgado. Se equivoca sobre lo que queda. El mecanismo es claro; el destino no lo es. Apostaría por la dirección: la inteligencia se abarata constantemente, el valor se desliza constantemente hacia los pocos lugares a los que el modelo no puede llegar. Lo no entrenable es el valor que tiene historia. Así que entra en uno, haz la traducción invisible, comienza a escribir qué significa "bueno" allí, porque alguien lo hará. La puntuación de benchmark más citada de este año es un mapa del territorio que pronto no valdrá nada, y un aviso sobre quién está a punto de perder el derecho a decir qué cuenta como bueno.
