La competencia en IA pasa del tamaño del modelo a sistemas de enrutamiento eficientes en costes

Las empresas de IA están cambiando el foco de la competencia del tamaño de los modelos hacia sistemas de enrutamiento rentables a medida que las empresas pasan de las pruebas al despliegue en producción. El CEO de Perplexity, Aravind Srinivas, le dijo a CNBC que el modelo por sí solo ya no es el producto, y subrayó los sistemas de orquestación que combinan modelos con herramientas para tareas específicas. El cambio refleja que en EE. UU. las empresas están ajustando el gasto en IA, por lo que buscan modelos adecuados para cada tarea en lugar de recurrir siempre a las opciones más caras.

Perplexity Previews System Using Chinese Open Model

Esta semana, Perplexity adelantó un nuevo sistema para su producto de uso de computadora, construido en torno a GLM 5.2, un modelo abierto de Z.ai, de China. El sistema está diseñado para que un modelo más barato asuma más parte del trabajo, llamando a un modelo más potente solo cuando sea necesario.

"El modelo por sí solo ya no es el producto", dijo Srinivas a CNBC. "Es el arnés, el sistema de orquestación que coloca el modelo dentro de un arnés muy capaz y combina el modelo con muchas herramientas".

Los productos de IA se están convirtiendo en sistemas que pueden decidir qué modelo usar, cuándo usarlo y qué herramientas externas o fuentes de datos de la empresa son necesarias. Una tarea de atención al cliente podría no necesitar el modelo más caro, mientras que un problema complejo de programación sí. Un flujo de trabajo interno rutinario podría ejecutarse en un modelo abierto más barato, y los pasos más difíciles escalarse a opciones más potentes.

Benchmark Partner Predicts Open-Weight Token Dominance

Los modelos de código abierto con pesos (open-weight), que las empresas pueden descargar, ajustar y ejecutar por sí mismas, están ganando capacidad y volviéndose más baratos de ejecutar que los modelos propietarios premium de los laboratorios de IA más grandes.

El socio general de Benchmark, Peter Fenton, dijo a CNBC que su creencia es que más del 90 % de los tokens creados provendrá de modelos open-weight en los próximos 18 a 24 meses, posiblemente incluso para finales de año. Los tokens son las unidades de datos que procesan y generan los modelos de IA.

"Los márgenes de inferencia generados por las empresas de modelos punteros, creo, van a recibir presión cuando puedas ejecutarlos sin el recargo que ellos están aplicando, cuando tengas modelos lo suficientemente buenos procedentes de pesos abiertos", dijo Fenton.

Fenton dijo que el cambio hacia modelos abiertos no solo se trata de ahorrar dinero. En algunos casos, modelos más pequeños ajustados para una tarea específica pueden ser más rápidos y rendir mejor que modelos grandes de propósito general.

Ollama Reports Fortune 500 Adoption Rate

Benchmark invirtió en Ollama, una empresa que facilita a desarrolladores y empresas descargar, ejecutar y gestionar modelos abiertos.

El CEO de Ollama, Jeff Morgan, dijo que la empresa ha sido adoptada por más del 85 % de las compañías Fortune 500, incluidas empresas en industrias reguladas como la aviación, el seguro y la salud.

"Una cosa es de dónde viene el modelo y dónde se creó y entrenó", dijo Morgan. "Pero lo más importante para las empresas con las que hablamos es dónde se ejecuta y cómo se ejecuta".

Morgan dijo que muchas empresas empiezan con modelos más pequeños ejecutándose cerca de sus propios datos, y luego se expanden a modelos abiertos más grandes a medida que ganan confianza.

Chinese Labs Create Strategic Competition in Open Models

El auge de los modelos abiertos crea un desafío estratégico para EE. UU. Muchos de los modelos open-weight más competitivos están llegando de laboratorios chinos, incluyendo Z.ai y DeepSeek. Eso ha convertido la IA de código abierto en un asunto de negocio, un asunto de políticas y un asunto de competitividad nacional.

Srinivas dijo que EE. UU. debería respaldar los modelos abiertos porque hacen la IA más asequible y accesible.

"Si quieres que los beneficios de la IA se distribuyan ampliamente entre pequeñas empresas en América y países aliados estadounidenses, entonces necesitas que la IA sea mucho más asequible", dijo Srinivas. "Y el código abierto es la única forma de hacerlo".

El cambio también podría afectar la enorme expansión de centros de datos que está en marcha en toda la industria tecnológica. El actual auge de la IA asume que la demanda seguirá fluyendo hacia grandes centros de datos en la nube, repletos de chips de gama alta. Srinivas dice que, eventualmente, parte del trabajo de IA podría ejecutarse localmente en lugar de eso, en dispositivos propiedad de consumidores o empresas.

Eso no eliminaría la necesidad de centros de datos, pero podría crear un sistema de IA más híbrido: tareas rutinarias se ejecutarían localmente y el trabajo más difícil se enviaría a un modelo más potente en la nube.

FAQ

¿Qué adelantó Perplexity esta semana sobre modelos de IA?

Esta semana, Perplexity adelantó un nuevo sistema para su producto de uso de computadora, construido en torno a GLM 5.2, un modelo abierto de Z.ai, de China. El sistema está diseñado para que un modelo más barato asuma más parte del trabajo, llamando a un modelo más potente solo cuando sea necesario.

¿Por qué las empresas están pasando de usar los modelos de IA más grandes a sistemas de enrutamiento?

A medida que las empresas pasan de probar la IA a usarla en productos y flujos de trabajo reales, necesitan acceder a modelos que encajen mejor con trabajos específicos al costo adecuado, en lugar de usar siempre los modelos más caros. Además, en EE. UU. las empresas están ajustando el gasto en IA, haciendo de la eficiencia de costos una prioridad.

¿Cuántas empresas Fortune 500 han adoptado Ollama?

El CEO de Ollama, Jeff Morgan, dijo que la empresa ha sido adoptada por más del 85 % de las compañías Fortune 500, incluidas empresas en industrias reguladas como la aviación, el seguro y la salud.