Las startups de IA priorizan la latencia y la capacidad de ráfaga en la infraestructura neocloud

Los proveedores especializados en infraestructura en la nube están dejando atrás el acceso básico a las unidades de procesamiento gráfico, mientras las empresas nativas de inteligencia artificial priorizan la latencia, la gestión de picos de carga y las arquitecturas abiertas para sus operaciones diarias. En lugar de alquilar capacidad de cómputo únicamente en función de la disponibilidad de chips, las startups con grandes demandas de inferencia seleccionan su infraestructura basándose en la integración del hardware físico y en la escalabilidad flexible.

Las cargas de trabajo de inferencia impulsan la demanda de capacidad

La transición desde el entrenamiento de modelos hacia la inferencia en producción ha transformado la manera en que las compañías de software de IA utilizan los recursos de cómputo. LlamaIndex, que opera como un creador de modelos especializado en el análisis y la extracción de documentos, destina actualmente alrededor del 75 % de su infraestructura de cómputo a la inferencia y el 25 % al entrenamiento de modelos. La empresa procesa millones de páginas diarias para clientes de los sectores legal, financiero y de seguros, lo que genera picos de uso fluctuantes que requieren una capacidad de ráfaga flexible sin riesgo de limitaciones en el ancho de banda.

La configuración del hardware influye en el rendimiento

La optimización física de la infraestructura de los centros de datos desempeña un papel fundamental en la gestión de la latencia. Los ejecutivos de CoreWeave señalan que las variaciones en las redes de los chips y en la distribución de energía pueden alterar las métricas de rendimiento por órdenes de magnitud. Recientemente, CoreWeave ha presentado CoreWeave Forge, un entorno consolidado concebido para unificar el entrenamiento de modelos, la inferencia, la evaluación de sistemas y el desarrollo de agentes dentro de una única capa de plataforma.

La interoperabilidad multicloud adquiere prioridad

A diferencia de los grandes proveedores de hiper-escala que dependen de interfaces de programación de aplicaciones propietarias, las nubes especializadas están adoptando protocolos de red estandarizados para preservar la compatibilidad multicloud. Los proveedores de neocloud se posicionan cada vez más como capas de cómputo específicas que coexisten con la infraestructura en la nube convencional que aloja las aplicaciones web principales, lo que permite a los desarrolladores integrar recursos de inferencia especializados sin quedar vinculados a una plataforma aislada.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Wiring and powering GPUs differently can swing AI latency by orders of magnitude, says CoreWeave