Technology Radar

Estamos entrando em uma nova fase no uso de modelos de IA, na qual optar automaticamente por um modelo proprietário de ponta (frontier model) não é mais a escolha óbvia. Esta edição destaca inovações significativas nesse espaço, incentivando as organizações a pensar de forma mais criativa sobre quais modelos usar, como e quando.

Os modelos open-weight são particularmente notáveis aqui. Há doze meses, a diferença em relação aos modelos proprietários de ponta era gritante, mas hoje ela é muito menor para muitas tarefas. O custo é um grande impulsionador, mas não o único: os modelos open-weight podem rodar em seus ambientes de nuvem pública, em neoclouds ou em seu próprio hardware. Essa flexibilidade pode ajudar a atender a requisitos estritos de privacidade e reduzir a dependência de um único fornecedor. Isso é especialmente visível na engenharia de software, onde a família GLM tornou os modelos open-weight alternativas plausíveis aos modelos proprietários de ponta para algumas cargas de trabalho de agentes de programação. A auto-hospedagem (self-hosting) também pode ajudar as organizações a manter o código-fonte e os prompts dentro de sua própria infraestrutura. Mas essa mudança não se limita aos modelos open-weight. Os modelos de programação locais estão ganhando popularidade, enquanto desenvolvimentos como modelos fundacionais para dados estruturados e modelos de decisão como o Jev refletem o reconhecimento crescente de que os LLMs de ponta não são a única abordagem para a IA.

Com essa gama crescente de opções, escolher o modelo certo para cada tarefa está se tornando uma responsabilidade importante para as equipes de engenharia. O roteamento de modelos está emergindo como uma consideração fundamental. Alertamos contra o uso indiscriminado de modelos de ponta e incentivamos as equipes a fazer escolhas deliberadas de modelos, mantendo-se abertas a alternativas.

Embora as exigências de infraestrutura de IA tenham aparecido em vários volumes recentes do Radar, esta edição as traz para um foco muito mais preciso. À medida que o uso de IA generativa e de agentes se intensifica, as empresas estão descobrindo que a economia dos tokens se resume, em última análise, à economia da infraestrutura. O custo da IA depende não apenas do preço do modelo, mas também da seleção de modelos, roteamento, agrupamento (batching), movimentação de dados e da eficiência da plataforma subjacente. Grande parte da inovação necessária para tornar a IA economicamente sustentável está, portanto, localizada em camadas mais profundas da stack — e muitas vezes passa despercebida no radar de muitas pessoas.

Ao preparar esta edição, encontramos um ecossistema vibrante emergindo em torno da infraestrutura de IA. O Kubernetes, em particular, está se tornando uma base fundamental para o que às vezes é descrito como AI factories: plataformas estruturadas para executar cargas de trabalho de IA em escala. Vários blips ilustram essa mudança. O KServe e o KAITO oferecem suporte à disponibilização (serving) e implantação de modelos, bem como ao gerenciamento de cargas de trabalho otimizado para aceleradores. Mais acima na stack, o llm-d aborda a inferência distribuída e o escalonamento, enquanto o LiteLLM fornece roteamento e abstração entre modelos e provedores de inferência. A stack das AI factories também se estende além da computação para o armazenamento e redes. Tecnologias como o VAST DataStore atendem às demandas de armazenamento de alto rendimento de cargas de trabalho com uso intensivo de aceleradores, enquanto o Netris traz automação de rede definida por software para a infraestrutura subjacente, ajudando as equipes a provisionar e operar a conectividade de alta largura de banda da qual os clusters de IA dependem.

A mudança maior é que modelos, GPUs, motores de inferência, armazenamento e redes são cada vez mais gerenciados como recursos programáveis coordenados por uma camada de plataforma comum, tornando a infraestrutura de IA um fator central na economia de IA empresarial.