Technology Radar

Os workloads de IA estão levando as organizações a orquestrarem grandes frotas de GPUs tanto para treinamento quanto para inferência. Os times trabalham cada vez mais com modelos de tamanhos que excedem a capacidade de um único acelerador (mesmo com 80 GB de HBM), empurrando-os para o treinamento distribuído e a inferência multi-GPU. Como resultado, os times de plataforma estão construindo pipelines complexos, de múltiplos estágios, e fazendo o tuning contínuo para taxa de transferência e latência. As discussões neste espaço incluíram o Nvidia DCGM Exporter para telemetria da frota e o agendamento consciente de topologia para alocar jobs onde a largura de banda de interconexão é maior.

Antes desse aumento na demanda por GPUs, o Kubernetes já havia se consolidado como o orquestrador de contêineres de fato — e ele continua sendo um substrato forte para gerenciar workloads de IA em escala, mesmo enquanto também exploramos alternativas como micro e Uncloud. Estamos acompanhando padrões emergentes de agendamento cientes de GPU — como enfileiramento e cota via Kueue, acoplados com posicionamento consciente de topologia e gang scheduling — para co-localizar jobs multi-GPU em links GPU-para-GPU rápidos (por exemplo, NVLink/NVSwitch) e dentro de "ilhas" de data center contíguas (por exemplo, racks ou pods com RDMA). Melhorias recentes nas APIs cientes de multi-GPU e NUMA no Kubernetes fortalecem ainda mais essas capacidades, melhorando a largura de banda entre dispositivos, reduzindo a latência de cauda e aumentando a utilização efetiva.

Esperamos uma inovação rápida na infraestrutura de IA à medida que os times de plataforma correm para suportar a crescente demanda por workflows de programação com IA e o surgimento de agentes elevados pelo MCP. Em nossa visão, a orquestração ciente de GPU está se tornando o básico — a topologia agora é uma preocupação de primeira classe no agendamento.

É inegável que a IA está transformando a forma como construímos e mantemos software — e continua sendo um tema central em nossas discussões recentes. À medida que a IA se integra estrategicamente em toda a cadeia de valor do desenvolvimento — desde o uso de IA para compreender bases de código legadas até a engenharia direta com GenAI  — estamos aprendendo a fornecer conhecimento de forma mais eficaz aos agentes de programação. As equipes estão experimentando novas práticas, como a definição de instruções personalizadas por meio de arquivos AGENTS.md e a integração com servidores MCP, como o Context7, para acessar documentação atualizada de dependências.

Há também uma compreensão crescente de que a IA deve potencializar o time inteiro, não apenas contribuidoras individuais. Técnicas como bibliotecas de instruções compartilhadas e curadas e comandos personalizados estão surgindo para promover uma disseminação mais equitativa do conhecimento. O cenário de ferramentas é vibrante: designers exploram o UX Pilot e o AI Design Reviewer, enquanto desenvolvedores prototipam rapidamente com o v0 e o Bolt para prototipagem de UI de autoatendimento.

Também seguimos debatendo o desenvolvimento orientado por especificação — seu escopo, granularidade e potencial para atuar como uma única fonte da verdade na entrega incremental. No entanto, em meio ao entusiasmo, a complacência com o código gerado por IA permanece uma preocupação compartilhada, lembrando-nos de que, embora a IA possa acelerar a engenharia, o discernimento humano continua sendo indispensável.