O llm-d é uma stack de serviço de inferência distribuída de código aberto projetada para operar servidores de modelos como vLLM e SGLang em múltiplos nós do Kubernetes. Aplicações web tradicionais dependem frequentemente de roteamento sem estado (stateless) e escalabilidade horizontal, mas a inferência de LLMs é altamente baseada em estado (stateful) devido ao caching de chave-valor (KV). Em vez de tratar pods de serviço de modelos como backends HTTP intercambiáveis, o llm-d utiliza roteamento consciente de inferência para coordenar requisições em múltiplos aceleradores, estendendo a otimização além dos servidores de modelos individuais.
Construído em torno do Kubernetes e do Gateway API Inference Extension, o llm-d oferece diversos recursos adaptados ao tráfego de IA stateful. Ele suporta roteamento consciente de modelo e de cache KV, utilizando fatores como afinidade de cache, profundidade de fila e latência prevista para orientar as decisões de agendamento. Um recurso notável é a desagregação de prefill e decode, que permite aos operadores posicionar cargas de trabalho de prefill com uso intensivo de computação em um conjunto de GPUs e tarefas de decoding limitadas por largura de banda de memória em outro. Isso pode melhorar a utilização de hardware e os custos de inferência. Equipes que constroem plataformas de inferência GPU em grande escala devem avaliar o llm-d como uma base emergente para sua camada de inferência, especialmente ao buscar escalar enquanto atendem a objetivos rígidos de latência.
