O KServe é um operador de Kubernetes de código aberto que gerencia a inferência de IA preditiva e generativa por meio de recursos personalizados. Em vez de atuar como um motor de inferência em si, ele orquestra runtimes de serviço como vLLM, SGLang e NVIDIA Triton, separando o ciclo de vida de um serviço de modelo do motor que o executa.
À medida que as organizações constroem fábricas de IA (AI factories), operar a inferência na infraestrutura de GPUs do Kubernetes torna-se um problema de gerenciamento de frota, em vez de uma questão de executar servidores de modelos individuais. O KServe aborda isso com dois recursos personalizados: InferenceService para aprendizado de máquina convencional e cargas de trabalho mais simples de LLMs, com scale-to-zero opcional baseado em Knative, e LLMInferenceService para serviço avançado de LLMs. Desenvolvido sobre o llm-d e a Gateway API Inference Extension, o LLMInferenceService suporta inferência multinó (multi-node), desagregação de pré-preenchimento e deprogramação (prefill/decode disaggregation) e roteamento consciente de KV-cache que direciona requisições para réplicas que já possuem o prefixo em cache relevante.
O KServe é um projeto no estágio Incubating da CNCF, e vários de nossos clientes o utilizam em produção. Nossas equipes o preferem em relação a outras ferramentas desse espaço ao construir plataformas internas de inferência no Kubernetes. O LLMInferenceService é mais recente que o InferenceService, e seu ecossistema ainda está em evolução.
