O KAITO (Kubernetes AI Toolchain Operator) é um operador Kubernetes que automatiza a infraestrutura necessária para auto-hospedar modelos open-weight em seus próprios clusters. Em vez de configurar manualmente nós de GPU e servidores de modelos, as equipes declaram um Workspace, o recurso personalizado do KAITO para a implantação de um único modelo, especificando o modelo e o tipo de instância de GPU. O controlador do KAITO então provisiona os nós de GPU correspondentes por meio de NodePools do Karpenter, estima os requisitos de memória de GPU, ajusta o runtime e disponibiliza o modelo através do vLLM, expondo um endpoint compatível com a OpenAI via um Kubernetes Service.
Nossas equipes começaram a explorar o KAITO no AKS para hospedar modelos de linguagem de pequeno porte com menor custo e latência. Anteriormente, executar o Ollama e o vLLM diretamente em VMs com GPU exigia gerenciar drivers, escalonamento e configuração de nós manualmente. Gerenciar o ciclo de vida do modelo por meio dos mesmos manifestos declarativos usados para outras cargas de trabalho promete reduzir grande parte desse trabalho repetitivo.
No entanto, o escopo do KAITO é deliberadamente afunilado. Ele lida com o provisionamento de nós e a implantação de modelos, em vez de focar na pilha de inferência mais ampla, onde o KServe é mais maduro e oferece recursos como roteamento consciente de KV-cache. O KAITO ainda é um projeto CNCF Sandbox. Seu autoprovisionamento de nós de GPU é mais maduro no AKS, e ele oferece suporte apenas para GPUs NVIDIA da geração Ampere ou mais recentes. Achamos que vale a pena avaliar, especialmente para equipes que desejam auto-hospedar modelos usando suas ferramentas Kubernetes existentes.
