agentgateway é um gateway de alto desempenho para tráfego relacionado a LLMs, hospedado pela Linux Foundation. Ele suporta inferência de LLM, comunicação via MCP e A2A por meio de um protocolo comum, tanto em versões standalone quanto em Kubernetes. Seus recursos principais incluem roteamento baseado em custo e latência, fallbacks, limites de gastos, guardrails, controle de ferramentas MCP e observabilidade com OpenTelemetry.
Estamos particularmente interessadas na versão para Kubernetes por causa de sua integração profunda com infraestrutura de LLMs auto-hospedada. Ele pode usar métricas do Kubernetes para rotear requisições para uma réplica respaldada por GPU que já tenha o contexto relevante em cache na memória ou para um servidor menos utilizado com base no uso real da GPU. Essas capacidades fazem do agentgateway uma opção que vale a pena avaliar para organizações que executam stacks de inferência auto-hospedadas.
