O SGLang é um framework de serviço de alto desempenho que reduz o overhead de computação da inferência de LLMs por meio de um co-design de sua linguagem de programação de frontend e runtime de backend. Ele introduz o RadixAttention, uma técnica de gerenciamento de memória que armazena em cache e reutiliza de forma agressiva os estados KV (chave-valor) entre prompts. Essa abordagem entrega melhorias significativas de desempenho em relação a motores de serviço padrão, como o vLLM, em cenários com alta sobreposição de prefixos. Para times que constroem agentes autônomos complexos, que dependem de prompts de sistema longos ou usam extensivamente few-shot prompting com exemplos compartilhados, o SGLang pode fornecer ganhos substanciais em latência e eficiência.
