NeMo Guardrails é um toolkit de código aberto da NVIDIA que facilita a adição de mecanismos programáveis de segurança e controle a aplicações conversacionais baseadas em LLM. Ele garante que as saídas permaneçam seguras, dentro do tópico e em conformidade, definindo e aplicando regras de comportamento. Pessoas desenvolvedoras usam Colang, uma linguagem de domínio específico, para criar fluxos de diálogo flexíveis e gerenciar conversas, impondo caminhos e procedimentos operacionais predefinidos. O NeMo Guardrails também fornece uma API asynchronous-first para performance e suporta mecanismos para segurança de conteúdo, proteção e moderação de entradas e saídas. Estamos vendo uma adoção constante em times que constroem aplicações que vão desde chatbots simples até workflows agênticos complexos. Com seu conjunto de features em expansão e a cobertura cada vez mais madura de vulnerabilidades comuns de LLMs, estamos movendo o NeMo Guardrails para Adote.
NeMo Guardrails é um kit de ferramentas de código aberto da NVIDIA, considerado fácil de usar, que capacita desenvolvedoras a implementar restrições para modelos de linguagem de grande porte (LLMs) usados em aplicações conversacionais. Desde a última vez que o mencionamos no Radar, o NeMo tem sido amplamente adotado por nossas equipes e continua a evoluir. Muitas das melhorias mais recentes do NeMo Guardrails focam na expansão das integrações e no fortalecimento da segurança, dados e controle, alinhando-se ao objetivo central do projeto.
Uma grande atualização na documentação do NeMo melhorou sua usabilidade, e novas integrações foram adicionadas, incluindo AutoAlign e Patronus Lynx, juntamente com suporte ao Colang 2.0. As principais atualizações incluem melhorias na segurança e proteção de conteúdo, bem como um lançamento recente que permite o streaming de conteúdo de LLMs através de trilhos de saída (output rails) para melhor desempenho. Também vimos suporte adicional para Segurança de Prompt. Além disso, a Nvidia lançou três novos microsserviços: microsserviço NIM de segurança de conteúdo, microsserviço NIM de controle de tópicos e detecção de jailbreak, todos integrados ao NeMo Guardrails.
Com base no conjunto crescente de funcionalidades e no aumento do uso em produção, estamos movendo o NeMo Guardrails para a fase de Teste. Recomendamos revisar as últimas notas de lançamento para obter uma visão completa das mudanças desde o nosso último blip.
NeMo Guardrails é um kit de ferramentas de código aberto fácil de usar da NVIDIA que permite que pessoas desenvolvedoras implementem guardas para modelos de linguagem de grande porte (LLMs) utilizados em aplicações conversacionais. Embora os LLMs tenham um imenso potencial para construir experiências interativas, suas limitações inerentes em relação à precisão factual, vieses e potencial uso indevido exigem salvaguardas. Os guardrails oferecem uma abordagem promissora para garantir LLMs responsáveis e confiáveis. Apesar de haver outras opções de guardrails para LLM, nossas equipes consideram o NeMo Guardrails particularmente útil porque ele suporta regras programáveis, integração em tempo de execução e pode ser aplicado a aplicações LLM existentes sem extensas modificações no código.
