NeMo Guardrails é um kit de ferramentas de código aberto da NVIDIA, considerado fácil de usar, que capacita desenvolvedoras a implementar restrições para modelos de linguagem de grande porte (LLMs) usados em aplicações conversacionais. Desde a última vez que o mencionamos no Radar, o NeMo tem sido amplamente adotado por nossas equipes e continua a evoluir. Muitas das melhorias mais recentes do NeMo Guardrails focam na expansão das integrações e no fortalecimento da segurança, dados e controle, alinhando-se ao objetivo central do projeto.
Uma grande atualização na documentação do NeMo melhorou sua usabilidade, e novas integrações foram adicionadas, incluindo AutoAlign e Patronus Lynx, juntamente com suporte ao Colang 2.0. As principais atualizações incluem melhorias na segurança e proteção de conteúdo, bem como um lançamento recente que permite o streaming de conteúdo de LLMs através de trilhos de saída (output rails) para melhor desempenho. Também vimos suporte adicional para Segurança de Prompt. Além disso, a Nvidia lançou três novos microsserviços: microsserviço NIM de segurança de conteúdo, microsserviço NIM de controle de tópicos e detecção de jailbreak, todos integrados ao NeMo Guardrails.
Com base no conjunto crescente de funcionalidades e no aumento do uso em produção, estamos movendo o NeMo Guardrails para a fase de Teste. Recomendamos revisar as últimas notas de lançamento para obter uma visão completa das mudanças desde o nosso último blip.
NeMo Guardrails é um kit de ferramentas de código aberto fácil de usar da NVIDIA que permite que pessoas desenvolvedoras implementem guardas para modelos de linguagem de grande porte (LLMs) utilizados em aplicações conversacionais. Embora os LLMs tenham um imenso potencial para construir experiências interativas, suas limitações inerentes em relação à precisão factual, vieses e potencial uso indevido exigem salvaguardas. Os guardrails oferecem uma abordagem promissora para garantir LLMs responsáveis e confiáveis. Apesar de haver outras opções de guardrails para LLM, nossas equipes consideram o NeMo Guardrails particularmente útil porque ele suporta regras programáveis, integração em tempo de execução e pode ser aplicado a aplicações LLM existentes sem extensas modificações no código.
