DeepEval é um framework de avaliação de código aberto, baseado em Python, para aferir a performance de LLMs. Ele pode ser usado para avaliar a geração aumentada por recuperação (RAG) e outras aplicações construídas com frameworks como LlamaIndex ou LangChain, bem como para fazer o baseline e o benchmark de modelos. O DeepEval vai além das pontuações baseadas em correspondência de palavras, avaliando acurácia, relevância e consistência para fornecer uma avaliação mais confiável em cenários do mundo real. Ele inclui métricas como detecção de alucinações, relevância da resposta e otimização de hiperparâmetros, e suporta o GEval para a criação de métricas customizadas e específicas para o caso de uso. Nossos times estão usando o DeepEval para fazer o ajuste fino (fine-tuning) das saídas de agentes usando a técnica de LLM como juiz. Ele se integra com o pytest e pipelines de CI/CD, tornando-o fácil de adotar e valioso para a avaliação contínua. Para times que desenvolvem aplicações baseadas em LLM em ambientes regulados, o Inspect AI, desenvolvido pelo Instituto de Segurança de IA do Reino Unido, oferece uma alternativa com um foco mais forte em auditoria e conformidade.
DeepEval é um framework de código aberto, baseado em Python, de avaliação do desempenho de LLMs. Você pode utilizar para avaliar a geração aumentada por recuperação (RAG) e outros tipos de aplicativos feitos com frameworks populares como LlamaIndex ou LangChain, bem como para estabelecer uma linha de base e benchmark quando você está comparando diferentes modelos para as suas necessidades. DeepEval oferece um conjunto abrangente de métricas e recursos para avaliar o desempenho de LLMs, incluindo detecção de alucinação, relevância de respostas e otimização de hiperparâmetros. Ele oferece integração com pytest e, além dessas asserções, você pode facilmente integrar a suíte de testes em uma pipeline de integração contínua. Se você está trabalhando com LLMs, considere experimentar o DeepEval para melhorar seu processo de testes e garantir a confiabilidade de suas aplicações.
