LangSmith

LangSmith é uma plataforma hospedada do time do LangChain que oferece observabilidade, tracing e avaliação para aplicações de LLM. Ela captura rastreamentos detalhados de chains, ferramentas e prompts, permitindo que os times façam o debug e meçam o comportamento do modelo, monitorem regressões de performance e gerenciem conjuntos de dados de avaliação. O LangSmith é um SaaS proprietário com suporte limitado para workflows que não são do LangChain, o que o torna mais atraente para times que já investiram nesse ecossistema. Seu suporte integrado para avaliação e experimentação de prompts é notavelmente mais polido do que o de alternativas de código aberto como o Langfuse.