Langfuse

Langfuse is an open-source LLM engineering platform covering observability, prompt management, evaluations and dataset management. The project has matured significantly since we last assessed it. The v3 architecture introduces ClickHouse, Redis and S3 as back-end components, making it more scalable but also more complex to self-host.

Both the Python and TypeScript SDKs are now built natively on OpenTelemetry, making Langfuse a natural fit for teams that already use OTEL-based observability. New capabilities such as the experiment runner SDK and structured output support for prompt experiments move Langfuse beyond pure tracing into systematic evaluation workflows. This makes it worth considering in an increasingly crowded space that includes Arize Phoenix, Helicone and LangSmith.

Teams building primarily on Pydantic AI may also consider Pydantic Logfire, which takes a broader approach as a full-stack OTEL observability platform rather than an LLM-specific tooling suite. Langfuse remains in Assess as it is a credible choice for teams that need integrated tracing, evaluations and prompt management in one self-hostable platform. However, teams should evaluate whether the infrastructure commitment is justified for their scale and whether a narrower tool like Helicone may suffice if the primary need is model-layer cost and latency visibility.

Los LLMs funcionan como cajas negras, lo que dificulta determinar sus comportamientos. La observabilidad es crucial para abrir esta caja negra y comprender cómo las aplicaciones LLM operan en producción. Nuestros equipos han tenido experiencias positivas con Langfuse observando, monitoreando y evaluando aplicaciones basadas en LLMs. Su trazabilidad, análisis y capacidades de evaluación nos permiten analizar el rendimiento y precisión, administrar costos y latencia, y comprender patrones usados en producción, como por ejemplo, facilitando continuas mejoras basadas en datos. Los datos de instrumentación proporcionan una trazabilidad completa del flujo de petición-respuesta y de los pasos intermedios, la cual puede ser usada para datos de prueba, validando la aplicación antes de desplegar los cambios. Nosotros hemos utilizado Langfuse con RAG (generacion mejorada por recuperacion), entre otras arquitecturas de LLM, y agentes autónomos impulsados por LLMs.

En una aplicación basada en RAG, por ejemplo, analizar trazas de conversaciones con puntuación baja, ayuda a identificar qué partes de la arquitectura - pre-entrenado, entrenado o generación - necesitan refinamiento. Otra opción que merece la pena considerar en este ámbito es Langsmith.

Langfuse es una plataforma de ingeniería para observabilidad, testabilidad y monitorización de aplicaciones que utilizan Modelos de Lenguaje de Gran Tamaño (LLM). Su SDK permite utilizar Python, JavaScript y TypeScript, OpenAI, LangChain y LiteLLM entre otros lenguajes y frameworks. Puedes auto-hospedar la versión abierta o utilizarla como un servicio de pago en la nube. Nuestros equipos han tenido una experiencia positiva, particularmente depurando cadenas LLM complejas, analizando la completitud y monitorizando métricas clave como coste y latencia entre usuarios, sesiones, geografías, prestaciones y versiones del modelo. Si estás considerando construir aplicaciones LLM dirigidas por datos, Langfuse es una buena opción a tener en cuenta.