Los LLMs funcionan como cajas negras, lo que dificulta determinar sus comportamientos. La observabilidad es crucial para abrir esta caja negra y comprender cómo las aplicaciones LLM operan en producción. Nuestros equipos han tenido experiencias positivas con Langfuse observando, monitoreando y evaluando aplicaciones basadas en LLMs. Su trazabilidad, análisis y capacidades de evaluación nos permiten analizar el rendimiento y precisión, administrar costos y latencia, y comprender patrones usados en producción, como por ejemplo, facilitando continuas mejoras basadas en datos. Los datos de instrumentación proporcionan una trazabilidad completa del flujo de petición-respuesta y de los pasos intermedios, la cual puede ser usada para datos de prueba, validando la aplicación antes de desplegar los cambios. Nosotros hemos utilizado Langfuse con RAG (generacion mejorada por recuperacion), entre otras arquitecturas de LLM, y agentes autónomos impulsados por LLMs.
En una aplicación basada en RAG, por ejemplo, analizar trazas de conversaciones con puntuación baja, ayuda a identificar qué partes de la arquitectura - pre-entrenado, entrenado o generación - necesitan refinamiento. Otra opción que merece la pena considerar en este ámbito es Langsmith.
Langfuse es una plataforma de ingeniería para observabilidad, testabilidad y monitorización de aplicaciones que utilizan Modelos de Lenguaje de Gran Tamaño (LLM). Su SDK permite utilizar Python, JavaScript y TypeScript, OpenAI, LangChain y LiteLLM entre otros lenguajes y frameworks. Puedes auto-hospedar la versión abierta o utilizarla como un servicio de pago en la nube. Nuestros equipos han tenido una experiencia positiva, particularmente depurando cadenas LLM complejas, analizando la completitud y monitorizando métricas clave como coste y latencia entre usuarios, sesiones, geografías, prestaciones y versiones del modelo. Si estás considerando construir aplicaciones LLM dirigidas por datos, Langfuse es una buena opción a tener en cuenta.
