Datadog LLM Observability proporciona trazabilidad, monitoreo y diagnóstico de extremo a extremo para modelos grandes de lenguaje y flujos de trabajo de aplicaciones agénticas. Mapea cada prompt, llamada de herramienta y paso intermedio en spans y traces; supervisa la latencia, el uso de tokens, los errores y las métricas de calidad; y se integra con la suite más amplia de APM y observabilidad de Datadog. Las organizaciones que ya utilizan Datadog y están familiarizadas con su estructura de costos pueden encontrar que la función de observabilidad para LLM es una forma directa de obtener visibilidad sobre las cargas de trabajo de IA, siempre que estas puedan instrumentarse. Sin embargo, la configuración y el uso de la instrumentación para LLMs requiere cuidado y una comprensión sólida tanto de las cargas de trabajo como de su implementación. Recomendamos que los equipos de ingeniería de datos y operaciones trabajen en estrecha colaboración al implementarla. Consulta también nuestra recomendación sobre evitar equipos de ingeniería de datos separados.
