OpenInference es un conjunto de convenciones y complementos; es complementario a OpenTelemetry y está diseñado para observar aplicaciones de IA. Proporciona instrumentación estandarizada para frameworks de aprendizaje automático y bibliotecas, lo que ayuda a las personas desarrolladoras a trazar las invocaciones de LLM junto con el contexto que las rodea, como recuperaciones desde almacenes vectoriales (vector stores) o llamadas a herramientas externas, API y motores de búsqueda. Los spans pueden exportarse a cualquier colector compatible con OTEL, garantizando la alineación con las pipelines de telemetría existentes. Anteriormente mencionamos Langfuse, una plataforma de observabilidad de LLM comúnmente utilizada; el SDK de OpenInference puede registrar trazas en Langfuse y en otras plataformas de observabilidad compatibles con OpenTelemetry.
