OpenInference é um conjunto de convenções e plugins; é complementar ao OpenTelemetry e projetado para observar aplicações de IA. Ele fornece instrumentação padronizada para frameworks e bibliotecas de machine learning, o que ajuda pessoas desenvolvedoras a rastrearem invocações de LLM juntamente com o contexto ao redor, como recuperações de vector store ou chamadas de ferramentas externas a APIs e motores de busca. Os spans podem ser exportados para qualquer coletor compatível com OTEL, garantindo o alinhamento com os pipelines de telemetria existentes. Anteriormente, publicamos sobre o Langfuse, uma plataforma de observabilidade de LLM comumente usada — o SDK do OpenInference pode registrar traces no Langfuse e em outras plataformas de observabilidade compatíveis com OpenTelemetry.
