Chatbots producidos por large language models (LLMs) están obteniendo gran popularidad hoy en día, y estamos observando técnicas emergentes alrededor de su uso en producción. Uno de los desafíos para esto es entender cómo los usuarios están interactuando con un chatbot el cual es manejado por un ente genérico como un LLM, donde la conversación puede ir en distintas direcciones. Entender la realidad de los flujos de conversación es crucial para perfeccionar el producto y mejorar los rangos de conversión. Una técnica para superar este problema es utilizar análisis gráfico para LLM-Backed chats. Los agentes que mantienen un chat con un resultado específico - tales como una acción de compra o una resolución exitosa ante un problema de consumidor - usualmente son representados por un estado deseado de máquina. Al cargar todas los diálogos en una gráfica, se puede analizar patrones actuales y observar discrepancias para el estado esperado de la máquina. Esto ayuda a encontrar fallas y oportunidades para mejoras de producto.
