GPTCache

GPTCache es una librería de caché semántica para modelos de lenguajes grandes(LLMs). Vemos la necesidad de una capa de caché delante de los LLM por dos razones principales: mejorar el rendimiento general reduciendo llamadas a API externas y reducir el costo de operación almacenando en caché respuestas similares. A diferencia de los enfoques tradicionales cacheo que buscan coincidencias exactas, lo que las soluciones de cacheo basadas en LLM requieren son coincidencias similares o relacionadas para las consultas de entrada. GPTCache aborda esto con la ayuda de algoritmos de embedding para convertir los inputs en embeddings y luego usar un almacén de datos vectorial para la búsqueda de similitudes en dichos embeddings. Un inconveniente de este diseño es que podrías encontrar falsos positivos durante los aciertos de caché o falsos negativos durante los fallos de caché, por lo que te recomendamos que evalúes cuidadosamente GPTCache para tus aplicaciones basadas en LLM.