AnythingLLM es una aplicación de escritorio de código abierto que permite chatear con documentos o fragmentos de contenido extensos, respaldada por una integración lista para usar con modelos de lenguaje de gran tamaño (LLMs) y bases de datos vectoriales. Cuenta con una arquitectura modular para modelos de incrustación y puede utilizarse con la mayoría de los LLM comerciales, así como con modelos de código abierto gestionados por Ollama. Además de RAG, se pueden crear diferentes habilidades y organizarlas como agentes para realizar tareas y flujos de trabajo personalizados. La aplicación permite a los usuarios organizar documentos e interacciones en distintos espacios de trabajo, que funcionan como hilos de conversación persistentes con diferentes contextos. Recientemente, también se ha añadido la posibilidad de desplegarlo como una aplicación web multiusuario mediante una imagen de Docker. Algunos de nuestros equipos lo están utilizando como asistente personal local y lo consideran una herramienta potente y útil.
