La recuperación de información en el dispositivo es una técnica que permite ejecutar búsquedas, reconocimiento de contexto y generación aumentada por recuperación (RAG) directamente en los dispositivos del usuario —ya sean móviles, de escritorio o de borde (edge devices)— priorizando la privacidad y la eficiencia computacional. Esta técnica combina una base de datos local ligera con un modelo optimizado para inferencia en el propio dispositivo. Una implementación prometedora combina sqlite-vec, una extensión de SQLite que habilita búsquedas vectoriales dentro de la base de datos embebida, con EmbeddingGemma, un modelo de embeddings de 300 millones de parámetros construido sobre la arquitectura Gemma 3. Optimizada para la eficiencia y entornos con recursos limitados, esta combinación mantiene los datos cerca del borde –es decir, en los propios dispositivos– reduciendo la dependencia de las API en la nube y mejorando la latencia y la privacidad. Recomendamos que los equipos evalúen esta técnica para aplicaciones local-first y otros casos donde la soberanía de los datos, la baja latencia y la privacidad sean factores críticos.
