Recuperação de informação no dispositivo é uma técnica que permite que busca, consciência de contexto e geração aumentada por recuperação (RAG) rodem inteiramente nos dispositivos da pessoa usuária — mobile, desktop ou dispositivos de edge — priorizando a privacidade e a eficiência computacional. Ela combina um banco de dados local leve com um modelo otimizado para inferência no dispositivo. Uma implementação promissora une o sqlite-vec, uma extensão do SQLite que suporta busca vetorial dentro do banco de dados embarcado, com o EmbeddingGemma, um modelo de embedding de 300 milhões de parâmetros construído sobre a arquitetura Gemma 3. Otimizada para eficiência e ambientes com recursos restritos, essa combinação mantém os dados próximos ao edge, reduzindo a dependência de APIs na nuvem e melhorando a latência e a privacidade. Recomendamos que os times avaliem essa técnica para aplicações local-first e outros casos de uso onde a soberania de dados, a baixa latência e a privacidade são críticas.
