O PageIndex é uma ferramenta que constrói um índice hierárquico de um documento para pipelines de RAG baseados em raciocínio e sem vetores, em vez de depender da recuperação tradicional baseada em embeddings. Em vez de dividir um documento em vetores, o que pode perder informações estruturais e fornecer visibilidade limitada sobre por que os resultados foram recuperados, o PageIndex constrói um índice de sumário que um LLM percorre passo a passo para recuperar o conteúdo relevante. Isso produz um rastro explícito de raciocínio que explica por que uma seção específica foi selecionada, semelhante a como um ser humano escaneia os títulos e se aprofunda em seções específicas. Alguns de nossos times descobriram que essa abordagem funciona bem para documentos em que o significado depende fortemente da estrutura e não da semântica, como relatórios financeiros com dados numéricos, documentos legais com artigos de referência cruzada e documentos clínicos ou científicos complexos. No entanto, essa abordagem traz concessões. Por exemplo, como a inferência do LLM faz parte do processo de recuperação, ela pode introduzir latência e custos significativos, especialmente para documentos grandes.
