Достигаем точности без векторов с Proxy-Pointer RAG

Недавний запуск PageIndex стал частью более широкого сдвига в архитектуре ИИ к "Vectorless RAG" или "Reasoning-Based Retrieval". Вместо стандартного метода разбиения документов на случайные фрагменты и поиска через математическую схожесть, PageIndex строит "Умное оглавление" — иерархическое дерево, которое позволяет языковым моделям навигировать по документам так, как это делает человек-эксперт.

Многочисленные блоги, включая публикацию от Microsoft, описывают рабочие принципы этой технологии, которая достигает 98,7% точности на финансовом бенчмарке, подчеркивая, что Vectorless RAG лучше всего подходит для глубоких запросов по сложным структурированным или полуструктурированным документам, таким как финансовые отчеты. Это связано с тем, что подход PageIndex на основе дерева не может практически масштабироваться на сценарии с несколькими документами.

Основная причина заключается в том, что построение иерархического дерева индекса — это медленный и дорогостоящий процесс, требующий использования языковой модели. В отличие от этого, создание векторного индекса происходит быстро и недорого, а этап извлечения использует языковую модель только один раз во время синтеза ответа.

PageIndex демонстрирует свою точность благодаря трем архитектурным преимуществам: структурной навигации, а не сопоставлению паттернов, извлечению непрерывного контекста и возможности работы с полными секциями, что позволяет избежать необходимости в разбиении на куски.

В этой статье я проведу через реальный случай использования большого сложного документа, чтобы построить Proxy-Pointer RAG — конвейер ввода и извлечения, который достигает высокой точности, сохраняя при этом низкую задержку и стоимость, что делает его масштабируемым для корпоративной базы данных.