NEAR улучшает поиск нужных фрагментов в длинной памяти ИИ

Исследователи представили NEAR — метод без дополнительного обучения, который использует соседние записи для уточнения векторного поиска по памяти и, согласно материалам препринта, улучшает результаты на восьми тестах длинного контекста.

Схема работы метода NEAR для поиска данных в памяти ИИ
Схема работы метода NEAR для поиска данных в памяти ИИ
Arlington State College Library, students studying (10010394).jpg | by University of Texas at Arlington Photograph Collection | wikimedia_commons | CC BY 4.0

Исследователи представили NEAR — Neighborhood-Aware Residuals, или «остаточные представления с учётом соседства». Метод предназначен для систем, которые извлекают сведения из больших хранилищ записей перед формированием ответа на запрос. Согласно препринту на arXiv, подход не требует дополнительного обучения модели и может быть добавлен к уже существующему индексу приближённого поиска.

Работа опубликована 12 октября 2026 года под номером arXiv:2610.13314. Авторы описывают проблему, знакомую разработчикам систем retrieval-augmented generation: несколько документов могут быть посвящены одной теме, содержать одни и те же имена или описывать одно событие, но только один из них содержит нужный пользователю факт. Обычное сравнение эмбеддингов иногда ставит выше тематически похожую, но бесполезную запись.

Почему обычной похожести бывает недостаточно

Векторный поиск сопоставляет запрос с записями по близости их представлений. Такой механизм хорошо работает, когда нужный документ заметно отличается по смыслу от остальных. Сложности возникают в коллекциях с повторяющимися темами: например, в истории переписки, базе тикетов, наборах отчётов или длинных документах, разбитых на фрагменты.

Две записи могут иметь общих персонажей, термины и описание события. При этом одна отвечает на вопрос, а другая лишь создаёт похожий тематический фон. Если система ориентируется только на исходную близость в пространстве эмбеддингов, нерелевантный фрагмент способен обойти правильный результат.

NEAR предлагает учитывать не только саму запись, но и её локальное окружение. Идея состоит в том, чтобы определить, какие признаки являются общими для соседних элементов, а затем выделить остаточную часть представления — характеристики, которые лучше отличают конкретную запись от её окружения.

Как устроен подход NEAR

Для каждой записи памяти метод вычисляет опорное направление на основе её соседей. В контексте работы соседями выступают элементы, близкие в пространстве исходных эмбеддингов. Это направление должно отражать общую часть содержания, которую разделяют несколько похожих записей.

Для запроса используется другой источник опоры — заранее подготовленная таблица. Затем NEAR строит проекционные остатки и для запроса, и для элементов памяти. Полученные признаки объединяются с исходными эмбеддингами. После этого система выполняет один поиск по индексу приближённых ближайших соседей.

Авторы подчёркивают, что фиксированный индекс памяти менять не требуется. Это отличает предложенный механизм от подходов, которым нужно заново обучать модель эмбеддингов, перестраивать всю инфраструктуру или запускать отдельный сложный этап переранжирования для каждого запроса.

Практически это означает, что NEAR задуман как надстройка над существующим контуром поиска. Однако из описания препринта не следует, что метод автоматически подходит для любой базы: качество будет зависеть от структуры коллекции, выбранной модели эмбеддингов и того, насколько корректно определяются соседние записи.

Что заявлено в экспериментах

В препринте сообщается о проверке на восьми тестах для поиска по длинному контексту. Авторы также указывают, что NEAR дал улучшения с девятью моделями эмбеддингов и положительно повлиял на последующие оценки систем вопросов и ответов.

Эти результаты описывают сами авторы работы; в доступном сигнале нет данных о независимом воспроизведении экспериментов или сравнении с конкретными промышленными системами. Поэтому формулировку «улучшает поиск» корректнее понимать как результат заявленной экспериментальной проверки, а не как универсальную гарантию для всех приложений.

Важен и характер улучшения. NEAR не пытается заменить исходную модель представлений новой обученной моделью. Он использует информацию о том, как записи расположены относительно друг друга. Такой подход особенно логичен для архивов, где много почти дублирующих фрагментов, а различие между правильным и неправильным результатом скрывается в деталях.

Кому это может пригодиться

Метод представляет интерес для разработчиков RAG-систем, корпоративного поиска и ассистентов, работающих с длинной памятью. В таких продуктах ошибка часто возникает не на этапе генерации ответа, а раньше — когда поисковый компонент передаёт языковой модели не тот фрагмент.

Потенциальное применение включает поиск по архивам переписки, технической документации, внутренним базам знаний и коллекциям связанных документов. Если записи имеют общий словарь и пересекающиеся сущности, учёт локального окружения может помочь отделить уникальную информацию от общего тематического шума.

При этом NEAR не решает проблемы качества самих данных. Дубликаты, устаревшие документы, неправильная разметка и отсутствие нужного факта в базе останутся источниками ошибок. Метод также не доказывает достоверность найденного текста: он только меняет способ ранжирования кандидатов.

Что проверить перед внедрением

Разработчикам, рассматривающим этот подход для своей системы, стоит сначала измерить базовые показатели на собственных запросах. Полезно сравнить не только среднюю точность, но и долю случаев, когда правильный фрагмент попадает в первые результаты, а также влияние на задержку и объём используемой памяти.

Отдельно нужно проверить, как построение соседства ведёт себя при обновлении коллекции. Поскольку метод использует структуру пространства эмбеддингов и предварительно подготовленные данные для запросов, изменение модели, состава базы или распределения тем может потребовать пересчёта связанных компонентов.

Оригинальное описание доступно в карточке препринта на arXiv: https://arxiv.org/abs/2610.13314. Текст статьи опубликован в формате PDF: https://arxiv.org/pdf/2610.13314. Метаданные записи также доступны через API arXiv: https://export.arxiv.org/api/query?id_list=2610.13314. На текущем этапе это исследовательская работа, а не подтверждение того, что NEAR уже стал стандартным или готовым промышленным компонентом.

Источники