14 ноября 2026 года MarkTechPost сообщил о публикации Memorilla — системы памяти, которая передаёт замороженной языковой модели 16 векторов вместо полного текста коллекции документов. По данным, приведённым из работы исследовательской команды, на FactKG такой подход дал точность 84,33% против 80,43% при подаче всех документов в контекст. Для читателя это способ исследовать большой архив без передачи модели всей коллекции при каждом запросе, но опубликованные цифры относятся к конкретному тесту.
Что изменилось
Memorilla рассчитана на сценарий, в котором базовую языковую модель не дообучают. По описанию MarkTechPost, исследовательская команда оставляет замороженными Qwen3-Embedding-4B и Qwen3-8B, а обучает отдельный модуль памяти. Документы сначала превращаются в представления, после чего система подбирает компактную информацию для конкретного вопроса.
На FactKG авторы сообщили о точности 84,33% для Memorilla против 80,43% при подаче всей коллекции документов в контекст. Для результата Memorilla указано в 108 раз меньше токенов документов. Это не означает, что метод универсально лучше полного контекста: приведённые числа относятся к одному бенчмарку и опубликованному авторами сравнению.
Как работает сжатие
Документы однократно кодирует замороженный Qwen3-Embedding-4B. Затем 16 обучаемых слотов взаимодействуют с вопросом и хранилищем документов через механизм внимания. Получившиеся представления проецируются в пространство входных эмбеддингов Qwen3-8B и добавляются к вопросу перед его обработкой.
Размер набора памяти не растёт вместе с коллекцией: в описанном варианте замороженная языковая модель получает 16 векторов. Это отличается от схемы с полным контекстом, где объём передаваемого текста увеличивается вместе с архивом. При этом Memorilla не избавляет от предварительной обработки: коллекцию нужно закодировать и сохранить в хранилище, а для каждого нового вопроса модуль обращается к этому хранилищу.
Результаты и слабое место
MarkTechPost приводит результаты восьми бенчмарков как самоотчёт исследовательской команды, а не как независимую проверку. Средний результат Memorilla указан на уровне 49,68; в статье он назван высшим среди приведённых вариантов. На PersonaMem-v2 система получила 44,60% против 27,92% у варианта с полным контекстом, а на TriviaQA — 57,00% против 56,60% у MemoRAG.
Однако на PubMedQA Memorilla уступила LLMLingua-2: 59% против 69%. В пересказе статьи это связывается с тем, что абстракты в наборе в среднем занимают около 324 токенов, поэтому сжатие даёт меньше преимуществ. MemoRAG также оказался впереди на PersonalizationV4: 67,88% против 66,65%, а на NarrativeQA разрыв по ROUGE-L составил 19,31 против 20,51.
Кому подойдёт запуск
Быстрый запуск, согласно опубликованному описанию, рассчитан на Linux, CUDA, Python 3.11 и одну GPU с 80 ГБ памяти; рецепты запускались на H100 с 80 ГБ. Первый запуск должен скачать около 25 ГБ моделей. В доступном описании не указаны квантованные варианты. Поэтому Memorilla выглядит прежде всего экспериментальным инструментом для среды с серверной GPU, а не готовой заменой облачному поиску по документам на обычном компьютере.
Ответ на вопрос о больших коллекциях — скорее да, но в ограниченном смысле: Memorilla сокращает объём данных, который получает замороженная модель, и сохраняет фиксированный набор из 16 векторов на запрос. При этом опубликованные показатели зависят от набора данных, а на PubMedQA и отдельных задачах сравнения система уступила другим подходам. Независимых тестов в доступном материале нет.
Источник: MarkTechPost, 14 ноября 2026 года.
