Новый бенчмарк SRRM (Simple Retrieval-Reconstruction Memory) показывает, что малые языковые модели теряют долгосрочную память быстрее, чем способность находить отдельные факты. Среди трёх протестированных моделей Qwen2.5 лучший результат по всем метрикам показала 1.5B-версия, обойдя более крупную 3B. Для тех, кто запускает компактные модели локально, это означает: размер больше не гарантирует лучшую память в длинном контексте. Препринт с описанием бенчмарка опубликован на arXiv.
Что измеряет SRRM
SRRM проверяет память модели двумя способами. Targeted Retrieval — точечный поиск: модели задают вопрос, на который можно ответить одним фактом из загруженного контекста. Global Information Reconstruction — восстановление общей картины: модель должна воспроизвести существенную часть всех фактов, а не только найти один нужный. Авторы препринта утверждают, что большинство существующих бенчмарков проверяют только первый механизм, поэтому успешный поиск могли принимать за полноценную память.
Для сравнения двух механизмов вводится метрика Memory Preservation Ratio (MPR). Она показывает, какая часть способности к реконструкции сохраняется относительно точности поиска. Значение 1.0 означало бы, что модель восстанавливает контекст так же надёжно, как находит отдельные факты; более низкие значения указывают на провал именно долгосрочной памяти.
Результаты трёх моделей Qwen2.5
Бенчмарк запускали на Qwen2.5 с 0.5, 1.5 и 3 миллиардами параметров. Контекст наполняли синтетическими фактическими утверждениями — от 10 до 100 штук. С ростом объёма контекста точность поиска снижалась медленно, а способность к реконструкции падала существенно быстрее. Иными словами, модель всё ещё могла найти отдельный факт, но уже не удерживала связную картину всего загруженного материала.
Лучшие показатели у Qwen2.5-1.5B: точность поиска 86,7%, реконструкция 45,7%, MPR 0,53. Более крупная Qwen2.5-3B отстала: 72,2%, 18,5% и 0,26 соответственно. Для Qwen2.5-0.5B конкретные цифры в аннотации препринта не приведены.
| Модель | Точность поиска | Реконструкция | MPR |
|---|---|---|---|
| Qwen2.5-1.5B | 86,7% | 45,7% | 0,53 |
| Qwen2.5-3B | 72,2% | 18,5% | 0,26 |
Что это значит для локального запуска
Вывод о том, что увеличение числа параметров не гарантирует лучшую долгосрочную память, практичен: при выборе модели для локального запуска нельзя ориентироваться только на размер. В тесте 1.5B-версия оказалась полезнее 3B-версии по всем трём метрикам, при меньшем числе параметров. Если задача связана с длинными документами, отчётами или чат-историей, стоит проверять именно способность удерживать связный контекст, а не только находить отдельные ответы.
Ограничения исследования: данные синтетические, а не взяты из реальных пользовательских сценариев; результаты заявлены авторами препринта и не проходили независимую репликацию; публикация пока не является рецензируемой. Цифры из таблицы — авторские измерения, а не независимый бенчмарк.
