Запоминание и копирайт: что модель действительно «выучила наизусть»

Тема «модель выучила текст наизусть» стала центральной в спорах о копирайте, но в исследованиях memorization имеет более узкий и технический смысл. Обычно речь не о том, что модель «знает тему», а о том, может ли она при определённом запросе воспроизвести защищённую форму: длинный фрагмент книги, кусок кода, email, логотип или почти идентичное изображение. Ниже — обзор работ, опубликованных с декабря 2020 по октябрь 2024, где это проверяли напрямую на языковых и диффузионных моделях.

Контекст: почему вопрос о «запоминании» связан с копирайтом

В технической литературе важно различать знание, запоминание и плагиатоподобное воспроизведение. Если модель отвечает, что Париж — столица Франции, это не тот случай, который обычно интересует исследователей memorization. Их интересует ситуация, когда веса модели кодируют конкретную последовательность настолько устойчиво, что её можно восстановить при инференсе.

Именно поэтому работы о копирайте смотрят не на «знает ли модель книгу», а на то, возвращает ли она защищённый фрагмент книги, решения задач, длинные куски кода или близкую копию изображения. Karamolegkou et al. и Mueller et al. используют книги, код и fuzzy-matching как технический прокси для copyright-risk; Lee et al. отдельно показывают, что проблема шире exact match и включает перефразирование и заимствование идей. Но юридически это всё ещё не одно и то же: техническая извлекаемость и правовая квалификация совпадают не всегда.

Важно и другое ограничение. Этот текст сознательно рассматривает исторический срез исследований до конца 2024 года, а не обновляет судебную практику после этой даты. Фокус здесь — на том, что именно научные работы и официальные технические отчёты смогли показать про memorization как инженерную проблему.

Метод: как проверяют, выучила ли модель что-то «наизусть»

К 2024 году сложилось несколько повторяющихся методик.

1. Массовая генерация и поиск совпадений. В ранней линии Carlini et al. для GPT-2 исследователи просто генерируют много текста, а затем ищут последовательности, которые выглядят как редкие и «слишком уверенные» продолжения, после чего сверяют их с тренировочными данными.
2. Adversarial prompting и extraction attacks. В более поздних работах цель не ждать случайной утечки, а специально расшатать модель промптом, чтобы она вышла из обычного chat-режима и начала выдавать memorized continuations.
3. Сравнение exact match и near match. Для задач, связанных с копирайтом, одного точного совпадения мало. Поэтому работы о copyright compliance используют fuzzy matching, длинные фрагменты книг и сравнение поведения на copyrighted и public-domain текстах.
4. Generate-and-filter для изображений. Для diffusion-моделей исследователи генерируют много картинок, затем сравнивают их с кандидатами из трейна по близости и вручную проверяют найденные совпадения.
5. Факторный анализ причин. Отдельная линия работ не только ищет утечки, но и меняет размер модели, число дубликатов, длину контекста, тип conditioning и размер датасета, чтобы понять, что именно усиливает memorization.

Практически это означает, что вопрос «модель копирует или нет?» задан слишком грубо. Корректнее спрашивать: при каком типе запроса, для какого класса данных, с какой длиной фрагмента и с какой вероятностью модель воспроизводит тренировочный материал.

Результаты: что показали исследования 2020–2024

Ниже — сжатая карта того, что устойчиво повторяется в разных линиях работ.

Линия работ	Объект	Как искали memorization	Что устойчиво повторяется
Carlini et al.; Nasr et al.	Автoregressive language models	Массовая генерация, ranking, adversarial prompting, exact match	Дословные тренировочные строки извлекаются; alignment снижает случайную выдачу, но не гарантирует отсутствие извлекаемости.
Lee et al.; Kandpal et al.; Carlini et al.	Web-scale text corpora	Изменение числа дубликатов, размера модели и длины контекста	Повторы в корпусе и масштаб модели заметно повышают вероятность regurgitation; dedup помогает и для качества, и для снижения риска.
Ippolito et al.; Lee et al.	Текстовые модели	Сравнение exact-match фильтров и модифицированных промптов	Защита только от точного совпадения оставляет обходы через минимально изменённые запросы, style transfer и близкие перефразирования.
Karamolegkou et al.; Mueller et al.	Книги, код, instruction-tuned chat models	Точные и fuzzy-сопоставления длинных фрагментов	Для copyrighт-релевантного риска важнее не «знание темы», а способность вернуть выразительную форму; поведение сильно зависит от промпта и политики отказов.
Carlini et al.; Gu et al.	Diffusion models	Generate-and-filter, image similarity, теоретический анализ условий memorization	Мemorization существует и у генераторов изображений; малые и плохо подготовленные датасеты, а также некоторые схемы conditioning повышают риск.
Sakarvadia et al.	Mitigation pipelines	Сравнение dedup, fine-tuning и unlearning	Единственной «кнопки» нет: меры на данных, на модели и на выдаче решают разные части проблемы и требуют повторной проверки после внедрения.

Самый важный ранний результат для текста — работа Extracting Training Data from Large Language Models. В ней на GPT-2 удалось извлечь множество дословных последовательностей из трейна, включая редкие строки и персональные данные. Более поздняя работа Scalable Extraction of Training Data from (Production) Language Models показала, что вопрос не ограничивается открытыми чекпойнтами: авторы сообщают об извлекаемости данных также из semi-open и closed моделей, а для ChatGPT в этой конкретной атаке успешность выросла многократно после специального prompting. В сумме это даёт важный практический тезис: chat-обвязка и alignment делают утечку менее тривиальной, но не обязательно убирают сам memorized content.

Вторая устойчивая линия — роль дубликатов. Deduplicating Training Data Makes Language Models Better и Deduplicating Training Data Mitigates Privacy Risks in Language Models независимо приходят к одному выводу: web-scale корпуса полны повторов, а повторяемость делает конкретные фрагменты намного более «вытаскиваемыми». Quantifying Memorization Across Neural Language Models дополняет картину: memorization растёт с масштабом модели, числом повторений примера и длиной подсказки. Для практиков это, пожалуй, самый прикладной результат из всего массива литературы: если вы не контролируете дубликаты и near-duplicates в трейне, вы заранее повышаете риск regurgitation.

Третья линия — почему simple refusal и exact-match фильтр не решают проблему целиком. Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy показывает, что защита, которая идеально режет точное совпадение, всё ещё может пропускать утечки через слегка изменённые запросы. Do Language Models Plagiarize? в свою очередь показывает, что beyond-verbatim поведение тоже важно: модель может не копировать строку символ в символ, но всё равно отдавать слишком близкий по структуре или формулировкам результат. Для копирайта это не автоматическое доказательство нарушения, но для red-team и policy это повод смотреть шире exact match.

Четвёртая линия уже прямо привязана к copyrighted content. Copyright Violations and Large Language Models рассматривает книги и задачи по программированию как тест на возможное перераспределение защищённых материалов, а LLMs and Memorization: On Quality and Specificity of Copyright Compliance оценивает instruction-tuned модели в более реалистичном пользовательском сценарии и фиксирует сильный разброс между моделями по числу потенциально проблемных воспроизведений, качеству отказов и доле ложных срабатываний. С инженерной точки зрения это важный нюанс: «хорошая защита» — это не просто больше отказов, а достаточно специфичные отказы, которые режут защищённые продолжения, не ломая обычные ответы на публичный и добросовестный контент.

Пятая линия переносит разговор в изображения. Extracting Training Data from Diffusion Models показала, что state-of-the-art text-to-image модели могут воспроизводить отдельные тренировочные изображения, включая фотографии людей и товарные знаки. On Memorization in Diffusion Models добавляет, что memorization у diffusion не случайная аномалия: его можно теоретически ожидать, а эмпирически риск зависит от размера и структуры датасета, настройки модели и conditioning. Иначе говоря, для визуальных систем вопрос копирайта и memorization устроен не принципиально мягче, чем для LLM.

Интерпретация: что это значит для практики

Если собрать вместе эти линии работ, получается довольно приземлённая картина. Memorization — это не миф и не универсальное свойство «любой модели всегда всё копирует». Это извлекаемое поведение, которое зависит от данных, масштаба, интерфейса и сценария атаки.

Наш комментарий

• Главная единица контроля — не сама модель, а пайплайн. До тренировки нужны license-aware сбор данных, exact и near dedup, очистка PII и отсечение очевидно проблемных источников. После тренировки нужны red-team проверки на реальных корпусах вашего домена.
• Не путайте общие знания с защищённой формой. Для продуктовой оценки полезно разделять запросы на фактические, трансформационные и continuation-like. Последняя группа обычно наиболее чувствительна к memorization.
• Не полагайтесь только на serving-time фильтры. Работы Ippolito et al. и Nasr et al. показывают, что фильтр, построенный вокруг очевидных exact matches, даёт лишь частичную защиту.
• Dedup — это не «оптимизация nice to have», а базовая мера снижения риска. Этот вывод поддерживают и работы о качестве корпусов, и работы о privacy/memorization.
• Unlearning выглядит перспективно, но на конец 2024 года это ещё не универсальное решение. По обзору Sakarvadia et al., методы удаления memorized content различаются по цене, точности и побочным потерям качества; выбирать их надо после измерения, а не как замену хорошей подготовки данных.

Ограничения и критика

• Нет единого определения memorization. Одни работы измеряют exact reproduction, другие — extractability, третьи — near-copying или plagiarism-like поведение. Сопоставлять результаты напрямую не всегда корректно.
• Техническая утечка не равна юридическому нарушению. Копирайт зависит от юрисдикции, типа произведения, длины и характера фрагмента, а также от контекста использования. Этот обзор не является юридической консультацией.
• Многие эксперименты опираются на доступ к трейну или на proxy-корпуса. Это хорошо для измеримости, но не всегда переносится один к одному на закрытые production-системы.
• Результаты чувствительны к prompting и decoding. То, что почти не проявляется в обычном чате, может проявиться в continuation-like запросе, при другой температуре или под adversarial prompting.
• Исторический срез ограничен концом 2024 года. Это важно: более поздние модели, политики фильтрации и судебные решения могут менять практические выводы, но здесь мы сознательно не смешиваем их с базовой исследовательской картиной 2020–2024.

Вывод

К концу 2024 года литература даёт довольно ясный ответ на вопрос из заголовка. Модель «выучивает наизусть» не весь интернет и не произвольные книги как обычную базу данных, но отдельные фрагменты текста и изображения действительно могут оказаться в весах настолько устойчиво, что их можно восстановить при подходящем запросе.

Для команд, которые строят продукты поверх генеративных моделей, отсюда следует простой принцип: оценивать надо не абстрактную «склонность модели к копированию», а воспроизводимость защищённой формы в вашем конкретном сценарии. Лучше всего работают не одиночные фильтры, а сочетание data curation, тестов на memorization, специфичных отказов и процедуры дообучения или unlearning, если проблема уже обнаружена.

Источники

• Extracting Training Data from Large Language Models
• Deduplicating Training Data Makes Language Models Better
• Quantifying Memorization Across Neural Language Models
• Deduplicating Training Data Mitigates Privacy Risks in Language Models
• Do Language Models Plagiarize?
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy
• Scalable Extraction of Training Data from (Production) Language Models
• Copyright Violations and Large Language Models
• Extracting Training Data from Diffusion Models
• On Memorization in Diffusion Models
• LLMs and Memorization: On Quality and Specificity of Copyright Compliance
• Mitigating Memorization In Language Models

FAQ

Означает ли memorization, что LLM хранит документы как база данных?

Нет. Веса модели не равны поисковому индексу. Но исследования показывают, что отдельные редкие или многократно повторённые последовательности могут быть закодированы так, что их удаётся восстановить при правильном запросе.

Достаточно ли deduplication в корпусе?

Нет, но это одна из самых сильных базовых мер. Работы Lee et al. и Kandpal et al. показывают, что дубликаты заметно усиливают regurgitation, однако они не единственная причина memorization.

Решают ли проблему refusal и output-фильтры?

Частично. Они уменьшают риск в обычном пользовательском сценарии, но не дают гарантии против специально подобранных continuation-like или adversarial prompts.

Можно ли по одному ответу доказать, что конкретная книга была в трейне?

Обычно нет. Нужны повторяемость, сопоставление с возможными источниками и аккуратное исключение альтернативных объяснений, например общеизвестных цитат или данных из retrieval-слоя.

Читайте также

• «Physics of Language Models»: сколько знаний помещается в параметрах LLM
• LiveBench: что реально измеряет бенчмарк, который «нельзя выучить»
• Many-shot jailbreak: взлом через длинный контекст
• Circuit tracing: как Anthropic пытается проследить «мысли» модели