OpenAI совместно с Центром безопасности и новых технологий Джорджтаунского университета (CSET) и Stanford Internet Observatory опубликовала исследование о возможном использовании больших языковых моделей в кампаниях по дезинформации. Материал посвящён не отдельному инциденту, а прогнозированию сценариев, в которых такие системы могут изменить стоимость, скорость и масштаб информационных операций.
Исследование было опубликовано 11 января 2023 года. По данным OpenAI, оно стало результатом более чем года работы и обсуждений с участием специалистов по дезинформации, машинному обучению и государственной политике.
Исследование строилось вокруг сценариев злоупотребления
Работа началась с семинара в октябре 2021 года. В нём участвовали 30 исследователей дезинформации, экспертов по машинному обучению и аналитиков, занимающихся вопросами политики и безопасности. Участники обсуждали, каким образом развитие языковых моделей может повлиять на уже существующие методы производства и распространения вводящих в заблуждение сообщений.
Авторы рассматривали не только технические возможности моделей, но и организационную сторону кампаний. Для злоумышленников языковая модель может быть полезна как инструмент подготовки большого количества вариантов текста, адаптации сообщений под разные аудитории и ускорения рутинных операций. Однако сама по себе модель не запускает кампанию: для этого по-прежнему нужны цели, каналы распространения, координация и доступ к аудитории.
Такой подход отличает исследование от теста одной конкретной модели. Авторы пытались описать возможные изменения всей информационной среды, если генерация текста станет дешевле и доступнее.
Главный риск — снижение стоимости и рост масштаба
Согласно опубликованному OpenAI описанию, языковые модели не обязательно создают совершенно новые виды угроз. Их потенциальное влияние связано прежде всего с тем, что они могут снизить порог входа для операций, которые раньше требовали больше времени, денег или специалистов.
К числу возможных последствий авторы относят ускорение подготовки текстов и создание большого количества сообщений. Модели также способны помогать с адаптацией формулировок под разные группы читателей и языки. Это может увеличить объём контента, который необходимо проверять модераторам, журналистам, исследователям и платформам.
Для информационных операций важен не только сам текст, но и его правдоподобие, регулярность публикаций и соответствие интересам конкретной аудитории. Языковые модели потенциально могут поддерживать такие процессы, однако исследование не утверждает, что любой автоматически созданный текст будет убедительным или эффективным. Результат зависит от качества модели, доступа к данным, редакторской проверки и выбранных каналов распространения.
Именно поэтому авторы предлагают оценивать риск не по отдельному примеру сгенерированного текста, а по совокупности факторов: кто использует систему, какие задачи она выполняет, насколько легко масштабировать операцию и какие защитные механизмы доступны.
В отчёте предложена рамка для оценки мер защиты
Исследование посвящено не только возможным угрозам, но и способам снизить их последствия. Авторы рассматривают меры, которые могут применяться на разных этапах — от разработки модели до предоставления доступа пользователям и наблюдения за её использованием.
Для разработчиков это означает необходимость заранее проверять модели на нежелательные сценарии применения и учитывать возможное злоупотребление при выборе условий доступа. Отдельный вопрос — мониторинг: при работе через программный интерфейс поставщик может анализировать необычные шаблоны использования и реагировать на подозрительную активность, если это предусмотрено правилами сервиса и технической архитектурой.
Другой класс мер связан с обнаружением и атрибуцией контента. К нему относятся инструменты анализа текстов, исследование происхождения материалов и методы, позволяющие отличать автоматически созданные публикации от написанных человеком. В отчёте эти подходы рассматриваются как элементы более широкой системы, а не как универсальное решение.
У каждого метода есть ограничения. Детекторы могут ошибаться, маркировка может не сохраняться после редактирования текста, а ограничения доступа способны затронуть легитимных пользователей. Поэтому защиту нельзя сводить к одной функции или одному классификатору.
Что исследование не доказывает
Публикация имеет прогностический характер. Она описывает потенциальные сценарии развития угроз, а не подтверждает, что описанные кампании уже проводились с использованием конкретных языковых моделей. В предоставленном описании OpenAI нет данных о числе реальных операций, подтверждённом ущербе или измерении эффективности дезинформации, созданной моделью.
Это ограничение важно учитывать при интерпретации выводов. Возможность автоматически сгенерировать текст не равна способности провести успешную кампанию. На практике остаются проблемы с достоверностью, согласованностью сообщений, поиском аудитории и обходом платформенных ограничений.
Кроме того, исследование вышло в январе 2023 года, поэтому его сценарии нельзя без поправок переносить на современные модели и сервисы. После публикации изменились доступность генеративных инструментов, качество мультиязычной генерации и способы их интеграции в рабочие процессы. Актуальность отдельных прогнозов требует отдельной проверки, а не автоматического признания всех предположений подтверждёнными фактами.
Что проверить разработчикам и пользователям
Разработчикам AI-продуктов исследование даёт практическую точку для аудита: какие операции можно масштабировать с помощью модели, какие ограничения действуют для доступа к ней и как фиксируются подозрительные сценарии использования. Полезно отдельно проверить, можно ли с помощью одного API-ключа или учётной записи быстро создавать большие объёмы однотипных материалов.
Пользователям и редакциям стоит осторожнее относиться к публикациям, которые выглядят массовыми, но не имеют прозрачного происхождения. Наличие признаков автоматической генерации само по себе не доказывает дезинформацию, так же как человеческий автор не гарантирует достоверность. Проверять нужно первоисточник утверждения, дату публикации, независимые подтверждения и возможную связь между похожими сообщениями.
Исходный материал опубликован OpenAI: https://openai.com/index/forecasting-misuse. Для проверки контекста об участвовавших организациях доступны официальные сайты CSET Джорджтаунского университета — https://cset.georgetown.edu/ — и Stanford Internet Observatory — https://cyber.fsi.stanford.edu/io. Эти страницы подтверждают институциональный контекст, но не заменяют чтение самого отчёта и не превращают прогнозы исследования в доказательство уже произошедших кампаний.
