20 августа 2019 года OpenAI объявила о выпуске GPT-2 с 774 млн параметров. Это был очередной этап поэтапного раскрытия модели: вариант на 124 млн параметров компания выпустила в феврале, а версию на 355 млн — в мае. В сообщении OpenAI подвела итоги шести месяцев работы с партнёрами и исследовательским сообществом над возможными рисками и пользой от распространения модели.
Одновременно компания опубликовала открытое соглашение, призванное упростить обмен моделями между организациями, и технический отчёт о координации публикации с внешними исследователями. Таким образом, обновление касалось и доступности новой версии GPT-2, и подхода OpenAI к обсуждению публикации потенциально чувствительных систем.
Три версии GPT-2 за полгода
Последовательность релизов началась в феврале 2019 года с модели на 124 млн параметров. В мае OpenAI представила вариант на 355 млн, а в августе — версию на 774 млн. В первоначальном сообщении о GPT-2 компания описывала модель как систему для генерации текста и объясняла свой подход к её публикации; августовское обновление стало продолжением этого обсуждения.
Число параметров показывает размер модели, но не является самостоятельной оценкой её качества или безопасности. Из анонса нельзя заключить, насколько версия на 774 млн лучше справляется с конкретной задачей, чем варианты меньшего размера. Для такого сравнения нужны тесты на одинаковых данных и по подходящим критериям.
Что OpenAI сообщила о поэтапном выпуске
Компания связала последовательные релизы с изучением того, как GPT-2 может быть использована во вред и какую пользу может принести её распространение. OpenAI сообщила, что работала над этими вопросами вместе с партнёрами и участниками сообщества ИИ.
Это описание позиции самой компании, а не независимое заключение о безопасности модели. В кратком анонсе не приведены результаты всех проверок, критерии принятия решения или оценка возможных рисков для каждого сценария применения. Поэтому по нему нельзя установить, что риски были устранены или что любой способ использования GPT-2 безопасен.
Для разработчиков новость важна как пример конкретной последовательности публикаций: сначала меньшая версия, затем более крупные варианты. Но это не универсальная рекомендация по выпуску моделей. Решение о доступе зависит от возможностей системы, предполагаемых сценариев использования и мер, которыми разработчики могут ограничить нежелательные последствия.
Соглашение для обмена моделями и технический отчёт
Вместе с GPT-2 OpenAI опубликовала открытое юридическое соглашение, задуманное для упрощения партнёрств по обмену моделями между организациями. Это отдельный документ, а не часть самой языковой модели. Анонс не подтверждает, что соглашение приняли конкретные организации или что оно стало отраслевым стандартом.
Перед использованием такого документа организациям следует изучить его полный текст и проверить, подходит ли он для конкретного сотрудничества. Сам факт публикации открытого соглашения не заменяет оценки юридических и технических условий проекта.
Технический отчёт посвящён опыту OpenAI по координации с более широким исследовательским сообществом вокруг норм публикации. Его стоит рассматривать как изложение подхода компании и её опыта, а не как независимую оценку всей отрасли. В кратком описании релиза не говорится, что исследователи достигли единого согласия по правилам раскрытия подобных систем.
Что проверить перед применением
Практическая отправная точка — сверить параметры нужной версии и условия её использования с первичными материалами OpenAI. Затем модель следует оценить на собственных задачах: сравнить варианты на одинаковых примерах, зафиксировать качество ответов и отдельно проверить нежелательные результаты. Одного числа параметров недостаточно, чтобы выбрать модель для продукта.
Анонс от 20 августа 2019 года подтверждает выпуск версии GPT-2 с 774 млн параметров и публикацию двух сопутствующих материалов. Он описывает причины поэтапного подхода со слов OpenAI, но не даёт независимого сравнения моделей и не устанавливает их безопасность для произвольного применения.
Материалы OpenAI:
https://openai.com/index/gpt-2-6-month-follow-up
https://openai.com/index/better-language-models/
https://openai.com/index/gpt-2-1-5b-release/
