OpenAI 20 июня 2024 года опубликовала обновление о своей Cybersecurity Grant Program, посвящённой применению искусственного интеллекта в защитных задачах. Компания рассказала о поддерживаемых исследованиях и интеграции ИИ в рабочие процессы специалистов по безопасности.
Речь идёт не о запуске новой программы. Инициатива существует с июня 2023 года, а первоначально объявленный объём поддержки составляет $1 млн в виде финансирования и кредитов на использование API. Новая публикация показывает, как OpenAI развивает программу спустя год после её появления.
В сообщении от 20 июня нет подтверждения нового фонда на такую же сумму, отдельного дедлайна 1 августа 2024 года или гарантированного срока рассмотрения заявок. Эти параметры не следует считать действующими без проверки на официальной странице программы.
Программа началась в 2023 году
OpenAI представила Cybersecurity Grant Program 1 июня 2023 года. Компания заявила, что хочет поддерживать практические проекты, которые усиливают возможности защитников и помогают оценить эффективность ИИ в кибербезопасности.
Общий фонд программы был обозначен в размере $1 млн. В первоначальных условиях говорилось о прямом финансировании и кредитах API, распределяемых грантами по $10 000. Это размер отдельных траншей, а не гарантированная сумма для каждого заявителя.
На старте OpenAI описывала программу как инициативу с последовательным приёмом заявок. Однако публикация 2024 года сама по себе не подтверждает, что прежние правила, география участия и порядок выдачи средств остались без изменений. Командам следует ориентироваться на актуальную форму подачи, а не на пересказы условий 2023 года.
Программа отделена от OpenAI Bug Bounty Program. Bug bounty предусматривает вознаграждения за корректно переданные сведения об уязвимостях в продуктах и инфраструктуре компании. Кибергранты предназначены для разработки и исследования более широкого класса защитных инструментов.
Какие проекты соответствуют заявленному фокусу
При запуске программы OpenAI перечислила широкий набор возможных направлений. Среди них — автоматизация обработки инцидентов, анализ журналов и сетевой активности, поиск уязвимостей в исходном коде, помощь в цифровой криминалистике и подготовка разведывательных данных об угрозах.
В перечень также входили:
- выявление и предотвращение социальной инженерии;
- автоматическое исправление уязвимостей;
- оптимизация управления обновлениями;
- создание приманок и других средств обнаружения атак;
- помощь при реверс-инжиниринге вредоносного кода;
- анализ средств защиты, уже используемых организацией;
- инструменты для безопасной разработки программного обеспечения;
- сбор и разметка данных от специалистов по киберзащите.
Ключевое ограничение — защитный характер проекта. OpenAI прямо указывала, что не планирует поддерживать инициативы, направленные на причинение вреда или развитие наступательных кибервозможностей. При этом граница между защитным исследованием и инструментом двойного назначения может быть неочевидной. Например, система поиска уязвимостей способна помогать разработчикам, но её выводы могут использоваться и для подготовки атак.
Поэтому заявителям потребуется описать модель угроз, предполагаемых пользователей, контроль доступа и меры против злоупотреблений. Одного упоминания ИИ или анализа безопасности для соответствия программе недостаточно.
Что публикация не позволяет утверждать
Обновление OpenAI следует рассматривать как отчёт самой компании о поддерживаемой инициативе. Оно подтверждает интерес разработчика ChatGPT к защитным сценариям применения моделей, но не является независимой оценкой эффективности профинансированных решений.
Без опубликованных сравнительных тестов нельзя заключить, что система на базе большой языковой модели точнее традиционных средств анализа или действительно сокращает время реагирования на инциденты. Для такой оценки нужны измеримые показатели: доля ложных срабатываний, полнота обнаружения, время обработки, стоимость одного расследования и результаты проверки специалистами.
Объявленный фонд в $1 млн относится к программе в целом. Из доступных условий не следует, что OpenAI ежегодно выделяет такую сумму или готова финансировать крупные внедрения. Также нельзя автоматически предполагать, что участники получают денежный грант: поддержка может включать кредиты API.
Официальные материалы не дают оснований утверждать, что любой проект обязан использовать конкретную модель — например, GPT-4 Turbo, Whisper или DALL·E 3. Актуальные технические требования необходимо проверять непосредственно при подаче заявки.
Условия владения кодом, исследовательскими результатами и другими объектами интеллектуальной собственности также следует читать в документах для заявителей. Отсутствие требования о передаче исключительных прав нельзя предполагать без изучения соглашения по конкретному гранту.
Практические ограничения ИИ в киберзащите
Для разработчиков ценность программы заключается в возможности проверить узкий защитный сценарий без самостоятельной оплаты всего объёма API. Но грантовые кредиты не устраняют эксплуатационные риски.
Перед интеграцией внешней модели команде потребуется определить, какие данные можно отправлять поставщику. Журналы безопасности могут содержать персональные сведения, токены доступа, внутренние адреса, фрагменты исходного кода и другие конфиденциальные данные. Их необходимо фильтровать до передачи модели и обрабатывать с учётом требований организации и применимого законодательства.
Отдельная проблема — недостоверные ответы. Языковая модель может предложить ошибочную классификацию инцидента, пропустить опасный сигнал или выдать несуществующую команду. Автоматическое выполнение таких рекомендаций без проверки создаёт дополнительный канал риска.
Для систем, работающих с письмами, логами и внешними документами, нужно учитывать атаки через инструкции, внедрённые в анализируемые данные. Модель не должна воспринимать текст из потенциально враждебного источника как доверенную команду. Полезной отправной точкой для проектирования контроля рисков может служить AI Risk Management Framework Национального института стандартов и технологий США, хотя соответствие этой рамке само по себе не доказывает безопасность продукта.
Есть и экономический вопрос. После завершения гранта команда продолжит оплачивать API самостоятельно. Поэтому прототип следует тестировать с учётом полной стоимости обработки, ограничений скорости, задержки ответа и возможного изменения тарифов.
Что проверить перед подачей заявки
Разработчикам и исследовательским группам стоит начать с проверки текущего статуса приёма заявок. Публикация от 20 июня 2024 года не должна восприниматься как бессрочная гарантия доступности программы на прежних условиях.
В описании проекта полезно зафиксировать:
Конкретную защитную задачу и пользователей инструмента.
Базовый процесс, с которым будет сравниваться решение на базе ИИ.
3. Метрики качества, включая ошибки первого и второго рода.
4. Категории данных, передаваемых модели, и способ их очистки.
5. Необходимость проверки результатов человеком.
6. План работы после исчерпания гранта или кредитов API.
7. Ограничения, препятствующие применению разработки в атакующих целях.
Командам из стран, где доступ к сервисам OpenAI ограничен, необходимо отдельно проверить условия предоставления API, возможность заключения соглашения и допустимые способы оплаты. Не стоит подавать заявку, рассчитывая обойти региональные ограничения.
Главный практический сигнал программы — интерес OpenAI к ИИ-инструментам, которые помогают защитникам выполнять измеримые задачи. Но публикация компании не заменяет независимое тестирование: до внедрения разработчикам следует проверить качество решения на собственных данных, рассчитать стоимость эксплуатации и исключить автоматическое выполнение опасных рекомендаций модели.
