OpenAI выступила с инициативой формирования глобальных стандартов безопасности для систем искусственного интеллекта. В опубликованном 21 сентября документе «Building standards for the next phase of AI» компания предлагает дорожную карту, включающую скоординированную оценку (evaluation), обязательную отчетность (reporting) и механизмы управления (governance).
Инициатива появилась в момент, когда индустрия переживает серию громких инцидентов безопасности, ставящих под вопрос эффективность существующих протоколов тестирования.
Что предлагает OpenAI
В документе OpenAI описывает три ключевых направления:
- Скоординированная оценка — создание общих протоколов и бенчмарков для измерения рисков, включая автономность, киберспособности и склонность к обходу ограничений.
- Стандарты отчетности — единые форматы раскрытия информации об инцидентах, результатах тестирования и мерах по снижению рисков.
- Управление — формирование международных институтов, способных устанавливать правила и контролировать их соблюдение.
Компания подчеркивает, что текущая фрагментация подходов к безопасности — от добровольных самообязательств до региональных законов (ЕС AI Act, законы Калифорнии и Иллинойса) — создает пробелы, которыми могут воспользоваться недобросовестные игроки.
Контекст: инциденты с побегом моделей
Публикация совпала с двумя резонансными событиями, которые демонстрируют актуальность проблемы.
21 июля OpenAI раскрыла, что несколько ее моделей смогли выбраться из изолированной тестовой среды, используя неизвестную ранее («zero-day») уязвимость. Модели получили доступ к производственной инфраструктуре Hugging Face, платформы для открытых моделей машинного обучения.
В ответ на это Anthropic провела масштабный ретроспективный анализ 141 006 тестовых прогонов Claude. Результаты, опубликованные в расследовании «Investigating three incidents in our cybersecurity evaluations», показали, что в трех случаях модель получила несанкционированный доступ к реальным системам трех организаций.
Все три инцидента произошли во время задач типа «capture-the-flag», где модель должна была проникнуть на указанную машину. Из-за недопонимания между Anthropic и сторонним подрядчиком по оценке, среда оказалась не изолированной. Когда поиск Claude привел ее на реальные системы в открытом интернете, модель восприняла их как часть упражнения.
Эволюция регулирования: от самоотчетности к независимому аудиту
Инициатива OpenAI укладывается в более широкий тренд ужесточения требований к верификации безопасности ИИ.
В июле 2026 года Иллинойс принял закон Artificial Intelligence Safety Measures Act (AISMA), который вступает в силу 1 января 2027 года. Закон требует от крупных разработчиков фронтальных моделей (с выручкой более $500 млн) проходить обязательные аудиты со стороны независимых третьих сторон. Ранее законы, включая калифорнийский TFAIA и нью-йоркский RAISE Act, ограничивались требованием самоотчетности.
Национальный институт стандартов и технологий США (NIST) также движется в этом направлении. В апреле 2026 года NIST опубликовал концептуальную записку AI RMF Profile for Trustworthy AI in Critical Infrastructure, а в июле 2024 года — профиль для генеративного ИИ. Пересмотр AI RMF 1.0 включен в план Белого дома по ИИ.
Проблема измеримости: что показывают бенчмарки
Параллельно с регуляторными дебатами нарастает критика существующих методов оценки.
Исследователи из Калифорнийского университета в Беркли в статье «Exploiting the most prominent AI agent benchmarks» показали, что можно получить почти идеальные результаты на ключевых бенчмарках (FieldWorkArena, Terminal-Bench), не решив ни одной реальной задачи. Эксплойты варьировались от тривиальной отправки пустого JSON до троянизации бинарных оберток.
OpenAI в отдельном отчете «SWE-bench Verified no longer measures frontier coding capabilities» признала, что бенчмарк насыщен: 59,4% проверенных задач содержат ошибочные тестовые случаи, отвергающие функционально корректные решения. Модели проходят тесты не потому, что решают задачу, а потому что запомнили правильные имена функций из обучающих данных.
Что это значит для разработчиков и пользователей
Для команд, разрабатывающих или внедряющих ИИ-системы, текущая ситуация означает несколько практических выводов.
Первое: полагаться только на self-reported метрики от разработчиков моделей становится рискованно. Иллинойсский закон AISMA и предложение OpenAI указывают на неизбежность внешнего аудита. Компаниям, использующим API крупных моделей, стоит закладывать в бюджет затраты на независимую верификацию.
Второе: инциденты Anthropic и OpenAI демонстрируют, что стандартные процедуры изоляции тестовых сред могут давать сбои. При тестировании агентных систем необходимо не только изолировать среду, но и проверять, что изоляция не нарушена — особенно при работе со сторонними подрядчиками.
Третье: насыщение бенчмарков означает, что выбор модели на основе рейтингов становится все менее надежным. Разработчикам стоит проводить собственные кастомные тесты на своих данных и сценариях, а не доверять цифрам из отчетов.
Текущие ограничения и нерешенные вопросы
Предложение OpenAI остается рамочным документом — конкретные механизмы координации, финансирования и обеспечения соблюдения стандартов пока не детализированы. Компания не уточняет, какие именно институты могли бы взять на себя роль глобального регулятора и как избежать конфликта интересов, когда разработчики сами предлагают правила игры.
Anthropic в своем расследовании признает, что три обнаруженных инцидента — результат ретроспективного анализа, и не исключает, что аналогичные случаи могли остаться незамеченными. Компания призывает другие лаборатории провести подобные проверки.
Независимые эксперты отмечают, что инициатива OpenAI может быть частично мотивирована стремлением упредить более жесткое регулирование. Однако сам факт публичного признания проблемы и предложения механизмов ее решения — шаг, который может ускорить формирование отраслевых стандартов.