Hugging Face предложила властям США строить механизмы подотчетности искусственного интеллекта вокруг документации и прозрачности. Компания направила свою позицию Национальному управлению по телекоммуникациям и информации США (NTIA) 12 июня 2023 года, а 20 июня опубликовала ее краткое изложение в корпоративном блоге.
Главный тезис Hugging Face касается доступа к информации о системе: оценивать следует сами модели, наборы данных и код, а также методы и результаты их проверки. Компания также призывает подключать к такой работе разработчиков, независимых исследователей, специалистов по общественным наукам и людей, на которых влияет применение алгоритмов.
Это предложение, а не принятое требование. NTIA собирала позиции участников рынка и гражданского общества для подготовки возможных мер в области аудита, оценки и сертификации ИИ. Ответ Hugging Face сам по себе не меняет обязанности разработчиков или владельцев моделей.
Ответ поступил в последний день консультации NTIA
NTIA входит в структуру Министерства торговли США. В апреле 2023 года ведомство открыло публичную консультацию о политике подотчетности ИИ. Как следует из официального запроса, опубликованного в Federal Register, регулятора интересовали механизмы, которые могли бы поддержать надежные аудиты и оценки систем искусственного интеллекта.
Срок приема комментариев завершался 12 июня. Hugging Face сообщила, что передала свой ответ именно в этот день. Разница между датой подачи документа и датой публикации записи в блоге важна для хронологии: позиция была направлена регулятору 12 июня, но стала публичной в изложении компании 20 июня.
Запрос NTIA не был проектом закона или готовым набором обязательных стандартов. Это процедура сбора информации: ведомство запрашивало мнения о том, какие системы следует проверять, кто должен проводить оценки, как сообщать об их результатах и какую роль государство может играть в формировании рынка аудита ИИ.
Как Hugging Face понимает прозрачность
В своей публикации Hugging Face связывает подотчетность с двумя уровнями прозрачности. Первый — сведения об артефактах машинного обучения: моделях, наборах данных и связанных с ними технических материалах. Второй — раскрытие результатов оценки, включая используемые методы и обнаруженные ограничения.
Такой подход должен позволить заинтересованным сторонам понять, для каких сценариев система создавалась, на каких материалах она обучалась и какие риски могли остаться за пределами тестирования. Одна итоговая оценка без описания методики, по логике компании, дает недостаточно информации для содержательной проверки.
Hugging Face формулирует свою миссию как «демократизацию хорошего машинного обучения». В ответе NTIA компания поясняет, что речь идет о возможности понимать, исследовать и критиковать ML-системы, а не только создавать и запускать их. Для этого она ссылается на образовательные материалы, практики документирования, правила сообщества, ответственную открытость и инструменты анализа с низким порогом входа.
При этом публикация не доказывает, что раскрытие документации само по себе предотвращает ущерб или заменяет независимый аудит. Это позиция участника рынка открытых моделей, заинтересованного в процедурах, совместимых с публичным доступом к исследовательским артефактам.
Зачем в ответе упомянуты BigScience и BigCode
В качестве практических примеров Hugging Face приводит многосторонние исследовательские инициативы BigScience и BigCode. Они нужны компании для иллюстрации модели управления, при которой решения о данных, документации и допустимом использовании обсуждаются более широким кругом участников.
BigScience объединил международное исследовательское сообщество вокруг разработки открытой многоязычной языковой модели. Hugging Face обращает внимание на материалы проекта, посвященные социальным последствиям разработки и участию специалистов разных дисциплин.
BigCode сосредоточен на моделях, работающих с программным кодом. В ответе NTIA компания выделяет открытую документацию управления проектом и участие экспертов с разным профессиональным опытом. Эти примеры показывают предпочитаемый Hugging Face процесс, но не являются независимым подтверждением эффективности предложенного режима подотчетности.
У проектов также иные условия, чем у закрытых коммерческих систем. Публичная исследовательская инициатива может раскрывать сведения, которые поставщик проприетарной модели считает коммерческой тайной или информацией, способной облегчить злоупотребления. В кратком сообщении Hugging Face нет готового универсального решения этого конфликта.
Что это означает для разработчиков и команд внедрения
Непосредственных юридических изменений после публикации ответа не произошло. Разработчикам не следует воспринимать рекомендации Hugging Face как новый обязательный стандарт США или решение NTIA.
Однако направление дискуссии дает практический ориентир командам, которые выбирают модель для продукта или готовят собственную систему к внешней проверке. Одного названия модели и результата на публичном бенчмарке может оказаться недостаточно. Для содержательной оценки потребуются сведения о происхождении данных, назначении системы, ограничениях тестов, известных сбоях и условиях использования.
Перед интеграцией модели команда может проверить:
- указаны ли назначение системы и сценарии, для которых она не тестировалась;
- описаны ли источники и ограничения обучающих или оценочных данных;
- раскрыта ли методика получения заявленных результатов;
- можно ли воспроизвести хотя бы часть тестов;
- обозначены ли ответственные за обновления, сообщения об ошибках и пересмотр документации;
- отделены ли заявления разработчика от результатов независимой проверки.
Этот список не является требованием NTIA. Он следует из предложенного Hugging Face акцента на документации и прозрачности и может использоваться как предварительный фильтр при выборе модели.
Что пока нельзя считать решенным
Ответ Hugging Face представляет интересы платформы, связанной с открытыми моделями и совместной разработкой. Поэтому его следует читать как вклад конкретного участника отрасли, а не как итоговый консенсус исследователей, регуляторов и поставщиков закрытых систем.
Из краткого изложения также не следует, какие именно проверки должны стать обязательными, кто будет оплачивать аудит и когда потребуется независимый эксперт. Не определены и последствия для разработчика, если документация окажется неполной либо заявленные свойства модели не подтвердятся.
Параллельный ориентир для организаций дает система управления рисками ИИ Национального института стандартов и технологий США. Она помогает структурировать выявление и управление рисками, но ее существование не означает, что предложения Hugging Face уже включены в федеральное регулирование.
При оценке дальнейших изменений стоит сверять три разные вещи: исходный комментарий Hugging Face, последующие документы NTIA и тексты реально принятых нормативных актов. Публикация компании подтверждает ее позицию в консультации, но не подтверждает, что американские ведомства примут предложенную модель прозрачности в полном объеме.