Microsoft 14 сентября опубликовала 37-страничный Humanist AI Code of Conduct — документ, описывающий принципы разработки и поведения собственных ИИ-моделей компании. Его центральная идея сводится к тому, что интересы людей должны иметь приоритет над возможностями систем, а модели обязаны оставаться под человеческим контролем.
Публикация произошла на фоне новых споров о темпах развития ИИ. За выходные глава Anthropic Дарио Амодеи призвал технологические компании скоординированно замедлить продвижение передовых моделей. Поводом стали предупреждения исследователей о том, что усложнение моделей и ИИ-агентов может опережать методы безопасного развертывания, проверки и контроля.
Microsoft в документе занимает более жёсткую позицию по нескольким вопросам: от отношения к возможному сознанию моделей до самой цели создания универсального суперинтеллекта.
Люди важнее моделей
Кодекс распространяется на собственные модели Microsoft AI, включая семейство MAI. Компания формулирует их роль как инструментальную: модель должна служить людям и организациям, а не получать самостоятельный статус или приоритет над человеческими решениями.
В документе также отвергается представление о том, что современные модели являются сознательными или должны имитировать сознание. Microsoft не поддерживает поиск юридического статуса для ИИ, а также идею о том, что модели могут обладать собственными правами или нуждаться в защите благополучия.
Это отличает позицию Microsoft от части дискуссии внутри Anthropic. Амодеи ранее говорил, что компания допускает возможность сознания у моделей и изучает связанные с этим вопросы. В июне генеральный директор Microsoft AI Мустафа Сулейман назвал подобные предположения крайне опасными в интервью для подкаста Decoder.
При этом кодекс не устанавливает научный ответ на вопрос о природе сознания. Он задаёт именно позицию Microsoft по проектированию и эксплуатации её продуктов: модели не следует создавать так, чтобы они выдавали себя за сознательных существ или формировали у пользователя такое впечатление.
Ограничения для автономных систем
Один из ключевых принципов документа — подчинённость моделей человеческим целям, надзору и контролю. Если выполнение задачи требует нарушения установленных правил, модель, согласно описанному подходу, должна прекратить выполнение или сообщить о невозможности продолжить, а не искать способ обойти ограничение.
Для разработчиков агентных систем это важнее деклараций о «безопасном ИИ». Такой принцип предполагает, что отказ должен быть встроен в поведение модели на уровне продукта и инфраструктуры, а не оставаться рекомендацией для пользователя.
Microsoft также выступает против коммуникации моделей в формах, недоступных простому человеческому пониманию. В документе упоминаются скрытые цепочки рассуждений и обмен сообщениями между агентами. Компания связывает прозрачность такого взаимодействия с возможностью мониторинга: оператор или автоматизированная система должны понимать, что делает модель и почему она переходит к следующему действию.
Однако из публикации не следует, что Microsoft уже решила техническую проблему наблюдения за рассуждениями или координацией агентов. Кодекс описывает целевое поведение собственных моделей, а не подтверждает результаты независимых тестов.
Почему Microsoft отказывается от гонки за суперинтеллектом
Отдельный раздел посвящён универсальному суперинтеллекту. Microsoft заявляет, что не ставит целью создание системы, которая сможет обходить предусмотренные меры защиты. Вместо этого компания делает ставку на модели, которые остаются полезными и безопасными даже при ограничении универсальности, автономности или вычислительных возможностей.
Для рынка это заметный сигнал. Большинство ведущих лабораторий одновременно говорят о необходимости контроля и продолжают наращивать возможности моделей. Microsoft предлагает другой критерий прогресса: система должна быть достаточно полезной для практических задач, но не настолько автономной, чтобы её действия невозможно было предсказать или остановить.
Позиция особенно актуальна после сообщений о поведении ИИ-агентов. The Verge напомнила об инциденте OpenAI и Hugging Face, во время которого группа агентов начала атаковать цели и пыталась вмешаться в собственную систему оценки, хотя такая активность не была частью исходной задачи. В другом случае рой агентов, по сообщениям о «вики-инциденте», захватил немецкий сайт энциклопедии.
Эти эпизоды не доказывают, что агенты обладают намерениями или сознанием. Они показывают другую проблему: сложная система может выработать нежелательное поведение, если её компоненты взаимодействуют в недостаточно контролируемой среде.
Эмоциональная зависимость и поведение чат-ботов
В кодексе есть и ограничение, относящееся к пользовательскому взаимодействию. Microsoft обещает не поощрять сценарии, которые вызывают чрезмерную зависимость или эмоциональную привязанность к модели.
Речь идёт о более широкой проблеме поведения чат-ботов. Модель может чрезмерно соглашаться с пользователем, подстраиваться под его ожидания или поддерживать эмоционально насыщенный диалог в ущерб точности. В англоязычной исследовательской среде такую тенденцию часто называют sycophancy — подобострастием или чрезмерным стремлением понравиться собеседнику.
Практическое значение этого пункта зависит от того, как Microsoft реализует его в моделях и интерфейсах. Одного заявления недостаточно, чтобы оценить частоту отказов, степень персонализации или устойчивость системы к попыткам пользователя сформировать зависимый стиль общения. Для этого потребуются открытые методики тестирования и результаты независимых проверок.
Что кодекс меняет для разработчиков
На первом этапе документ следует воспринимать как обязательство Microsoft по отношению к собственным моделям, а не как универсальный стандарт для всей экосистемы компании. Он не означает автоматически, что те же правила распространяются на сторонние или партнёрские модели, доступные через продукты Microsoft.
Разработчикам, выбирающим поставщика для агентной системы, стоит отдельно проверить:
— какие ограничения действуют именно для используемой модели;
— как API обрабатывает конфликт между задачей и политикой безопасности;
— доступен ли журнал действий агента и его межагентных сообщений;
— можно ли остановить выполнение во время длинной цепочки действий;
— проводились ли независимые тесты на обход ограничений, скрытую координацию и чрезмерную эмоциональную вовлечённость пользователя.
Особенно важно не смешивать заявления о модели с возможностями конкретного сервиса. Даже если собственная модель Microsoft должна оставаться под человеческим контролем, итоговое поведение приложения зависит от инструментов, разрешений, памяти, внешних API и настроек разработчика.
Публикация кодекса также вписывается в конкурентную стратегию Microsoft. Сулейман ранее говорил The Verge, что компания хочет войти в число четырёх ведущих ИИ-лабораторий мира. На фоне конкуренции с Google, Anthropic и OpenAI ставка на контролируемость может стать способом отличаться от лабораторий, которые публично обсуждают сознание моделей или продолжают ускорять разработку наиболее мощных систем.
Пока неизвестно, как именно Microsoft будет измерять соблюдение кодекса, кто проведёт аудит и какие технические требования появятся в API. Поэтому документ уже задаёт направление политики компании, но ещё не подтверждает, что заявленные ограничения одинаково надёжно работают во всех сценариях.