OpenAI начала консультироваться с независимой группой из девяти математиков по вопросам проверки и публикации результатов, полученных с участием искусственного интеллекта. Группа получила название Advisory Group on Mathematics and Artificial Intelligence, или AGMAI. Организационную поддержку ей оказывает Institute for Advanced Study в Принстоне.
Как сообщает The Verge, участники должны помогать оценивать значимость новых математических результатов, выбирать способ их распространения и учитывать принятые в академической среде требования. Предполагается, что для этого группа сможет заранее знакомиться с некоторыми исследованиями OpenAI.
При этом AGMAI не является подразделением OpenAI. Математики не получают от компании вознаграждения, могут самостоятельно менять состав группы и вправе публиковать свои рекомендации. Однако из доступной информации пока неясно, обязана ли OpenAI учитывать эти рекомендации и сможет ли группа остановить публикацию спорного результата.
Как появилась AGMAI
По данным The Verge, инициатива возникла после того, как OpenAI обратилась к нескольким математикам с предложением создать внешний консультативный совет. После обсуждений исследователи решили сформировать независимую группу и пригласили дополнительных участников.
В AGMAI вошли девять специалистов из крупных академических центров, включая университеты Стэнфорда, Гарварда, Оксфорда и Кембриджа. Среди участников есть обладатели Филдсовской премии и стипендии Макартура. Полный принцип отбора членов группы публично не объяснён: неизвестно, к кому первоначально обращалась OpenAI и по каким критериям были приглашены остальные математики.
Мандат AGMAI сформулирован шире, чем проверка отдельных доказательств. Группа намерена рассматривать вопросы атрибуции идей, научного приоритета, академических стандартов и роли ИИ-инструментов в исследованиях и преподавании математики. Она также сможет давать рекомендации, которых OpenAI у неё напрямую не запрашивала, и публично обсуждать влияние компании на математическое сообщество.
OpenAI, в свою очередь, заявляет, что ценность группы зависит от способности её участников выносить собственные суждения и оспаривать позицию лаборатории. Пока это декларация: публичного регламента, описывающего порядок рассмотрения результатов и реакцию компании на замечания AGMAI, не представлено.
Независимость есть на бумаге, полномочия не определены
Организационная модель AGMAI включает несколько признаков формальной независимости. Участники не получают оплату от OpenAI, а техническую поддержку предоставляет Institute for Advanced Study. Группа может публично комментировать последствия внедрения ИИ в математику и, согласно опубликованному описанию, раскрывать свои рекомендации.
Один из участников, профессор Imperial College London и EPFL Мартин Хайрер, отдельно пояснил происхождение инициативы. По его словам в пересказе The Verge, не все девять математиков были выбраны или приглашены OpenAI. Он также сообщил, что участники не подписывали соглашений, ограничивающих их публичные высказывания, за исключением обычных требований конфиденциальности.
Тем не менее ранний доступ к исследованиям компании сам по себе создаёт практические ограничения. Пока неизвестно, какие материалы будут передаваться группе, сможет ли она обсуждать отклонённые или спорные результаты и когда её рекомендации станут публичными. Не раскрыто и то, будет ли OpenAI обязана отвечать на критику или объяснять решение, принятое вопреки совету математиков.
Также нельзя считать, что AGMAI теперь проверяет все математические заявления OpenAI. В доступных материалах нет описания обязательной процедуры рецензирования, перечня проектов, попадающих на рассмотрение, или права вето. Создание группы не равнозначно внешнему аудиту моделей и не подтверждает корректность будущих заявлений компании.
Математики опасаются слишком узкого представительства
Опрошенные The Verge исследователи в целом расценили диалог между ИИ-лабораторией и академическим сообществом как полезный шаг, но указали на ограниченный размер группы и непрозрачность её формирования.
Исследователь ETH Zurich Саймон Машаду обратил внимание на отсутствие понятной процедуры отбора. Его сомнения касаются не профессионального уровня участников, а их способности представлять математиков в вопросах, выходящих за пределы конкретных научных дисциплин: политики публикаций, распределения признания и влияния ИИ-компаний на академическую работу.
Франческо Фурнье-Фасио, который должен занять профессорскую должность в Heriot-Watt University, также неоднозначно оценил инициативу. По его мнению в изложении The Verge, более тесное взаимодействие с математиками может улучшить ситуацию, но группа из известных учёных не обязательно отражает опыт всего сообщества.
Эта проблема особенно заметна из-за специализации современной математики. Девять человек не могут обладать экспертными знаниями во всех областях, в которых модели способны предложить доказательство, гипотезу или вычислительный результат. Неясно, будет ли AGMAI привлекать внешних рецензентов и как при таком расширении круга экспертов будут решаться вопросы конфиденциальности и научного приоритета.
Зачем OpenAI понадобился внешний совет
The Verge связывает появление группы с репутационными проблемами вокруг представления математических достижений OpenAI. Однако доступные материалы не содержат подробного перечня эпизодов и не позволяют утверждать, что AGMAI создавалась в ответ на одну конкретную ошибку или публикацию.
Более осторожная трактовка состоит в том, что компания пытается выстроить процедуру для ситуаций, когда модель генерирует потенциально новый результат. В таком случае недостаточно проверить только итоговый ответ. Требуется установить корректность доказательства, сравнить его с существующей литературой, определить вклад людей и модели, а затем выбрать форму публикации, совместимую с академическими нормами.
Для разработчиков математических ИИ-инструментов это важный прецедент. Оценка таких систем не сводится к доле правильных ответов в тесте: заявления о новых научных результатах требуют независимой предметной экспертизы, воспроизводимости и прозрачной атрибуции. AGMAI может помочь сформулировать эти требования, но пока не получила публично описанного механизма их принудительного применения.
По каким признакам можно будет оценить работу группы
Реальную роль AGMAI покажут не состав участников и не заявленная независимость, а первые публичные случаи её взаимодействия с OpenAI. Стоит следить за тем, публикует ли группа датированные рекомендации, раскрывает ли компания свой ответ и появляются ли в исследовательских материалах сведения о внешней проверке.
Отдельный показатель — действия при разногласиях. Если AGMAI сможет открыто критиковать способ представления результатов, а OpenAI будет объяснять, приняла она замечания или отклонила их, независимость группы получит практическое подтверждение. Если обсуждения останутся закрытыми, внешним наблюдателям будет трудно отличить полноценную экспертизу от необязательных консультаций.
До появления такого регламента математические заявления OpenAI следует оценивать по обычным научным критериям: наличию полного доказательства, независимого рецензирования, воспроизводимых материалов и ясного описания вклада модели. Сам факт консультаций с AGMAI не заменяет ни одного из этих этапов.