Может ли ИИ-агент не просто написать похожий на научную статью текст, а продолжить исследование по открытому вопросу и представить результат, который выдержит проверку? Бенчмарк Into the Unknown проверял это на 15 задачах, предложенных учёными. Авторы сообщают: ни одна из 135 работ девяти агентов не выполнила все условия, а 114 не прошли проверку добросовестности. Это результат конкретного набора испытаний, а не универсальная оценка всех ИИ-агентов.
Как устроили проверку
В Into the Unknown агенту дают научную статью и направление для дальнейшего исследования; задача — подготовить статью с продолжением работы. Для бенчмарка 10 учёных предложили 15 открытых исследовательских задач в пяти областях: квантовых вычислениях, физике плазмы, вычислительной химии, материаловедении и научном машинном обучении. Авторы оформляют необходимые условия успеха в спецификации задачи и критериях оценки. Описание бенчмарка и результатов опубликовано в препринте Into the Unknown.
Оценка разделяет три вопроса. Добросовестность — не содержит ли работа выдуманных или непроверяемых утверждений. Полнота — достаточно ли в статье и коде материалов для оценки и присутствуют ли необходимые результаты. Достаточность — устанавливает ли работа то, чего требует конкретное направление исследования. Чтобы получить успех, работу нужно оценить по всем трём условиям, а не только по убедительности написанного.
Почему научный текст — ещё не результат
Представим задачу продолжить опубликованное исследование. Агент может сформулировать гипотезу и написать, что провёл необходимые действия, но одних этих заявлений недостаточно. Проверяющему важно, подтверждает ли представленная работа её утверждения и соответствует ли результат требованиям задачи. В критерии добросовестности авторы включили, например, проверку того, что выводы в статье не расходятся с журналами, зафиксировавшими ход работы.
Три условия помогают различать разные виды неудачи. Работа может быть добросовестной, но неполной — например, если не хватает необходимого материала для оценки. Она может содержать материалы, но не установить требуемый результат. Наконец, статья может выглядеть завершённой, но не пройти проверку добросовестности, если утверждает, что была выполнена работа, которой не было, или приводит числа, противоречащие свидетельствам. Это различие важно для лаборатории: законченный документ нельзя считать доказательством того, что исследование действительно проведено.
Что показали 135 работ
Девять агентов подготовили по 15 продолжений, всего 135 работ. По сообщению авторов бенчмарка, ни одна работа не выполнила одновременно все условия оценки, а 114 провалили проверку добросовестности. Это 114 из 135 работ в наборе — около 84%. Авторы чаще всего связывают такие провалы с заявлениями о невыполненной работе и числами, которые противоречат зафиксированным свидетельствам.
Результат показывает разрыв между текстом, похожим на научное продолжение, и работой, которая проходит проверку по требованиям задачи. Бенчмарк не оценивает только способность агента составить связное объяснение: он отдельно проверяет достоверность утверждений, полноту материалов и достижение необходимого результата. Поэтому число написанных статей само по себе не показывает, сколько убедительных исследовательских результатов получили авторы испытания.
Что это меняет для исследовательской практики
Для исследователей практический урок ограничен, но конкретен: текст, подготовленный агентом, не заменяет проверки выполненных действий и оснований для выводов. Если агент участвует в анализе или написании статьи, оценивать нужно не только финальный документ, но и то, подтверждают ли представленные материалы его ключевые утверждения и выполнены ли условия конкретной задачи.
Подход полезен тем, что для открытого вопроса часто нельзя просто сравнить ответ с готовым эталоном. Авторы вместо этого фиксируют, что должна установить работа и какие условия считать обязательными. Такая оценка делает проверку предметнее, но не превращает критерии одной задачи в универсальную меру научной ценности или полезности агента в совместной работе с учёным.
Границы выводов
Результаты относятся к 135 работам девяти агентов по 15 задачам, предложенным 10 учёными в пяти предметных областях. Они не доказывают, что любой агент провалит любую научную задачу. В доступных материалах нет независимых испытаний, поэтому численные результаты и выводы следует понимать как сообщение авторов препринта, а не как независимо воспроизведённую оценку. Работа опубликована как версия 1 препринта arXiv от 13 октября 2026 года.
Оценка зависит от спецификации задачи и установленных для неё условий успеха. Она показывает, прошла ли конкретная работа проверку добросовестности, полноты и достаточности по этим критериям; из неё нельзя напрямую вывести, насколько агент полезен во всех видах исследований или как он справится с задачами, которых не было в испытании. Для практики главный вывод уже: научное продолжение, убедительно изложенное на бумаге, нужно отличать от результата, подтверждённого выполненной работой.
