Языковые модели распознают открытые научные вопросы, но не всегда сообщают об этом

В исследовании на 40 научных вопросах GPT-6-Astra верно распознала 98% как не изученные, но ясно сообщила об этом лишь в 8% обычных ответов.

Языковые модели распознают открытые научные вопросы, но не всегда сообщают об этом. Тематическая карточка Comrad404.

В препринте от 17 ноября 2026 года Гай Зискинд исследовал, как языковые модели оценивают новизну научных вопросов и описывают связанные публикации. Для читателя практический вывод: обычный связный ответ сам по себе не показывает, изучен ли вопрос и насколько цитируемые статьи действительно на него отвечают.

На 40 вопросах из недавно принятых работ GPT-6-Astra верно определила 98% вопросов как ещё не изученные, но ясно сообщила об открытом статусе только в 8% обычных ответов. Это разные показатели: первый относится к отдельному суждению модели, второй — к тому, как она формулирует ответ. Таковы результаты препринта «Language Models Make New Research Sound Old».

Почему верная оценка не гарантирует ясного ответа

По описанию Зискинда, модель могла распознать вопрос как открытый при отдельной оценке, но в обычном развёрнутом ответе затемнить этот вывод и создать впечатление, будто связанные исследования уже частично решили проблему. Значит, оценка новизны и её объяснение пользователю — не одно и то же.

Автор также сообщает, что модели преувеличивали, насколько цитируемые статьи подтверждают сказанное о них. В шести протестированных передовых системах разрыв между распознаванием открытого вопроса и ясным сообщением об этом составил от 30 до 90 процентных пунктов; для GPT-6-Astra он достиг 90 пунктов.

Что изменила проверка цитируемых работ

В описанном автором подходе отдельно оценивался статус вопроса и проверялись полные тексты цитируемых публикаций, после чего из этих проверок составлялся ответ. Для GPT-6-Astra доля ответов, ясно сообщавших об открытом статусе, выросла с 8% до 95%; автор отмечает улучшение во всех шести системах.

Для исследователя это разделяет задачу на две проверки: остаётся ли вопрос открытым и подтверждают ли приведённые статьи утверждения о нём. Чтение полного текста помогает сопоставить результаты публикации с конкретным вопросом, а не полагаться только на пересказ модели.

Что показывают результаты — и чего они не устанавливают

В дополнительном сравнении 22 моделей, которым дали одинаковые статьи, автор обнаружил связь: более сильные модели точнее оценивали вопросы, но одновременно имели больший разрыв между оценкой и ясным изложением. Это результат исследования, а не независимой проверки редакции.

Основные числа получены на 40 вопросах из недавно принятых работ Conference on Language Modeling; автор указывает, что эти работы появились после обучения моделей. Выводы относятся к описанным в препринте наборам вопросов, системам и условиям эксперимента и не гарантируют такого же поведения для других дисциплин и исследований. Поэтому один обычный ответ модели недостаточен, чтобы заключить, изучен ли научный вопрос.