Чат-бот оценил субъективное когнитивное снижение с точностью 0,742

Препринт на arXiv оценил разговорный ИИ для анализа субъективного когнитивного снижения: лучшая текстовая конфигурация получила accuracy 0,742 на тестовой выборке из 31 участника.

Чат-бот оценил субъективное когнитивное снижение с точностью 0,742. Тематическая карточка Comrad404.

В препринте, опубликованном на arXiv 19 октября 2026 года, исследователи оценили, можно ли анализировать ответы пожилых участников в разговорном интервью для выявления сообщаемого ими субъективного когнитивного снижения. Лучшая текстовая конфигурация показала accuracy 0,742 на тестовой выборке из 31 участника. Результат относится к исследованию классификации ответов, а не к готовому медицинскому скринингу.

В препринте на arXiv описана система Intelligent Cognitive Assistant, задающая открытые вопросы и анализирующая ответы. Авторы рассматривают языковые, смысловые и автобиографические признаки в этих ответах как возможные сигналы, связанные с субъективной оценкой участниками изменений когнитивных функций.

Лучшая текстовая конфигурация набрала 0,742 точности

Среди текстовых методов лучший результат на отложенной тестовой выборке показала конфигурация Gemini 3.1 Flash Lite с одним примером на класс и агрегированным анализом ответов. Она получила accuracy 0,742, balanced accuracy 0,739 и macro-F1 0,728. Accuracy — это доля правильных классификаций среди 31 тестового случая; balanced accuracy усредняет полноту распознавания классов, а macro-F1 — значения F1 по классам.

Среди текстовых подходов без LLM сильнейшим авторы называют замороженные эмбеддинги клинического трансформера со случайным лесом; дообученные трансформеры, по их оценке, ограниченно обобщались. Модели на структурированных опросниках, когнитивных заданиях и показателях личности показали более высокую наблюдаемую точность классификации, чем модели на текстах интервью.

Что именно классифицировала модель

Целевой показатель отражал субъективное когнитивное снижение, о котором сообщали сами участники. Это не подтверждённый диагноз: модель сопоставляла ответы с сообщаемым состоянием, а не заменяла нейропсихологическое обследование.

Почему результат пока не подтверждает клиническую пригодность

В тестовую выборку вошёл 31 человек, а исследователи оценивали несколько конфигураций. Поэтому авторы трактуют результаты описательно, а не как окончательный рейтинг моделей. Они указывают, что для оценки применения в клинической практике нужны более крупные и клинически разнообразные выборки, а также клинически валидированные исходы.

Таким образом, препринт описывает исследовательский сигнал в ответах интервью, но его показатели сами по себе не подтверждают готовность чат-бота к самостоятельному скринингу, постановке диагноза или принятию медицинских решений.