В статье на arXiv версии от 19 октября 2026 года Лада Кудлачкова описывает систему, которая анализирует фотографию задания Shoebox Task, строит план действий и связывает его с роботом Nao. По описанию автора, робот может выполнить задание или подсказывать ученику следующий шаг и сигнализировать об ошибке. Статья Лады Кудлачковой на arXiv.
Как фотография превращается в план
Изображение можно получить камерой, подключённой к компьютеру, или загрузить с телефона через веб-интерфейс. Модель, обрабатывающая изображения и текст, формирует описание задачи в формате PDDL — языке представления задач планирования. Затем план действий строит планировщик Fast Downward. Автор описывает этот процесс в статье.
Как Nao показывает следующий шаг
В реализованном авторами роботизированном интерфейсе Nao может выполнять задания Shoebox Tasks самостоятельно или помогать ученику: предлагать следующий шаг, а при обнаружении ошибки показывать действие, подавать голосовой сигнал или использовать жест. После выполненного действия система получает новый снимок, обновляет описание состояния и план.
Границы описанного эксперимента
Работа посвящена Shoebox Tasks — заданиям, цель которых можно определить по визуальной структуре; автор связывает их с образовательной практикой для людей с расстройством аутистического спектра. Статья описывает метод и его реализацию, но не устанавливает, улучшает ли система результаты обучения и насколько она подходит разным ученикам или учреждениям. Это описание исследовательской системы, а не подтверждение доступности готового образовательного продукта.
