Компания Encord, специализирующаяся на инструментах для управления данными обучения ИИ, запустила пилотный проект по сбору обучающих примеров для роботов с использованием нейроинтерфейса. Вместе с немецким стартапом Zander Labs они тестируют измерение мозговой активности человека во время физических манипуляций — в качестве новой модальности данных, которая может улучшить качество обучения моделей физического ИИ.
О пилотном проекте рассказывает TechCrunch, посетивший склад Encord в Сан-Леандро, Калифорния. Операторы компании, которых здесь называют пилотами, выполняют повседневные задачи — например, собирают башню Дженга или переливают кофе из чайника в чашки — в нейрогарнитуре с камерой, отслеживающей направление взгляда. Гарнитура Zander Labs дополнительно фиксирует электрическую активность мозга, чтобы определять ментальные состояния: ошибку, намерение, удивление.
Ключевые факты
| Факт | Детали |
|---|---|
| Участники | Encord (США, data tooling), Zander Labs (Германия, нейроинтерфейсы) |
| Метод | Измерение мозговых волн оператора во время физических задач, egocentric video, аннотация действий |
| Цель | Создание размеченного набора данных для обучения роботов, преодоление дефицита физических обучающих примеров |
| Статус | Пилот; оценка улучшения производительности моделей перед масштабированием |
Проблема данных для физического ИИ
Как объясняет Vineeth Velmurugan, руководитель направления обучения роботов в Encord, главное ограничение для человекообразных и складских роботов сегодня — не архитектура моделей, а острая нехватка реальных физических данных. LLM строились на тексте всего интернета, но для обучения нейросетей физическим манипуляциям такого источника не существует. По оценке Velmurugan, для прорыва потребуется набор данных примерно в пять раз больше видеокорпуса YouTube — масштаб, который превращает генерацию данных в самостоятельный бизнес.
Encord, изначально основанная для помощи компаниям в аннотации данных машинного зрения, обнаружила, что клиенты — ведущие робототехнические фирмы (имена не раскрываются) — сами не могут найти достаточное количество тренировочных примеров для end-to-end обучения. «Данные просто не существуют», — констатирует Velmurugan. Компания решила не просто управлять данными, а производить их.
Как работают новые модальности данных
Помимо традиционной egocentric-видеосъёмки (камера на голове оператора), Encord экспериментирует с несколькими дополнительными источниками:
- Мозговые волны. По словам нейробиолога Zander Labs Lucas Gehrke, уровень мозговой активности в разные моменты задачи подсказывает разработчикам моделей, когда требуется применять наиболее ресурсоёмкие модели. Это позволяет точнее расставлять приоритеты обучения.
- Электромиография (EMG). Набор датчиков на предплечье улавливает электрические сигналы мышц. По этим сигналам можно восстановить трёхмерное положение кисти, даже если она не полностью видна в кадре.
- Разрежённое управление (leader-follower rigs). Оператор управляет одной рукой робота, а вторая копирует движения — так собираются данные для точных манипуляций: переливание жидкостей, укладка фишек, подключение кабелей.
- Плотная аннотация. Каждый видеоряд сопровождается текстовым описанием: «правая рука затягивает болт». По оценке Velmurugan, такая аннотация в 100 раз ценнее «мусорных эго-данных» для обучения конкретным задачам, хотя стоит в 20 раз дороже. Разница в экономике — ключевое ограничение подхода.
Экономика производства данных
Если для LLM данные были де-факто бесплатными (Scraping интернета), то для физического ИИ их приходится изготавливать. Каждый час работы оператора, аренда оборудования, аннотация — всё это стоит реальных денег. Velmurugan говорит, что, имея видимость многих программ в индустрии, Encord может отслеживать, какие техники набирают обороты быстрее, и предлагать их клиентам.
Помимо Сан-Леандро, компания собирает egocentric-данные на нескольких заводах по всему миру. В складских помещениях хранятся коробки с искусственными цветами, книгами, пластиковыми овощами и предметами для бытового обучения — стандартный набор для тренировки манипуляторов.
Что дальше
Пилот с Zander Labs пока находится на стадии оценки: Encord планирует построить начальный набор данных, размеченный мозговыми волнами, прогнать его через модели клиентов и проверить, улучшает ли он производительность. Только после этого компания решит, масштабировать ли технологию.
Пока же операторы вроде Andrew Ceja и Sofia Infante — бывшие сотрудники Scale AI — продолжают собирать данные: Ceja работал на мусороперерабатывающем заводе, до прихода в Encord. Каждый сеанс — это ещё один кирпичик в решении проблемы, которую Velmurugan называет «кровавым краем» физического ИИ.
Для читателей Comrad404, следящих за инструментарием ИИ, этот кейс важен не только как пример новой модальности данных, но и как иллюстрация сдвига в экономике: генерация обучающих примеров для роботов становится отдельным бизнесом, а сама задача сбора данных — одной из самых дорогих и сложных в отрасли.
Источник: TechCrunch — «Are brain waves the next unlock for physical AI?» (https://techcrunch.com/2026/07/26/are-brain-waves-the-next-unlock-for-physical-ai/)