6 ноября 2026 года OpenAI представила BioBasicsBench — бенчмарк из 100 заданий для оценки того, как ИИ-агенты работают с сырыми данными рутинных экспериментов в мокрой лаборатории. Для читателя это означает более предметную проверку научных помощников: модель должна не только назвать результат, но и заметить ошибку, оценить контроль и признать, когда данных недостаточно. Источник: OpenAI.
OpenAI представила BioBasicsBench для оценки ИИ в мокрой лаборатории
BioBasicsBench разработан совместно с Ligo, биотехнологической компанией, специализирующейся на дизайне ферментов. Бенчмарк предназначен для оценки повседневного анализа, который выполняют специалисты мокрых лабораторий, а не для проверки автономного проведения экспериментов.
Что измеряют 100 заданий
Задания распределены по пяти областям: белковые методы, визуализация и цитометрия, количественные измерения и анализы, методы работы с нуклеиновыми кислотами и молекулярное клонирование. В качестве входных данных используются изображения гелей и блотов, фотографии чашек с колониями, микроскопические данные, файлы секвенирования, выгрузки приборов и видео лабораторных процедур.
Диапазон задач включает простые измерения, например определение молекулярной массы образца ДНК на геле, и более подробный анализ экспериментов. Важная особенность — работа с неоднозначными исходными данными, где неверная интерпретация изображения или проблемы с контролями могут привести к ошибочному выводу.
Как оценивают ответы моделей
Ответы получают баллы по отдельным критериям. Поэтому оценка различает полностью корректный вывод и частично правильный разбор: отдельно могут учитываться измерение, обоснование, обнаружение ошибки и распознавание недостаточности доказательств.
Задания создали на данных собственных экспериментов учёных. По данным OpenAI, каждое из них прошло проверку специалистом Ligo, который не был его автором, внешнюю проверку учёным с докторской степенью, работающим в мокрой лаборатории, и финальную внутреннюю проверку.
Результаты GPT-6 Astra и GPT-5.6 Sol
По данным OpenAI, в режиме рассуждения «xhigh» GPT-6 Astra получила в среднем 66,7% доступных баллов, а GPT-5.6 Sol — 43,8%. Эти значения показывают среднюю долю набранных баллов по критериям заданий, а не процент задач, решённых полностью.
OpenAI сообщает об оценке семи моделей в 37 сочетаниях модели и режима рассуждения. На каждое из 100 заданий приходилось по пять попыток; всего заявлено 18 500 результатов. Это описание методики показывает масштаб опубликованной оценки, но не превращает её в независимое исследование: все приведённые результаты представлены самой OpenAI.
Можно ли считать это доказательством надёжности в лаборатории
Нет. BioBasicsBench показывает, насколько модели справились с подготовленной подборкой задач на интерпретацию данных, поиск ошибок и работу с экспериментальным контекстом. Он не доказывает, что модель надёжно управляет лабораторным процессом, выбирает следующий эксперимент или заменяет специалиста.
В публикации OpenAI отмечена необходимость дальнейших улучшений в интерпретации изображений, проверке контролей и учёте контекста эксперимента. Независимая перепроверка результатов и практическая оценка моделей в реальных лабораториях в доступном источнике не представлены. Поэтому цифры полезны как ориентир для сравнения систем на одном наборе задач, но для научной работы требуют дополнительных проверок человеком и на данных конкретной лаборатории.
