На arxiv опубликована работа DS-Lighting, в которой авторы из Гонконгского университета науки и технологий (HKUST) предлагают унифицированный инструментарий для создания явных обвязок (harness) LLM-агентов, автоматизирующих Data Science. Код проекта доступен на GitHub.
Проблема и решение
Современные агенты для Data Science часто используют неявные, плохо документированные обвязки. Это затрудняет воспроизведение результатов, сравнение разных агентов и атрибуцию ошибок — непонятно, виновата модель, среда выполнения или логика агента. DS-Lighting делает обвязку явной и модульной.
Архитектура DS-Lighting
Инструментарий декомпозирует обвязку на четыре переиспользуемых слоя:
Слой данных (Data) — описывает входные датасеты, их схему и метаданные.
Слой рабочего процесса (Workflow) — определяет последовательность шагов, от загрузки данных до построения модели.
Слой выполнения (Execution) — управляет состоянием выполнения, изоляцией (песочницей) и артефактами.
Слой оценки (Evaluation) — предоставляет метрики и обратную связь для оценки результатов.
Агенты представляются в виде исполняемых операторных программ, поддерживающих как заранее заданные пайплайны, так и адаптивный поиск.
Интеграция с бенчмарками
Авторы интегрировали несколько открытых бенчмарков Data Science в формат, совместимый с MLE-Bench. Это позволяет проводить контролируемые сравнения в едином интерфейсе задач, с песочницей и единым протоколом метрик.
Результаты экспериментов
Эксперименты, проведённые на нескольких агентах, обвязках, моделях и абляциях, показывают, что явный дизайн обвязки улучшает:
Воспроизводимость — результаты можно повторить в той же среде.
Сравнимость — разные агенты тестируются на одинаковых задачах.
Надёжность — снижается количество системных ошибок, не связанных с моделью.
Практические ограничения
На данный момент DS-Lighting — это исследовательский прототип. Инструментарий требует настройки под конкретные задачи и среды. Авторы не приводят данных о производительности на продакшн-нагрузках. Интеграция с коммерческими API и облачными платформами пока не документирована.
Значение для разработчиков
Для инженеров, строящих агентов Data Science, DS-Lighting предлагает готовую схему для построения воспроизводимых и сравниваемых обвязок. Это особенно актуально для команд, которые хотят проводить A/B-тестирование агентов или публиковать результаты с открытым кодом.
Источники
Оригинальная статья на arXiv: 2608.28590
Репозиторий на GitHub: github.com/usail-hkust/dslighting