Препринт BuggyMLE от 18 ноября 2026 года описывает бенчмарк для проверки работы с ошибками в многофайловых ML-репозиториях. Авторы создали более 6 600 вариантов проектов с внедрёнными ошибками на основе 222 исходных репозиториев. Для читателя главное следствие: результаты на простых исправлениях здесь отделены от результатов на задачах высокой сложности.
Ошибки добавляют в целые ML-репозитории
В работе BuggyMLE: Scaling Machine Learning Engineering Difficulty with Bug Injection авторы описывают систему, которая внедряет контролируемые изменения в рабочие репозитории. В итоге получено более 6 600 вариантов и почти 260 тысяч строк внедрённого кода на основе 222 исходных проектов.
Для оценки сложности авторы предложили Code Complexity Index (CCI), составленный из десяти структурных характеристик, включая масштаб репозитория, глубину зависимостей и размер патча. По их данным, CCI предсказывал средние доли решённых задач на восьми публичных бенчмарках с R²=0,951; среди наиболее важных предикторов авторы называют размер патча и сложность кода.
На самом сложном уровне решаемость заметно ниже
В BuggyMLEBench-Lite, варианте MLE-Bench Lite с градацией сложности на уровне репозитория, авторы оценили 14 моделей. Максимальная доля решённых задач снизилась с 95% на самом простом уровне до 9% на самом сложном. Поэтому результат на лёгких исправлениях сам по себе не показывает, насколько модель справляется с задачей, затрагивающей структуру проекта.
Такое разделение помогает увидеть разницу между уровнями сложности в рамках одного бенчмарка. Однако эти цифры описывают авторскую оценку моделей на BuggyMLEBench-Lite, а не измеренную эффективность в реальных командах.
Авторы сообщают о переносе на два других бенчмарка
Для обучения авторы собрали программу из трёх уровней сложности на данных ещё 200 ML-репозиториев и дообучили Qwen3.5-9B. По их результатам, resolve rate модели на SWE-bench Lite вырос с 24% до 33%, а pass@1 на LiveCodeBench v6 — с 69% до 71%. Авторы трактуют это как перенос навыков за пределы ML-задач; прирост на SWE-bench Lite составил девять процентных пунктов, на LiveCodeBench v6 — два.
Результаты и сравнения в препринте принадлежат его авторам; независимых проверок в доступных материалах нет. Эти данные показывают результаты конкретных экспериментов и не устанавливают, как система будет работать на произвольных репозиториях или в практических проектах.







