Модель может хорошо предсказывать прочность стали на случайно отложенных записях и заметно хуже — на сплавах или измерениях, которых не было при обучении. Поэтому важно не только то, насколько близок прогноз к измерению, но и то, что именно модель должна предсказать: ещё одну партию знакомой марки, новое семейство сплавов или результат из другого источника данных.
В препринте SteelAgent: LLM-Orchestrated, Physics-Informed Steel Property Prediction with Audited Generalization and Calibrated Uncertainty, опубликованном на arXiv 3 ноября 2026 года, авторы рассматривают, как выбор тестовой выборки меняет выводы о переносе модели. Их результаты по стали — вторичный анализ таблиц оценки SteelBench, а не независимая проверка редакции. Для инженера вывод не в том, что одна схема разбиения всегда правильна, а в том, что тест модели нужно соотносить с будущей задачей.
Как разбиение данных меняет вопрос об точности
При случайном разбиении записи из одного набора данных распределяются между обучающей и тестовой частями. Такой тест оценивает работу на отложенных примерах из знакомого массива. При этом в обучении могут оставаться записи о тех же семействах сталей, которые встретятся в тесте. Результат сам по себе поэтому не показывает, как модель поведёт себя на незнакомом семействе.
Для проверки переноса между группами можно целиком удержать часть семейств сталей: их записи не участвуют в обучении и затем служат тестом. Если удержать целый источник измерений, проверяется перенос на данные, собранные источником, не представленным при обучении. Эти схемы отвечают на разные практические вопросы.
В анализе таблиц SteelBench авторы сообщают, что pooled out-of-fold R² градиентного бустинга составил 0,859 при случайном разбиении и 0,113 при удержании семейств сталей. R² характеризует соответствие модели вариации целевых значений в конкретной оценке; это не процент верных прогнозов. Разница показывает, что высокий результат на случайном разбиении не гарантировал столь же высокого результата на новых семействах. Это результаты разных тестов, а не противоречие.
Что означает результат для инженера
Представим две задачи. В первой нужно оценить ещё одну партию знакомой марки, похожую на партии, уже представленные в обучающих данных. Во второй — предварительно оценить марку, которой в обучении не было. Случайное разбиение ближе к проверке на новых записях знакомого массива, а удержание семейств — к проверке переноса на незнакомые группы. Ни один тест автоматически не доказывает надёжность прогноза для конкретной производственной партии.
Для номинальных 90%-х интервалов предсказания авторы приводят эмпирическое покрытие 91,0% при случайном разбиении и 37,6% при удержании источников измерений. Покрытие — доля наблюдаемых значений, оказавшихся внутри интервалов. Если заявленный 90%-й интервал в конкретной проверке покрывает существенно меньшую долю наблюдений, считать его надёжной оценкой неопределённости в таких условиях нельзя.
Для первичного отбора вариантов прогноз может служить ориентиром, но не заменяет квалификационное испытание. Если цена ошибки высока, а новый материал или источник измерений отличается от обучающих данных, слабое покрытие означает, что интервал может недооценивать риск. Калибровку интервалов нужно проверять на данных, похожих на предполагаемое применение.
Почему физические признаки не дают универсальной прибавки
SteelAgent объединяет физический слой, который рассчитывает металлургические дескрипторы по составу и термообработке, и слой предсказания. Такие признаки могут помочь модели учитывать особенности задачи, но их полезность зависит от данных и схемы проверки. Само наличие физических переменных не доказывает, что модель лучше перенесётся на любой новый сплав.
Авторы сообщают о разнонаправленных результатах в двух анализах: добавление физически обусловленных признаков увеличило R² градиентного бустинга на 0,2534 при удержании 17 семейств и снизило его на 0,358 в отдельном лабораторном анализе четырёх марок. Это результаты разных выборок и условий, а не общая оценка пользы признаков. Для решения о применении важнее проверить их на группе, к которой предстоит перенос.
Границы вывода и следующий шаг
Работа рассматривает прочность при растяжении и анализирует таблицы SteelBench. Авторы также описывают отдельный воспроизводимый синтетический эксперимент с удержанием групп для ridge-регрессии. Синтетический результат нельзя считать дополнительной проверкой на реальных сталях. В доступных материалах независимой проверки результатов нет, поэтому численные значения следует рассматривать как результаты, сообщённые авторами препринта, а не как подтверждение надёжности для всех марок и производственных условий.
Перед применением модели нужно определить, какой перенос предстоит: на новые записи, семейство сплавов или источник измерений. Затем следует подобрать тест, в котором соответствующая группа целиком отложена, и отдельно оценить ошибку и покрытие интервалов. Если будущая задача выходит за границы проверенной группы, прогноз не гарантирует результат и может потребоваться дополнительное испытание. Исследование показывает, насколько вывод об оценке модели зависит от того, что именно удерживают при разбиении данных.
Страница препринта сообщает, что более короткая версия работы опубликована в Demonstrations Track IJCAI-26. Это не меняет границ приведённых сравнений: их смысл определяется использованными таблицами и схемами оценки.
