Определение
Anisotropic Trust Region Warping (ATR warping) — способ адаптировать Prior-Data Fitted Network (PFN) к задаче, чья длина масштаба не совпадает с prior, на котором сеть была метаобучена. PFN выполняет байесовский вывод одним прямым проходом и не переобучает гиперпараметры, как Gaussian Process (GP), но за это платит фиксированным prior. Источник: arXiv:2610.37737.
Механизм
Сначала оцениваются длины масштаба по каждому измерению через kernel target alignment. Затем входное пространство аффинно масштабируется так, чтобы задача попала в диапазон lengthscale, ожидаемый PFN. Trust region вокруг опорной точки определяет, какие наблюдения сохраняются. Стоимость вывода остаётся O(d·N²), потому что сеть не переобучается.
Пример
В статье функции берутся из ядра Matérn-3/2 с unit amplitude, а lengthscale меняется в диапазоне [0,021; 2,0]. При 20·d наблюдениях предсказательное лог-правдоподобие PFN всё сильнее отстаёт от переобученного GP, когда lengthscale растёт выше моды prior PFN. ATR warping улучшает оптимизационную производительность PFN на обоих крайних значениях этого диапазона.
Отличие от переобучения GP
GP с ARD переобучает гиперпараметры по marginal likelihood на каждом шаге и может подстроиться под более длинный lengthscale. PFN этого не делает: его prior зафиксирован при метаобучении. ATR warping не расширяет prior PFN, а деформирует входное пространство, чтобы mismatched-функция выглядела для сети более привычной.
Когда помогает и где даёт сбой
Метод полезен, когда objective имеет lengthscale выше моды prior PFN и PFN теряет точность относительно GP. Ограничения: результаты получены авторами на функциях из Matérn-3/2; независимых тестов в полученных данных нет. В высоких размерностях плотность выборки падает, поэтому boundary, где PFN и GP равны по качеству, сдвигается к большим lengthscales. Реализация авторов доступна по адресу GitHub.
