Исследователи представили SSU-LSF — метод машинного «разучивания» для Mamba-подобных моделей прогнозирования состояния поверхности Земли. Работа опубликована на arXiv под номером 2610.02248. Авторы рассматривают ситуацию, когда модель продолжает учитывать событие, уже исчезнувшее из реального мира: резкий рост орошения, изменение режима работы плотины или перекалибровку датчика.
Проблема особенно заметна в системах, которые прогнозируют NDVI, температуру поверхности (LST) и фенологию сельскохозяйственных культур. В отличие от обычного ошибочного наблюдения, такой фактор может закрепиться в матрицах переходов модели и влиять на прогнозы спустя длительное время.
Что предлагает SSU-LSF
Метод адаптирован к структурированным моделям пространства состояний семейства Mamba. Сначала авторы используют функции влияния EKFac, чтобы оценить, какие элементы состояния и временные участки связаны с конфаундингом — скрытым фактором, искажающим прогноз. Для матриц состояния применяется градиент, выведенный через матричную экспоненту.
Затем алгоритм локализует временной след события, обозначенный авторами как Φ. Для этого используется порог по принципу «локтя», дополненный взвешиванием по спектральному радиусу. После локализации модель обновляется методом проецируемого градиентного подъёма без вычисления полной матрицы Гессе. Оптимизация ограничена доверительной областью по KL-дивергенции и дополнена пространственной регуляризацией полной вариации (TV), чтобы изменения не превращались в шумовые артефакты.
Результаты экспериментов
В аннотации сообщается о проверке на трёх разнородных наборах данных и сравнении с 11 базовыми методами. Заявленная степень снижения влияния конфаундинга составила:
- 0,773 для CropHarvest;
- 0,821 для набора NDVI-LST;
- 0,859 для ERA5.
Худшее ухудшение RMSE на «чистом» домене, согласно работе, составило 4,2% на ERA5. Один запрос на unlearning сходился за 3–5 эпох, а GPU-затраты были в 8,4 раза ниже, чем при полном переобучении модели.
Это результаты, заявленные авторами препринта, а не независимая верификация. Из доступного описания также нельзя сделать вывод, что метод уже применялся в производственных системах или прошёл внешнее сравнение на большем числе платформ.
Практическое значение и ограничения
SSU-LSF может быть полезен там, где полное переобучение геопространственной модели дорого или невозможно из-за постоянного поступления новых данных. Потенциальный сценарий — исправление последствий смены сенсора, операционного режима инфраструктуры или временной аномалии без обнуления всей накопленной модели.
Ключевое ограничение — необходимость корректно определить сам конфаундинг и его временную область. Если событие описано неполно, алгоритм может удалить не только нежелательный сигнал, но и часть физически значимой зависимости. Кроме того, опубликованное описание говорит о специализированной работе с Mamba-подобными SSM, поэтому перенос метода на трансформеры или другие архитектуры не следует считать подтверждённым.
Код проекта указан авторами на GitHub: Anidipta/SSU-LSF. Для практического использования потребуется отдельно проверить воспроизводимость экспериментов, требования к данным и поведение метода на конкретном пайплайне прогнозирования.
