Google Research представила TimesFM-3 — третье поколение фундаментальной модели для прогнозирования временных рядов. Главное новшество: модель изначально обучалась для многовариантного (multivariate) прогнозирования, то есть способна одновременно учитывать несколько взаимосвязанных временных рядов и внешние ковариаты (например, данные о погоде или плановых промо-акциях) без необходимости тонкой настройки под конкретную задачу.
TimesFM-3 насчитывает 330 миллионов параметров и предобучена на корпусе данных, включающем как реальные, так и синтетические временные ряды общим объемом более 1 триллиона временных точек. Это делает её одной из крупнейших моделей в своем классе.
Архитектура и ключевые улучшения
В основе TimesFM-3 лежит архитектура decoder-only transformer, знакомая по предыдущим версиям. Данные группируются в патчи по 32 временных шага. Однако ключевое архитектурное изменение — двумерное внимание (2D attention). Модель обрабатывает временные ряды как двумерную сетку, где одно измерение — время, а другое — различные ряды. Внимание переключается между этими измерениями на нескольких слоях, что позволяет модели улавливать как временные паттерны, так и перекрестные зависимости между рядами.
Второе важное нововведение — стратегия Contiguous Patch Masking. В отличие от предыдущих версий, которые генерировали прогноз по одному патчу, TimesFM-3 создает весь горизонт прогнозирования за один прямой проход. Модель добавляет маскированные патчи-заполнители для будущего горизонта, а затем через механизм внимания заполняет их все одновременно. Это снижает задержки и накопление ошибок, характерные для итеративных методов.
Третье — поддержка различных типов ковариат. Модель различает:
– Target series (целевые ряды) — то, что нужно спрогнозировать.
– Past covariates (прошлые ковариаты) — известные данные за прошлый период.
– Past-future covariates (прошло-будущие ковариаты) — данные, известные как на прошлом, так и на будущем горизонте (например, календарь праздников или расписание акций).
Для past-future covariates применяется стратегия “lookahead”: каждый патч конкатенируется с будущими патчами, что позволяет модели “заглядывать вперед” на известные сигналы.
Ключевые факты
| Параметр | Значение |
|---|---|
| Размер модели | 330 млн параметров |
| Объем обучающих данных | > 1 трлн временных точек |
| Режим прогнозирования | Zero-shot, без тонкой настройки |
| Вывод | 9 квантилей (от 10-го до 90-го перцентиля) |
| Типы ковариат | Target, past covariates, past-future covariates |
Пример: прогноз продаж мороженого с учетом промо-акций
В качестве иллюстрации возможностей модели авторы приводят пример прогнозирования продаж мороженого для розничной сети. Стандартная унивариантная модель (TimesFM-2.5) анализирует только историю продаж и проецирует недельный паттерн в будущее, не зная о запланированных промо-акциях. TimesFM-3 в многовариантном режиме, получая на вход расписание акций как past-future covariate, обучается связи между промо и ростом продаж на исторических данных. Результат: прогноз, предсказывающий рост продаж примерно на 20% в дни акций.
Бенчмарки и позиционирование
Google Research оценила TimesFM-3 на трех общедоступных бенчмарках: Gift-Eval, FEV-Bench и Time. На всех трех тестах модель показала наилучший средний ранг как по точечным метрикам точности, так и по вероятностным метрикам качества прогноза.
Сравнение проводилось с другими современными фундаментальными моделями, включая Chronos-2 и семейство Toto 2.0, а также с предыдущей версией TimesFM-2.5. Даже в унивариантном режиме (без учета ковариат и перекрестных связей) TimesFM-3 соответствует или превосходит конкурентов. В полном многовариантном режиме разрыв становится более значительным.
Что это значит для разработчиков и аналитиков
TimesFM-3 предлагает готовое решение для задач, где прогноз зависит от множества факторов: от розничной торговли и финансов до мониторинга инфраструктуры и естественных наук. Возможность zero-shot прогнозирования с учетом внешних сигналов без необходимости сбора размеченных данных для тонкой настройки может существенно сократить время внедрения. Модель доступна для использования через Google AI Studio и другие каналы распространения, что позволяет быстро протестировать её на собственных данных.
Источник: Google Research Blog — “TimesFM-3: A zero-shot foundation model for multivariate forecasting” (https://research.google/blog/timesfm-3-a-zero-shot-foundation-model-for-multivariate-forecasting/)