В эксперименте на FineWeb-Edu автор препринта сравнил двенадцать маломасштабных реализаций. Для трёх приведённых в аннотации баз TurboMamba показала более низкую среднюю тестовую NLL, более высокую пропускную способность обучения и меньшую задержку на одной заданной пакетной нагрузке. Эти результаты полезны для сравнения именно опубликованной конфигурации, но не устанавливают, какая архитектура лучше для любой модели или рабочей нагрузки.
Что именно сравнивали
В эксперимент вошли двенадцать реализаций с сопоставимым числом параметров и общими ограничениями бюджета обучения. Среди базовых вариантов — Transformer, Mamba-3, Jamba и Zamba. Сравниваемые версии Jamba и Zamba используют Mamba-3 вместо исходных модулей Mamba, поэтому их результаты нельзя трактовать как тест исходных архитектур без изменений.
Источник чисел и описания метода — препринт TurboMamba на arXiv. Все приведённые ниже показатели — результаты авторского эксперимента; независимых тестов в предоставленных источниках нет.
Как читать показатели
Средняя тестовая отрицательная логарифмическая правдоподобность (NLL) характеризует тестовую потерю: меньшее значение лучше по этому критерию. В аннотации приведены относительные снижения NLL TurboMamba по сравнению с тремя базами, а не абсолютные значения или разница в процентных пунктах.
Пропускная способность обучения дана как отношение показателя TurboMamba к показателю базовой модели. Задержку измеряли для пакета из 32 последовательностей: у каждой был промпт длиной 256 токенов и генерация 128 токенов. Сообщённое ускорение относится к этой пакетной нагрузке, а не автоматически к одиночному запросу или другим размерам пакета.
Как устроена TurboMamba
По описанию авторов, глобальная модель Mamba-3 обрабатывает завершённый блок токенов один раз. Небольшой Transformer использует глобальный контекст и уже доступные токены внутри блока для предсказания следующего токена. Локальный путь дополнен прямым доступом к последнему токену предыдущего блока, небольшой поправкой к оценкам токенов и обучаемым смешиванием с частотами недавно встречавшихся токенов.
Это описание показывает, из каких частей состоит предложенная архитектура, но само по себе не устанавливает, какая именно часть привела к разнице в результатах. Приведённые отношения сравнивают модели целиком и не позволяют приписать весь выигрыш одному компоненту.
Сравнение по одинаковым критериям
| Критерий | TurboMamba против Mamba-3 | TurboMamba против версии Jamba | TurboMamba против версии Zamba |
|---|---|---|---|
| Средняя тестовая NLL | На 9,4% ниже | На 7,3% ниже | На 18,3% ниже |
| Пропускная способность обучения | В 2,60 раза выше | В 2,81 раза выше | В 4,82 раза выше |
| Задержка пакетной генерации | Ускорение в 3,12 раза | Ускорение в 3,53 раза | Ускорение в 6,21 раза |
Проценты в первой строке — относительное снижение NLL относительно соответствующей базовой модели. Отношения пропускной способности и ускорения задержки также показывают сравнение с базой, а не абсолютные значения. По аннотации нельзя восстановить абсолютную NLL, время обучения или задержку в секундах. В ней также не приведены численные отношения для обычного Transformer, хотя он входит в число базовых вариантов эксперимента.
Кому подходят эти результаты и где их предел
Для читателя, сравнивающего именно результаты на FineWeb-Edu в описанном маломасштабном эксперименте, цифры дают конкретный аргумент в пользу TurboMamba против Mamba-3 и использованных авторами версий Jamba и Zamba: по трём опубликованным критериям она показала лучшие отношения. Это не полное ранжирование всех двенадцати моделей по каждой метрике: доступная аннотация сообщает подробные отношения только для трёх баз.
Если нужно выбрать архитектуру для конкретного оборудования, данных, размера модели или задержки одиночного запроса, этих отношений недостаточно. Для такого решения нужны сопоставимые измерения на целевой нагрузке: здесь не указаны абсолютные показатели, а эксперимент охватывает одну маломасштабную конфигурацию. Результаты не устанавливают превосходство на других наборах данных, масштабах или производственных сценариях и не дают сведений о цене либо доступности готовых продуктов.
