TransX объединяет архитектуру рекомендательной модели и инфраструктуру для её обучения и обслуживания. В техническом отчёте авторы приводят результаты производственных A/B-экспериментов, сравнения вычислений и данные о стоимости размещения. Эти показатели относятся к разным базам и условиям, поэтому не складываются в один общий рейтинг.
Что именно сравнивается
CTR и конверсию авторы TransX сравнивают с соответствующими производственными базовыми системами в отдельных A/B-экспериментах. HSTU-подобная производственная система фигурирует в сравнении вычислений на запрос при одинаковой общей стоимости обслуживания. Следовательно, результаты по вовлечённости нельзя автоматически считать прямым сравнением TransX с HSTU.
В таблице проценты CTR и конверсии — относительные изменения против соответствующих баз, а не процентные пункты. Значения пропускной способности и вычислений также привязаны к указанным условиям. Все результаты сообщил производитель TransX; независимого воспроизведения в имеющихся материалах нет. Технический отчёт TransX на arXiv.
| Критерий | TransX | HSTU-подобная производственная база |
|---|---|---|
| CTR | Основная модель: +6,02% относительно соответствующей производственной базы. Вариант поиска: +2,96% относительно соответствующей базы. | Отдельное численное значение в отчёте не приведено. |
| Конверсия | Основная модель: +4,45% относительно соответствующей производственной базы. Вариант ранжирования предпочтений: +1,33% относительно соответствующей базы. | Отдельное численное значение в отчёте не приведено. |
| FLOPs на запрос при одинаковой общей стоимости обслуживания | Примерно в 5 раз больше, чем у HSTU-подобной базы. | База сравнения; абсолютное значение не указано. |
| Запросы на один H200 при одинаковых FLOPs на запрос | Примерно в 4 раза больше запросов, чем у сравнительной базы. | Абсолютное значение в запросах в секунду не указано. |
| Стоимость при совпадающих трафике и SLO | Дезагрегированное размещение почти на 80% дешевле совместно размещённого варианта TransX. | Прямое сравнение стоимости с HSTU не приведено. |
Вовлечённость: результаты зависят от варианта
Авторы сообщают, что основная модель TransX в отдельных производственных A/B-экспериментах повысила CTR на 6,02% и конверсию на 4,45% относительно соответствующих базовых систем. Для дообученного варианта поиска указано улучшение CTR на 2,96%, а для варианта ранжирования предпочтений — улучшение конверсии на 1,33% против соответствующих баз.
Это результаты разных вариантов, а не единый показатель одной конфигурации. Поскольку в доступном описании не приведены абсолютные значения метрик и не утверждается, что все эти эксперименты использовали HSTU-подобную базу, цифры помогают оценить опубликованные результаты TransX, но не дают полного прямого рейтинга двух систем по вовлечённости.
Вычисления и пропускная способность
Для обслуживания отчёт задаёт две разные рамки сравнения. При одинаковом числе FLOPs на запрос TransX, по данным авторов, обеспечивает примерно в четыре раза большую пропускную способность на одном ускорителе H200. При одинаковой общей стоимости обслуживания система позволяет использовать примерно в пять раз больше FLOPs на запрос, чем HSTU-подобная производственная база.
Эти показатели отвечают на разные вопросы: первый сравнивает число запросов при одинаковой вычислительной нагрузке на запрос, второй — вычислительный бюджет на запрос при фиксированной стоимости. Отчёт не приводит абсолютную пропускную способность в запросах в секунду, поэтому кратное преимущество не позволяет рассчитать конкретную производительность для иной инфраструктуры.
Стоимость и архитектура
TransX разделяет кодирование последовательности, память поведения и слияние с учётом кандидата на независимо масштабируемые компоненты. Для обслуживания авторы описывают дезагрегацию и сообщают, что при совпадающих трафике и SLO она снижает общую стоимость TransX почти на 80% по сравнению с совместно размещённым вариантом той же системы.
Это не оценка экономии против HSTU. Для HSTU-подобной базы приведено отдельное сравнение: при той же общей стоимости TransX выполняет примерно в пять раз больше FLOPs на запрос. Поэтому почти 80% относится к выбору способа размещения TransX, а не к выбору между TransX и HSTU.
Кому подходит каждый вариант
TransX заслуживает оценки в сценарии, где важны увеличение вычислений на запрос при фиксированной общей стоимости или рост пропускной способности при одинаковых FLOPs на запрос. Заявленные улучшения CTR и конверсии могут быть ориентиром для отдельного испытания, но их следует сопоставлять с конкретной базовой системой и конфигурацией.
HSTU-подобная база остаётся точкой отсчёта для сравнения вычислительного бюджета и может быть предпочтительна, если решение зависит от уже известных показателей существующей производственной системы. В отчёте нет её абсолютных CTR, конверсии, цены или запросов в секунду, поэтому по этим критериям выбрать победителя нельзя. Итог зависит от сценария: для вовлечённости нужны сопоставимые A/B-условия, для вычислений — одинаковые бюджеты и FLOPs, а стоимость дезагрегации TransX не следует трактовать как прямую экономию относительно HSTU.
