FreeToken: новый движок для запуска 753B GLM-5.2 и Mixtur-моделей на локальных GPU
Исследователи из UC Berkeley и UT Austin представили FreeToken — открытый движок обслуживания MoE-моделей, который позволяет запускать тяжелые архитектуры вроде GLM-5.2 (753B) на одной рабочей видеокарте благодаря распределению памяти и вычислений между GPU и...
Открыть материал →