OMP-MoE сокращает число экспертов в MoE-моделях без дообучения
Авторы OMP-MoE предложили удалять избыточных экспертов из MoE-моделей с помощью Orthogonal Matching Pursuit. На Qwen3-30B-A3B метод, по их данным, сохранил...
Тема COMRAD404
MoE
6 материалов
DeepSeek-V4: миллион токенов контекста, которые агент действительно может использовать
DeepSeek-V4 — это не просто очередная модель с большим окном контекста. Это первая архитектура, где миллион токенов перестаёт быть маркетинговой...
DeepSeek V4: разбор архитектуры MoE-смешивания с градиентным балансом экспертов
DeepSeek представил V4 — 671B-параметрическую модель со 160 экспертами, градиентным балансировщиком загрузки и мультитокеновым prediction head. Разбираем, что изменилось в...
Обновление Meta Llama 4: что изменилось в Scout и Maverick
Meta выпустила первые модели семейства Llama 4 — Scout и Maverick. Разбираемся, чем они отличаются от предшественников, какие архитектурные решения...
FreeToken: новый движок для запуска 753B GLM-5.2 и Mixtur-моделей на локальных GPU
Исследователи из UC Berkeley и UT Austin представили FreeToken — открытый движок обслуживания MoE-моделей, который позволяет запускать тяжелые архитектуры вроде...
Модель GLM-5.2 (744B MoE) запущена на потребительском оборудовании с 25 ГБ ОЗУ
Пользователь Reddit сообщил об успешном запуске крупной языковой модели GLM-5.2 с 744 миллиардами параметров на стандартном ПК, что открывает новые...