DeepSeek V4: разбор архитектуры MoE-смешивания с градиентным балансом экспертов
DeepSeek представил V4 — 671B-параметрическую модель со 160 экспертами, градиентным балансировщиком загрузки и мультитокеновым prediction head. Разбираем, что изменилось в архитектуре, как работает новый auxiliary-loss-free механизм и почему это важно для тех, кто запускает...
Открыть материал →