DeepSeek V4: разбор архитектуры MoE-смешивания с градиентным балансом экспертов
DeepSeek представил V4 — 671B-параметрическую модель со 160 экспертами, градиентным балансировщиком загрузки и мультитокеновым prediction head. Разбираем, что изменилось в...