OpenAI выпустила открытые веса GPT-OSS: 120B и 20B модели под лицензией Apache 2.0
OpenAI представила gpt-oss-120b и gpt-oss-20b — первые с 2019 года модели с открытыми весами. Обе работают на архитектуре mixture-of-experts, доступны...
Тема COMRAD404
Mixture of Experts
3 материалов
DeepSeek V4: разбор архитектуры MoE-смешивания с градиентным балансом экспертов
DeepSeek представил V4 — 671B-параметрическую модель со 160 экспертами, градиентным балансировщиком загрузки и мультитокеновым prediction head. Разбираем, что изменилось в...
Китайский DeepSeek-V3 догоняет GPT-4: разбор обновлённой модели и её возможностей
DeepSeek выпустила обновление V3 — модель показывает результаты, сопоставимые с GPT-4, при значительно меньших вычислительных затратах. Разбираем ключевые изменения, бенчмарки...