OMP-MoE сокращает число экспертов в MoE-моделях без дообучения
Авторы OMP-MoE предложили удалять избыточных экспертов из MoE-моделей с помощью Orthogonal Matching Pursuit. На Qwen3-30B-A3B метод, по их данным, сохранил...
Тема COMRAD404
Тема COMRAD404
Авторы OMP-MoE предложили удалять избыточных экспертов из MoE-моделей с помощью Orthogonal Matching Pursuit. На Qwen3-30B-A3B метод, по их данным, сохранил...