Исследования ИИ: технологии, модели и бенчмарки

133 материалов

Глубокие исследования искусственного интеллекта: разборы papers, моделей, бенчмарков, безопасности, регулирования и механизмов работы.

Схема архитектуры Mamba: входные токены, вычисление selective-параметров Δ/B/C, scan-рекуррентность по последовательности и выход без attention и KV-cache

Mamba: линейная альтернатива трансформеру — разбор исходной работы Gu и Dao

Разбираем исходную Mamba: как selective state spaces сделали рекуррентную модель контекстно-зависимой, почему scan заменил attention и где результаты статьи действительно сильны.

Открыть материал →