Тема

Архитектуры: статьи, новости и разборы

Статьи, новости и разборы по теме «Архитектуры»: ключевые события, понятные объяснения, практические материалы и проверенные источники COMRAD404.

В архиве 9 материалов

Материалы по теме

9 материалов

Схема архитектуры Mamba: входные токены, вычисление selective-параметров Δ/B/C, scan-рекуррентность по последовательности и выход без attention и KV-cache

Исследования//14.08.2026//13 мин чтения

Mamba: линейная альтернатива трансформеру — разбор исходной работы Gu и Dao

Разбираем исходную Mamba: как selective state spaces сделали рекуррентную модель контекстно-зависимой, почему scan заменил attention и где результаты статьи действительно сильны.

Открыть материал →

Схема прохождения токена через MoE-слой: роутер оценивает экспертов, токен отправляется только в часть FFN-блоков, их выходы суммируются и возвращаются в residual-поток Transformer

Исследования//14.08.2026//13 мин чтения

Mixture of Experts: как работает разреженная активация

Разбираем Mixture of Experts без хайпа: что делает роутер, почему активируется лишь часть параметров, откуда берутся overflow и token dropping и где у MoE...

Открыть материал →

Схема архитектуры Jamba: один attention-слой на семь Mamba-слоёв, MoE в каждом втором слое и сравнение памяти KV-cache с Mixtral

Исследования//13.08.2026//9 мин чтения

Jamba и гибриды SSM+attention: разбор архитектуры AI21 образца 2024 года

Разбираем paper Jamba от AI21 от 28 марта 2024 года: зачем смешивать Mamba, attention и MoE, что показали бенчмарки, где архитектура выигрывает и в...

Открыть материал →

Схема сравнения speculative decoding, Medusa и EAGLE: внешняя draft-модель, встроенные decoding heads и feature-level drafter с последующей проверкой кандидатов деревом

Исследования//13.08.2026//10 мин чтения

Speculative decoding, Medusa и EAGLE: как ускоряют вывод LLM

Обзор трёх линий ускорения вывода LLM из окна 2023–2024: классического speculative decoding, Medusa и EAGLE. Разбираем механику, цифры, гарантии точности и реальные ограничения.

Открыть материал →

Схема работы FlashAttention-3 на Hopper: TMA копирует плитки Q, K и V в shared memory, warpgroups выполняют WGMMA, параллельно считается online softmax, затем результат умножается на V и записывается обратно

Исследования//12.08.2026//10 мин чтения

FlashAttention-3: почему внимание стало быстрее на Hopper

Разбираем статью FlashAttention-3 от 11 июля 2024 года: как авторы переписали exact attention под NVIDIA Hopper, зачем нужны TMA, WGMMA и FP8, и что...

Открыть материал →

Схема сравнения GPTQ, AWQ и QLoRA: калибровка, weight-only квантизация для инференса и 4-битное дообучение через LoRA-адаптеры

Исследования//12.08.2026//14 мин чтения

Квантизация LLM: GPTQ, AWQ и QLoRA простыми словами

Разбираем три ключевых подхода к низкобитной работе с LLM — GPTQ, AWQ и QLoRA: что именно они квантуют, для чего нужны и почему их...

Открыть материал →

Схема BitLinear в BitNet b1.58: вход, RMSNorm, 8-битная квантизация активаций, тернарные веса {-1,0,1} и выход линейного слоя

Исследования//12.08.2026//12 мин чтения

BitNet b1.58: что показала работа Microsoft об «эре 1-битных LLM»

Разбираем исходную работу Microsoft от 27 февраля 2024 года о BitNet b1.58: как устроена тернарная LLM, где именно появляется выигрыш по инференсу и что...

Открыть материал →

Схема дистилляции DeepSeek-R1: teacher-модель генерирует reasoning traces, из которых через SFT обучают шесть student-моделей Qwen и Llama размеров от 1.5B до 70B

Исследования//12.08.2026//9 мин чтения

Дистилляция DeepSeek-R1: как R1 «упаковали» в модели 1.5B–70B

Разбираем первый релиз DeepSeek-R1 от 20 января 2025 года: что именно дистиллировали в Qwen и Llama, какие результаты показали модели 1.5B–70B и где у...

Открыть материал →

Схема длинного контекста в LLM: RoPE вращает позиции, YaRN и LongRoPE растягивают окно, а ring-attention распределяет блоки K/V между несколькими GPU для обработки около миллиона токенов

Исследования//12.08.2026//11 мин чтения

Как делают окно в миллион токенов: RoPE, YaRN и ring-attention

Разбираем, из каких частей собирают длинный контекст в LLM: что делает RoPE, зачем нужны YaRN и LongRoPE, и почему без blockwise/ring-attention миллион токенов не...

Открыть материал →