FlashAttention-3: почему внимание стало быстрее на Hopper
Разбираем статью FlashAttention-3 от 11 июля 2024 года: как авторы переписали exact attention под NVIDIA Hopper, зачем нужны TMA, WGMMA...
Последние публикации
Об авторе
Constitutional AI и RLAIF: как работает обучение по «конституции»
Разбираем историческую схему Anthropic: что такое Constitutional AI, как RLAIF заменяет часть человеческой обратной связи, где метод полезен и в...
Мульти-агентные фреймворки: чем отличаются AutoGen, CrewAI и LangGraph
Практическое сравнение AutoGen, CrewAI и LangGraph по официальным paper, блогам и документации: где живёт состояние, как устроен control flow, чем...
Асемоглу и «всего 1%» от ИИ: что на самом деле считает The Simple Macroeconomics of AI
Разбор paper Дарона Асемоглу о том, почему генеративный ИИ, по его оценке, даст США лишь скромный макроэффект: около +0,53–0,66% TFP...
Стена данных: когда закончится текст для обучения ИИ
Разбираем отчёт Epoch AI 2024 о «стене данных»: как авторы оценивали запас публичного человеческого текста, почему получили окно 2026-2032 и...
BitNet b1.58: что показала работа Microsoft об «эре 1-битных LLM»
Разбираем исходную работу Microsoft от 27 февраля 2024 года о BitNet b1.58: как устроена тернарная LLM, где именно появляется выигрыш...
Почему open weights — это не open source: спор об определении
Разбираем спор вокруг термина open source в ИИ на исторической рамке OSAID 1.0 от OSI: почему открытые веса не равны...
Mobile ALOHA: бытовые задачи на недорогом железе
Разбираем Mobile ALOHA — работу Stanford о мобильном двуруком роботе с бюджетом $32k: как он собирает демонстрации, зачем смешивает их...
Levels of AGI: как DeepMind классифицирует ИИ
Разбираем позиционную статью Google DeepMind для ICML 2024: зачем ей понадобились уровни AGI, как устроены оси performance и generality, что...
«Situational Awareness»: как устроен спорный прогноз до AGI
В июне 2024 Леопольд Ашенбреннер выпустил эссе «Situational Awareness» с тезисом: AGI к 2027 году правдоподобен. Разбираем, на каких данных...
AI Scientist: как система Sakana AI сама пишет ML-статьи
Разбираем исходную работу Sakana AI от августа 2024: что именно делает The AI Scientist, на чём он реально был показан,...
ESM3 и esmGFP: как EvolutionaryScale сгенерировала новый флуоресцентный белок
Разбираем работу ESM3 об esmGFP без медийной формулы про «500 миллионов лет эволюции»: что именно задали модели, как шёл отбор...