FlashAttention-3: почему внимание стало быстрее на Hopper
Разбираем статью FlashAttention-3 от 11 июля 2024 года: как авторы переписали exact attention под NVIDIA Hopper, зачем нужны TMA, WGMMA и FP8, и что...
Открыть материал →
Последние публикации
LATEST
Constitutional AI и RLAIF: как работает обучение по «конституции»
Разбираем историческую схему Anthropic: что такое Constitutional AI, как RLAIF заменяет часть человеческой обратной связи, где метод полезен и в чём его ограничения.
Открыть материал →
Мульти-агентные фреймворки: чем отличаются AutoGen, CrewAI и LangGraph
Практическое сравнение AutoGen, CrewAI и LangGraph по официальным paper, блогам и документации: где живёт состояние, как устроен control flow, чем отличается human-in-the-loop и что...
Открыть материал →
Асемоглу и «всего 1%» от ИИ: что на самом деле считает The Simple Macroeconomics of AI
Разбор paper Дарона Асемоглу о том, почему генеративный ИИ, по его оценке, даст США лишь скромный макроэффект: около +0,53–0,66% TFP и порядка +1% GDP...
Открыть материал →
Стена данных: когда закончится текст для обучения ИИ
Разбираем отчёт Epoch AI 2024 о «стене данных»: как авторы оценивали запас публичного человеческого текста, почему получили окно 2026-2032 и какие допущения стоят за...
Открыть материал →
BitNet b1.58: что показала работа Microsoft об «эре 1-битных LLM»
Разбираем исходную работу Microsoft от 27 февраля 2024 года о BitNet b1.58: как устроена тернарная LLM, где именно появляется выигрыш по инференсу и что...
Открыть материал →
Почему open weights — это не open source: спор об определении
Разбираем спор вокруг термина open source в ИИ на исторической рамке OSAID 1.0 от OSI: почему открытые веса не равны открытой системе и что...
Открыть материал →
Mobile ALOHA: бытовые задачи на недорогом железе
Разбираем Mobile ALOHA — работу Stanford о мобильном двуруком роботе с бюджетом $32k: как он собирает демонстрации, зачем смешивает их со статическим ALOHA и...
Открыть материал →
Levels of AGI: как DeepMind классифицирует ИИ
Разбираем позиционную статью Google DeepMind для ICML 2024: зачем ей понадобились уровни AGI, как устроены оси performance и generality, что означают уровни autonomy и...
Открыть материал →
«Situational Awareness»: как устроен спорный прогноз до AGI
В июне 2024 Леопольд Ашенбреннер выпустил эссе «Situational Awareness» с тезисом: AGI к 2027 году правдоподобен. Разбираем, на каких данных строится прогноз и где...
Открыть материал →
AI Scientist: как система Sakana AI сама пишет ML-статьи
Разбираем исходную работу Sakana AI от августа 2024: что именно делает The AI Scientist, на чём он реально был показан, как устроен автоматический рецензент...
Открыть материал →
ESM3 и esmGFP: как EvolutionaryScale сгенерировала новый флуоресцентный белок
Разбираем работу ESM3 об esmGFP без медийной формулы про «500 миллионов лет эволюции»: что именно задали модели, как шёл отбор кандидатов и что реально...
Открыть материал →