Chinchilla и переобучение: почему модели «перекармливают»
Объясняем, что на самом деле показала работа Chinchilla от 29 марта 2022 года, почему многие LLM были недообучены по токенам и зачем в 2024-м...
Открыть материал →
Исследования ИИ: технологии, модели и бенчмарки
133 материаловГлубокие исследования искусственного интеллекта: разборы papers, моделей, бенчмарков, безопасности, регулирования и механизмов работы.
Chatbot Arena: как считают Elo и при чём тут длина
Разбираем, как Chatbot Arena превращает анонимные парные сравнения в «Arena Elo», почему на деле это Bradley–Terry, и зачем LMSYS отдельно контролирует длину ответа.
Открыть материал →
FlashAttention-3: почему внимание стало быстрее на Hopper
Разбираем статью FlashAttention-3 от 11 июля 2024 года: как авторы переписали exact attention под NVIDIA Hopper, зачем нужны TMA, WGMMA и FP8, и что...
Открыть материал →
Генеративное аудио в 2024 году: чем отличаются Suno, Udio и голос GPT-4o
Исторический обзор 2024 года: чем Suno и Udio как генераторы музыки отличались от голосового GPT‑4o, какие режимы управления они дали пользователю и какие ограничения...
Открыть материал →
Constitutional AI и RLAIF: как работает обучение по «конституции»
Разбираем историческую схему Anthropic: что такое Constitutional AI, как RLAIF заменяет часть человеческой обратной связи, где метод полезен и в чём его ограничения.
Открыть материал →
OSWorld, WebArena, GAIA и τ-bench: чем отличаются бенчмарки агентов
OSWorld, WebArena, GAIA и τ-bench часто ставят в один ряд, хотя они измеряют разные вещи: GUI-действия, веб-навигацию, исследовательский tool use и диалог с API....
Открыть материал →
Мульти-агентные фреймворки: чем отличаются AutoGen, CrewAI и LangGraph
Практическое сравнение AutoGen, CrewAI и LangGraph по официальным paper, блогам и документации: где живёт состояние, как устроен control flow, чем отличается human-in-the-loop и что...
Открыть материал →
Асемоглу и «всего 1%» от ИИ: что на самом деле считает The Simple Macroeconomics of AI
Разбор paper Дарона Асемоглу о том, почему генеративный ИИ, по его оценке, даст США лишь скромный макроэффект: около +0,53–0,66% TFP и порядка +1% GDP...
Открыть материал →
Стена данных: когда закончится текст для обучения ИИ
Разбираем отчёт Epoch AI 2024 о «стене данных»: как авторы оценивали запас публичного человеческого текста, почему получили окно 2026-2032 и какие допущения стоят за...
Открыть материал →
Квантизация LLM: GPTQ, AWQ и QLoRA простыми словами
Разбираем три ключевых подхода к низкобитной работе с LLM — GPTQ, AWQ и QLoRA: что именно они квантуют, для чего нужны и почему их...
Открыть материал →