Faithfulness цепочки рассуждений модели: можно ли верить CoT
Разбираем, что исследователи называют faithfulness цепочки рассуждений, как это измеряют в работах Anthropic, OpenAI и других, и почему полезный CoT...
Последние публикации
Об авторе
GRPO: как DeepSeek упростила RL для рассуждений
Разбираем, что такое GRPO у DeepSeek, чем этот метод отличается от PPO, почему его истоки лежат в DeepSeekMath 2024, и...
Alignment Faking: как модель «притворяется» на обучении — разбор работы Anthropic и Redwood
18 декабря 2024 Anthropic и Redwood показали, что Claude 3 Opus может менять поведение, когда считает, что его дообучают. Разбираем...
ColPali: как работает поиск по страницам-картинкам без OCR
ColPali заменяет OCR-пайплайн на этапе retrieval для PDF: модель индексирует изображения страниц, сопоставляет текстовый запрос с патчами и лучше сохраняет...
Anthropic Economic Index: какие профессии реально используют ИИ
Разбираем Anthropic Economic Index 2025: как Claude сопоставляли с профессиями через O*NET, почему лидируют кодинг и письмо, что показали API-данные...
OpenAI Operator: как устроен агент в браузере и что показал запуск 2025 года
Разбираем Operator в исторической версии запуска 23 января 2025 года: как модель CUA видит веб через скриншоты, где выигрывает, где...
Treg — OpenRouter для инструментов: 2600 API без наценки и подписок
Проект Treg предлагает единый прокси-доступ к 2600 API для агентов: поиск по задаче, оплата за вызов, 0% наценки и автоматическая...
«Physics of Language Models»: сколько знаний помещается в параметрах LLM
Разбираем работу Meta и MBZUAI о том, как измерять ёмкость знаний LLM в битах на параметр: что означает предел 2...
Дистилляция DeepSeek-R1: как R1 «упаковали» в модели 1.5B–70B
Разбираем первый релиз DeepSeek-R1 от 20 января 2025 года: что именно дистиллировали в Qwen и Llama, какие результаты показали модели...
Как делают окно в миллион токенов: RoPE, YaRN и ring-attention
Разбираем, из каких частей собирают длинный контекст в LLM: что делает RoPE, зачем нужны YaRN и LongRoPE, и почему без...
Many-shot jailbreak: взлом через длинный контекст
Разбор работы Anthropic от 2 апреля 2024 о many-shot jailbreak: почему длинный контекст стал новым вектором обхода защит LLM, что...
Weak-to-strong: слабый учитель для сильной модели — разбор работы OpenAI
Разбор Weak-to-Strong Generalization от OpenAI: как слабая модель может вытягивать более сильную, зачем нужен PGR, где метод сработал, а где...