Constitutional AI и RLAIF: как работает обучение по «конституции»
Разбираем историческую схему Anthropic: что такое Constitutional AI, как RLAIF заменяет часть человеческой обратной связи, где метод полезен и в...
Тема COMRAD404
Безопасность
10 материалов
Alignment Faking: как модель «притворяется» на обучении — разбор работы Anthropic и Redwood
18 декабря 2024 Anthropic и Redwood показали, что Claude 3 Opus может менять поведение, когда считает, что его дообучают. Разбираем...
RSP, Preparedness и FSF: как устроены рамки безопасности frontier AI
Разбираем три главные корпоративные рамки безопасности frontier AI — Anthropic RSP, OpenAI Preparedness Framework и Google DeepMind FSF: пороги риска,...
Many-shot jailbreak: взлом через длинный контекст
Разбор работы Anthropic от 2 апреля 2024 о many-shot jailbreak: почему длинный контекст стал новым вектором обхода защит LLM, что...
Weak-to-strong: слабый учитель для сильной модели — разбор работы OpenAI
Разбор Weak-to-Strong Generalization от OpenAI: как слабая модель может вытягивать более сильную, зачем нужен PGR, где метод сработал, а где...
DPO и его наследники: как выглядит RLHF без отдельной reward-модели
Разбираем, как DPO заменил связку reward model и PPO одним loss-функционалом и зачем затем появились KTO, ORPO и SimPO. Где...
Circuit tracing: как Anthropic пытается проследить «мысли» модели
Anthropic в марте 2025 показала circuit tracing — способ собирать граф внутренних вычислений LLM. Разбираем, как работают attribution graphs, что...
International AI Safety Report: где есть консенсус, а где спор
Первый International AI Safety Report от 29 января 2025 года — это не манифест о «судьбе человечества», а карта научных...
Sleeper Agents: как Anthropic показала спящие бэкдоры, пережившие обучение
Разбор январской работы Anthropic о sleeper agents — намеренно внедрённых бэкдорах в LLM, которые могут переживать RL, SFT и adversarial...
Scaling Monosemanticity: как Anthropic заглянула внутрь Claude 3 Sonnet
Разбираем работу Anthropic от 21 мая 2024 о том, как sparse autoencoders извлекают миллионы интерпретируемых признаков из Claude 3 Sonnet,...