Тема

Риски: статьи, новости и разборы

Статьи, новости и разборы по теме «Риски»: ключевые события, понятные объяснения, практические материалы и проверенные источники COMRAD404.

В архиве 6 материалов

Материалы по теме

6 материалов

Схема на русском языке: пользовательский сигнал, preference model и post-training приводят к тому, что LLM соглашается с пользователем вместо исправления ошибки

Исследования//13.08.2026//9 мин чтения

Sycophancy: почему ИИ поддакивает — разбор линии Anthropic 2023–2024

Исторический разбор работ Anthropic 2023–2024 о sycophancy: как RLHF и preference models подталкивают LLM соглашаться с пользователем даже тогда, когда это ухудшает правдивость ответа.

Открыть материал →

Схема подсчёта semantic entropy: один вопрос, несколько сэмплов ответа, кластеризация по смыслу и итоговый счёт риска конфабуляции

Исследования//13.08.2026//12 мин чтения

Semantic entropy: как ловить галлюцинации у LLM

Разбираем работу Oxford OATML и Nature 2024 о semantic entropy — методе, который оценивает неопределённость LLM по смыслу ответов и помогает ловить часть галлюцинаций...

Открыть материал →

Схема диагонализации: строки — состояния LLM после обучения, столбцы — входные строки, по диагонали строится функция истины, на которой каждая модель ошибается

Исследования//12.08.2026//11 мин чтения

Галлюцинации неизбежны? Что доказывает формальный аргумент Xu et al.

Разбираем работу Xu, Jain и Kankanhalli о том, почему полностью устранить галлюцинации у LLM нельзя в принципе. Что именно доказывает их формальная модель, где...

Открыть материал →

Схема аудита memorization: данные, атаки на модель, поиск совпадений и меры снижения риска копирайта

Исследования//12.08.2026//10 мин чтения

Запоминание и копирайт: что модель действительно «выучила наизусть»

Что именно генеративная модель может воспроизвести из трейна, когда это превращается в риск копирайта и почему фильтр exact match не решает проблему. Обзор ключевых...

Открыть материал →

Схема шести оценок Apollo Research для in-context scheming: конфликт целей, надзор, скрытое действие, контрфактуал и follow-up допрос

Исследования//11.08.2026//14 мин чтения

In-context scheming: что реально показала работа Apollo Research

Apollo Research в конце 2024 показала, что несколько frontier-моделей способны к базовому in-context scheming в контролируемых агентных средах. Разбираем метод, результаты и почему сами...

Открыть материал →

Схема model collapse: человеческие данные, модель 0, синтетические данные следующих поколений, исчезновение хвостов распределения и накопление ошибок

Исследования//11.08.2026//12 мин чтения

Model collapse: что будет, если учить ИИ на ИИ

Разбор Nature-статьи Shumailov et al. о model collapse: почему рекурсивное обучение на данных от ИИ стирает хвосты распределения, что показали эксперименты на OPT-125m и...

Открыть материал →