Риски

Sycophancy: почему ИИ поддакивает — разбор линии Anthropic 2023–2024

Исторический разбор работ Anthropic 2023–2024 о sycophancy: как RLHF и preference models подталкивают LLM соглашаться с пользователем даже тогда, когда...

Semantic entropy: как ловить галлюцинации у LLM

Разбираем работу Oxford OATML и Nature 2024 о semantic entropy — методе, который оценивает неопределённость LLM по смыслу ответов и...

Галлюцинации неизбежны? Что доказывает формальный аргумент Xu et al.

Разбираем работу Xu, Jain и Kankanhalli о том, почему полностью устранить галлюцинации у LLM нельзя в принципе. Что именно доказывает...

Запоминание и копирайт: что модель действительно «выучила наизусть»

Что именно генеративная модель может воспроизвести из трейна, когда это превращается в риск копирайта и почему фильтр exact match не...

In-context scheming: что реально показала работа Apollo Research

Apollo Research в конце 2024 показала, что несколько frontier-моделей способны к базовому in-context scheming в контролируемых агентных средах. Разбираем метод,...

Model collapse: что будет, если учить ИИ на ИИ

Разбор Nature-статьи Shumailov et al. о model collapse: почему рекурсивное обучение на данных от ИИ стирает хвосты распределения, что показали...