LiveBench: что реально измеряет бенчмарк, который «нельзя выучить»
LiveBench обещал стать бенчмарком, который трудно «выучить» через тренировочные данные. Разбираем стартовую версию 2024 года, её метод, результаты и ограничения...
Последние публикации
Об авторе
Repeated sampling: дешёвый способ поднять качество LLM
Brown et al. показали, что множество независимых попыток может заметно поднять качество LLM без нового обучения. Разбираем repeated sampling, результаты...
«Let’s Verify Step by Step»: как награда за каждый шаг меняет проверку рассуждений
Разбираем работу OpenAI Let’s Verify Step by Step: зачем давать награду не только за финальный ответ, но и за каждый...
GNoME: что реально означает «2,2 млн новых материалов» в работе DeepMind
Разбираем GNoME от Google DeepMind по первоисточникам: что в работе значит 2,2 млн «новых материалов», почему ключевая цифра — 381...
AlphaProof и AlphaGeometry 2: что на самом деле значило «серебро на IMO 2024»
Разбираем, как AlphaProof и AlphaGeometry 2 набрали 28/42 на IMO 2024, что в этом результате было действительно новым, и почему...
Нобелевские премии 2024: ИИ признан наукой — что именно наградили
В 2024 году Нобелевские премии по физике и химии впервые одновременно отметили работы, напрямую связанные с ИИ. Разбираем не медийный...
Humanity’s Last Exam: что реально измеряет «экзамен на пределе знаний»
Разбираем Humanity’s Last Exam — бенчмарк CAIS и Scale AI для закрытых вопросов экспертного уровня. Что в нём меряют, почему...
Model collapse: что будет, если учить ИИ на ИИ
Разбор Nature-статьи Shumailov et al. о model collapse: почему рекурсивное обучение на данных от ИИ стирает хвосты распределения, что показали...
AlphaFold 3: от белков к комплексам с ДНК и лекарствами
Разбор AlphaFold 3 по статье Nature 2024 и материалам DeepMind: что изменилось в архитектуре, как модель перешла от одиночных белков...
GraphRAG: граф знаний вместо плоского поиска — разбор работы Microsoft
Разбираем исходную работу Microsoft о GraphRAG: как граф сущностей и иерархические community summaries помогают отвечать на «глобальные» вопросы по корпусу...
Llama 3.1 405B: что показала открытая модель уровня фронтира
23 июля 2024 Meta выпустила Llama 3.1 405B и назвала её моделью уровня фронтира с открыто доступными весами. Разбираем paper,...
Encord и Zander Labs тестируют нейроинтерфейсы для сбора данных обучения физического ИИ
Стартап Encord совместно с немецкой Zander Labs экспериментирует с измерением мозговой активности человека во время выполнения физических задач. Новая модальность...