COMRAD404 COMRAD404 ИИ-сигналы, агенты и практическая разведка

Тема

бенчмарки: статьи, новости и разборы

Статьи, новости и разборы по теме «бенчмарки»: ключевые события, понятные объяснения, практические материалы и проверенные источники COMRAD404.

В архиве 9 материалов

Материалы по теме

9 материалов
Схема задачи ARC-AGI: несколько цветных input-output grid-примеров и новый test input, для которого система должна вывести правильный output по скрытому правилу
Исследования////13 мин чтения

ARC-AGI и спор об AGI: что тест реально измеряет

ARC-AGI часто подают как индикатор пути к AGI, но по замыслу Франсуа Шолле он измеряет более узкую вещь: насколько система умеет быстро осваивать новый тип задач при минимуме опыта, знаний и подсказок.

Открыть материал →
Схема пайплайна LiveBench: свежие источники вопросов, генерация проверяемых задач, запуск моделей и автоматическая проверка по ground truth
Исследования////10 мин чтения

LiveBench: что реально измеряет бенчмарк, который «нельзя выучить»

LiveBench обещал стать бенчмарком, который трудно «выучить» через тренировочные данные. Разбираем стартовую версию 2024 года, её метод, результаты и ограничения по paper, datasheet и...

Открыть материал →