Тема COMRAD404

operativnaya-lenta — страница 28

353 материалов

Почему preference-тесты видео-моделей не доказывают, что они «мировые модели»: обсуждение на Reddit

Пользователь Reddit в r/artificial критикует практику называть видеогенераторы «мировыми моделями» на основе внутренних preference-тестов, которые не поддаются воспроизведению и не...

Khondo: первый бенчмарк для разделения пачек документов на примере бенгальских форм

Исследователи представили Khondo — первый бенчмарк для разделения объединённых PDF-пакетов на отдельные документы. Тестирование MLLM показало: кластеризация страниц удаётся неплохо,...

Новый подход к оценке персональных LLM-агентов: временные вмешательства и состояние пользователя

arXiv:2607.21635v1 — авторы предлагают протокол оценки персональных LLM-агентов, основанный на временных вмешательствах и учёте состояния пользователя. В рамках анализа существующих...

Copyright-Bench: новый бенчмарк для оценки соблюдения авторских прав LLM-агентами

Исследователи представили Copyright-Bench — набор реалистичных коммерческих задач для проверки LLM-агентов на соблюдение авторского права. Тесты показали, что агенты часто...