Проект HalachaBench дал программам ИИ настоящие экзаменационные вопросы на семиху от Главного раввината Израиля: вопросы на иврите, без книг и интернета.
По данным авторов треда, из 22 участников лидирует Claude Fable 5.1 от Anthropic с 79,7 балла из 100; Gemini 4 Argon набрал 78,2 — второе место, статистически сравнялся с лидером, GPT-6 Astra — 73,3, GPT-6.1 Sol — 72,8, Claude Opus 5.5 — 69,1, Gemini 3.8 Flash — 64,4. Бесплатно скачиваемые модели не набрали и 11 баллов из 100. Телеграм-канал Exploit, который обратил внимание на тред, уточняет, что проходной балл для людей на этом экзамене — 60. Интересно это потому, что обычные бенчмарки проверяют английский, математику и код, а здесь от модели требуется работа с религиозно-правовыми текстами и ответы на иврите.
Важное ограничение признают сами авторы: официального ключа ответов нет, оценочные листы написала одна модель, проверяли другие ИИ, и оба «судьи» сами участвуют в конкурсе. Ни один раввин листы или ответы ещё не проверял, результаты помечены как предварительные; следующий шаг проекта — слепая проверка выборки ответов раввинами. Поэтому цифры — любопытный эксперимент, а не раввинская аттестация.
