Нейросети успешно сдали экзамен на звание раввина

Продвинутые языковые модели впервые прошли реальные экзамены Главного раввината Израиля на звание раввина. Об этом свидетельствуют данные исследовательского проекта HalachaBench, опубликованные на платформе GitHub. В рамках эксперимента нейросети отвечали на иврите в строгом режиме «закрытой книги» – без доступа к интернету и внешним базам данных.

Для теста отобрали 60 вопросов из пяти билетов недавней экзаменационной сессии раввината. Задания охватывали законы ритуальной чистоты, брака, молитв, благословений и заповедей, связанных с Землей Израиля. Чтобы проверить стабильность ответов, каждый вопрос задавали по три раза.

Первое место заняла модель Claude Fable 5.1 от компании Anthropic, набрав 79,7 балла из 100 – этого достаточно для успешной сдачи. Следом расположились GPT-6 Astra с 73,3 балла и GPT-6.1 Sol с результатом 72,8. Бесплатные открытые модели тест полностью провалили, не набрав даже 11 баллов. При этом даже победитель упустил около пятой части обязательных требований для полного ответа.

Оценка работ осложнялась отсутствием официальных эталонных ответов у раввината. Разработчики составили критерии на базе мнений средневековых законоучителей и библиотеки Sefaria, а в роли судьи задействовали GPT-6 Astra. Авторы подчеркивают, что это пока лишь теоретический эксперимент: живые раввины ответы алгоритмов еще не проверяли.