LLM-as-judge

Аудит LLM-судьи в Text-to-SQL выявил почти случайное согласие с экспертами

Авторы нового препринта проверили LLM-судью на базе gpt-4o-mini в рабочем Text-to-SQL-сервисе. На выборке с повышенной долей спорных случаев каппа Коэна...