Большие языковые модели (LLM) демонстрируют впечатляющие результаты в ответах на медицинские вопросы, однако их применение в области общественного здравоохранения ограничено склонностью к “галлюцинациям” и быстрым изменениям официальных рекомендаций. Исследование, опубликованное на arXiv, предлагает решение этой проблемы с помощью Retrieval-Augmented Generation (RAG).
RAG помогает снизить риски, основывая ответы LLM на проверенном корпусе данных. Эффективность такого подхода напрямую зависит от конфигурации системы поиска (retrieval) и методов оценки, выходящих за рамки простых тестов с несколькими вариантами ответов.
Новые подходы к оценке
Ученые расширили существующий бенчмарк PubHealthBench, добавив в него более 7900 вопросов, основанных на официальных рекомендациях правительства Великобритании по общественному здравоохранению. Они провели систематическую оценку различных стратегий RAG, сравнивая плотный, разреженный и гибридный поиск. Результаты показали, что гибридный поиск последовательно улучшает качество ранжирования и полноту извлечения информации.
| Пункт | Деталь |
|---|---|
| Качество поиска | Гибридный поиск превосходит другие методы, особенно при правильном подборе длины фрагментов текста и учете тематики. |
| Точность ответов | Предоставление контекста извлеченных данных значительно повышает точность ответов LLM, позволяя меньшим моделям конкурировать с более крупными. |
| Оценка качества | Разработана новая система оценки LLM-как-судья, учитывающая достоверность, полноту, ясность и фактическую согласованность ответов, валидированная на основе человеческих аннотаций. |
Выводы и дальнейшие шаги
Исследование подчеркивает, что retrieval является ключевым элементом для создания надежных систем QA в сфере общественного здравоохранения. Практические рекомендации, представленные в работе, помогут разработчикам в создании и оценке RAG-систем, основанных на официальной информации.
Остается открытым вопрос о долгосрочной поддержке и обновлении корпусов данных, на которых основываются RAG-системы, чтобы они всегда отражали актуальную информацию. Также необходимы дальнейшие исследования по оптимизации методов оценки, особенно в части оценки фактической согласованности и ясности ответов.
Источник: https://arxiv.org/abs/2607.06641
Верификация: https://arxiv.org/