Начинайте с небольшой, понятной базы: 20–50 документов достаточно, чтобы увидеть проблемы с поиском и цитатами.
Критерии готовности
Система должна показывать, на какие фрагменты она опиралась, и честно отвечать, когда данных в базе нет.
Пять шагов: выбрать документы, подготовить поиск, задать правила ответа и проверить качество.
Начинайте с небольшой, понятной базы: 20–50 документов достаточно, чтобы увидеть проблемы с поиском и цитатами.
Система должна показывать, на какие фрагменты она опиралась, и честно отвечать, когда данных в базе нет.
| Не смешивайте разные предметные области на первом тесте.
| Уберите дубли и добавьте понятные заголовки.
| Проверьте, что найденный фрагмент отвечает на вопрос.
| Ответ без опоры на документ маркируйте как непроверенный.
| Сравните ответы с эталоном.
Начните с малого набора и расширяйте его после тестов.