Исследователи представили GeoFitBench-LLM — бенчмарк для проверки способности больших языковых моделей формулировать требования к геопространственным данным. Работа опубликована на arXiv в разделе cs.CL. Авторы исходят из практической проблемы: прежде чем выполнять геоаналитический запрос, системе нужно понять, какие наборы данных, вспомогательные ресурсы и ограничения потребуются.
Что именно проверяет бенчмарк
GeoFitBench-LLM оценивает ответы моделей на естественно-языковые запросы, связанные с геоаналитикой. В задании модель должна не просто предложить общий способ решения, а определить необходимые ресурсы и описать требования к ним на уровне атрибутов.
Эталонные требования представлены в фиксированной схеме, не привязанной к конкретному поставщику данных. Это позволяет воспроизводимо сравнивать результаты и отделять способность модели рассуждать о задаче от знания особенностей отдельного каталога или сервиса.
Авторы выделяют два измерения рассуждения: пространственно-временное и реляционное (Spatio-Temporal Relational), а также смысловое заземление (Semantic Grounding). Первое связано с пониманием пространственных, временных и связанных между собой условий. Второе — с переводом формулировки задачи в конкретные свойства и ограничения данных.
Главный результат
В экспериментах участвовали семь моделей, которые тестировали при минимальном промптинге. Согласно аннотации работы, определить полный набор необходимых ресурсов удавалось не всегда: лучший результат показала GPT-5.4 Thinking, восстановив полный комплект ресурсов в 66,67% запросов.
При этом спецификация пригодности данных для конкретного использования оказалась более сложной. Чем больше выводов требовалось сделать из исходного запроса, тем заметнее снижалась точность. Иными словами, модель может относительно уверенно назвать типы нужных ресурсов, но ошибаться в деталях: масштабе, временном покрытии, разрешении, атрибутах или других условиях применимости.
Почему это важно
Для GeoAI и агентных систем этап выбора данных часто предшествует поиску, загрузке и анализу. Ошибка на этом шаге способна сделать последующие вычисления формально корректными, но практически бесполезными. GeoFitBench-LLM предлагает измерять именно эту часть цепочки, которую обычные тесты языкового понимания могут не отражать.
Практическое значение бенчмарка — в возможности сравнивать модели не только по финальному ответу, но и по качеству постановки требований к данным. Это может быть полезно при создании агентов для геопоиска, каталогизации наборов данных и подготовки аналитических пайплайнов.
Ограничения
Результаты не означают, что модель самостоятельно гарантирует корректный выбор данных для реального проекта. Показатель 66,67% относится к конкретному набору запросов и условиям эксперимента, а минимальный промптинг не описывает все сценарии эксплуатации. Кроме того, способность восстановить требования не заменяет проверку источников, лицензий, качества и актуальности самих геоданных.
GeoFitBench-LLM важен прежде всего как инструмент диагностики: он показывает, что между пониманием пользовательского запроса и пригодным для работы набором данных остаётся отдельная задача, требующая специализированной оценки.
Источники
