Проект Jevcrawl представил веб-краулер для AI-агентов, который ищет не просто страницы, а данные, необходимые для ответа на конкретный вопрос. Его ключевая особенность — отсутствие большой языковой модели в основном цикле обхода: ссылки и фрагменты страниц выбирает небольшая модель принятия решений.
Как работает Jevcrawl
Обычный агент, исследующий сайт, сталкивается с двумя неудачными сценариями. В первом он передаёт LLM весь результат загрузки — вместе с навигацией, повторяющимися блоками и прочим шумом. Это увеличивает контекст и расход токенов. Во втором LLM выбирает следующий переход после каждой страницы. Такой подход может быть точнее, но делает обход медленным и дорогим.
Jevcrawl пытается разделить эти задачи. Краулер стартует с главной страницы, оценивает доступные ссылки и выбирает наиболее перспективные для заданного вопроса. Затем он отбирает релевантные фрагменты, чтобы итоговая модель, отвечающая пользователю, читала только сокращённый контекст. В описании проекта это противопоставляется обходу, где LLM управляет каждым переходом.
Инструмент рассчитан на сценарии с AI-агентами и поддерживает подключение через MCP. Для запуска нужны API-ключ Jev от console.typesafe.ai и менеджер uv. В документации приведены команды для Claude Code, а также конфигурация MCP для Claude Desktop, Cursor и совместимых клиентов. Для проверки установки предусмотрена команда uvx jevcrawl doctor.
Что заявлено в тестах
В репозитории опубликовано сравнение с Crawl4AI и несколькими базовыми стратегиями. Авторы использовали задачи WebWalkerQA — вопросы, ответы на которые находятся на сайтах в нескольких переходах от стартовой страницы. В описании эксперимента указаны 50 задач для основного прогона и 20 других задач для запуска Crawl4AI; ответ проверяла отдельная модель-судья.
Основной критерий на этапе обхода — удалось ли краулеру получить страницу с эталонным ответом. Авторы проекта утверждают, что в их эксперименте этот показатель тесно коррелировал с правильностью финального ответа. Однако это не универсальный рейтинг веб-краулеров: выборка ограничена, тесты выполнялись на конкретных сайтах и с заданной конфигурацией моделей. Приведённые результаты следует воспринимать как результаты эксперимента разработчиков, а не независимое подтверждение преимущества Jevcrawl.
Практическое значение и ограничения
Подход особенно интересен для агентов, которым приходится исследовать документацию, сайты организаций и базы знаний с глубокой структурой. Предварительное отсечение нерелевантного контента может уменьшить нагрузку на основную LLM и сделать стоимость одного запроса более предсказуемой. При этом качество зависит от того, насколько хорошо небольшая модель понимает вопрос, структуру сайта и формулировки ссылок.
Есть и операционные ограничения. Jevcrawl требует внешний API-ключ и, судя по инструкции, работает через сервис Jev. В предоставленных материалах нет независимой оценки приватности, доступности сервиса, поведения при блокировках сайтов или устойчивости к динамическому контенту. Не показано и то, как система ведёт себя на сайтах, где ответ скрыт в скриптах, PDF или нестандартной навигации.
Для разработчика Jevcrawl выглядит как специализированный MCP-инструмент: он не заменяет агент и финальную LLM, а оптимизирует этап сбора контекста. Проверять его стоит на собственном наборе сайтов и вопросов, сравнивая не только стоимость, но и полноту найденных источников.
Источники
