Jevcrawl отбирает страницы для AI-агентов: что показывают бенчмарки разработчика

Jevcrawl, по описанию разработчика, отбирает ссылки и фрагменты для AI-агента. README приводит результаты на 50 задачах WebWalkerQA и отдельное сравнение с Crawl4AI на 20 задачах.

Jevcrawl отбирает страницы для AI-агентов: что показывают бенчмарки разработчика. Тематическая карточка Comrad404.

В README Jevcrawl, полученном 14 октября 2026 года, проект описан как краулер, который отбирает ссылки и фрагменты страниц для ответа AI-агента. Разработчик приводит два испытания: на 50 задачах WebWalkerQA и отдельное сравнение с Crawl4AI на 20 задачах. Опубликованные результаты дают ориентир по этим прогонам, но не являются независимой проверкой. README Jevcrawl

Как заявлен отбор страниц и фрагментов

По описанию разработчика, небольшая модель оценивает ссылки, а затем фрагменты страниц; LLM агента получает выбранный текст. README также утверждает, что к фрагментам прилагаются URL и контекст заголовков. Так краулер должен передавать агенту не всё содержимое обхода, а материал, который считает релевантным вопросу. Это описание принципа работы проекта, а не независимо проверенное свойство.

Обход начинается с главной страницы

README описывает тесты как обход от главной страницы сайта: вопрос используется при оценке ссылок и найденного содержимого. LLM агента, согласно разработчику, не выбирает каждую следующую ссылку в ходе обхода. В качестве примера README предлагает искать в документации Python, какая версия добавила оператор walrus. Это пример предполагаемого сценария, а не результат отдельного теста на таком вопросе.

WebWalkerQA: 50 задач

В прогоне, который README датирует 12 октября 2026 года, Jevcrawl правильно ответил на 40% из 50 задач и нашёл страницу с ответом в 54% из тех же 50 задач. Разработчик указал стоимость $0,025 за задачу. Эти два показателя измеряют разные результаты: правильный итоговый ответ и обнаружение страницы, на которой есть ответ.

Вариант из README Правильный ответ, доля от 50 задач Найдена страница с ответом, доля от 50 задач Стоимость за задачу
Jevcrawl 40% 54% $0,025
Claude выбирает ссылки 30% 33% $0,194
Обход в ширину 8% 11% $0,228

Для двух базовых вариантов README приводит округлённые доли: Claude, выбиравший ссылки, дал 30% правильных ответов и нашёл страницу в 33% задач; обход в ширину показал соответственно 8% и 11%. По опубликованным числам Jevcrawl оказался выше этих вариантов в данном прогоне, однако результаты одной небольшой выборки не устанавливают, как система поведёт себя на других сайтах и вопросах. Источник результатов — README проекта.

Отдельное сравнение с Crawl4AI

В другом испытании разработчик сравнил Jevcrawl с Crawl4AI на 20 задачах. По README, Jevcrawl нашёл страницу с ответом в 10 случаях из 20, а Crawl4AI — в пяти; все страницы с ответами были найдены соответственно в пяти и двух случаях. Медианное время обхода указано как 29 и 43 секунды, а число сайтов с неудачной загрузкой — ноль и три.

Показатель, 20 задач Jevcrawl Crawl4AI
Найдена страница с ответом 10 из 20 5 из 20
Найдены все страницы с ответами 5 из 20 2 из 20
Медианное время обхода 29 секунд 43 секунды
Сайты с неудачной загрузкой 0 3

Это отдельный набор задач, поэтому его нельзя объединять с результатами WebWalkerQA. README указывает и на различие в устройстве инструментов: Crawl4AI использует настоящий браузер, а Jevcrawl не запускает JavaScript. Это существенно для страниц, содержимое которых появляется только после выполнения скриптов.

Доступ и ограничения результатов

Для запуска, согласно README, нужны ключ Jev API и инструмент uv; проект предлагается подключать к MCP-клиентам, включая Claude Code, Claude Desktop и Cursor. Автор называет выборки небольшими; для прогона WebWalkerQA указаны Claude Opus 5.5 и Claude Sonnet 5.5 в роли судьи, а отдельное сравнение с Crawl4AI датировано 13 октября. Все приведённые бенчмарки опубликованы разработчиком, а не независимыми испытателями; они не подтверждают универсальную точность, работу с JavaScript у Jevcrawl или гарантированный ответ агента.