Разбираем стоимость обработки веб-данных AI-агентами.
Автор поста на Hacker News, использующий Claude Code для повседневных задач, провел замеры потребления токенов при исследовании веб-страниц. Согласно его данным, средняя статья из Википедии в формате raw HTML требует около 68 240 токенов. Домашняя страница Nike, для сравнения, обходится в 353 000 токенов. Встроенная функция webfetch в Claude Code успешно справляется с простыми случаями, суммируя страницы Википедии примерно до 950 токенов и обходя защиту Cloudflare на таких сайтах, как Indeed и Ticketmaster.
Проблемы с динамическим контентом
Однако, как отмечает автор, возникают трудности с сайтами, использующими JavaScript для рендеринга контента, а также с некоторыми страницами, защищенными от ботов. В таких случаях агент может ничего не вернуть или вернуть исходный HTML, что приводит к сбою в работе. Были зафиксированы случаи, когда агент, не сумев получить данные, обращался к своим тренировочным данным или устаревшим кэшам.
| Пункт | Деталь |
|---|---|
| Потребление токенов | Википедия: ~68 240, Nike: ~353 000 |
| Успешная обработка | Claude Code, webfetch, Cloudflare |
| Проблемы | JS-рендеринг, анти-бот защита, 403 ошибки |
Решение в виде Stealth Browser
Для решения этих проблем автор разработал open-source stealth browser (пересобранный Chromium), который функционирует как MCP (Multi-Context Processor) для Claude Code, Cursor и Claude Desktop. Это позволяет получать очищенные токены и обходить системы обнаружения. Например, цитаты с сайта quotes.toscrape.com/js обрабатываются за 285 токенов, а страница Nike — примерно за 700 токенов вместо ошибки 403.
Текущие ограничения и перспективы
Разработка еще не завершена. Отсутствует поддержка резидентного egress, и пока не удается обойти такие системы защиты, как Kasada. Проект ориентирован на агентов, QA и исследовательские задачи. Автор открыт к обратной связи и обсуждению.
Источник: https://news.ycombinator.com/item?id=48867021, Верификация: https://www.anthropic.com/news