В ленте Show HN 1 ноября 2026 года появился проект SiteOne Crawler. На лендинге он описан как бесплатный инструмент для глубокого обхода сайта: один бинарник без внешних зависимостей превращает сайт в HTML-отчёт аудита, полную офлайн-копию или Markdown для языковых моделей. Работать можно из десктопного приложения с GUI, из командной строки примерно с 200 опциями или через интерактивный мастер настройки. Для читателя это три задачи в одном инструменте — проверка сайта, архив и подготовка текста для LLM; ниже пересказано описание автора, а не независимая проверка.
Установка описана пакетами для Debian/Ubuntu, Fedora/RHEL, openSUSE, Alpine и Homebrew, а также zip-архивом для Windows. Запуск в примере один: siteone-crawler --url=https://your-site.com.
Отчёт, оценка и CI-гейт
По описанию, каждый обход завершается интерактивным HTML-отчётом с оценкой 0–10 по пяти областям: производительность, SEO, безопасность, доступность и лучшие практики. Панель «Fix first» ранжирует найденные проблемы по потенциальному эффекту, чтобы было с чего начать исправления. Среди проверок перечислены заголовки безопасности и cookies, SSL/TLS, доступность по WCAG, медленные страницы, битые ссылки, 404 и редиректы.
В конвейер встраивается режим --ci: настраиваемые пороги, JUnit XML, аннотации GitHub и код выхода 10 при провале проверки, чтобы сборка падала автоматически. Тот же режим автор предлагает использовать как прогрев кеша после деплоя. В общем списке также офлайн-клон сайта с ресурсами, шрифтами, документами и сторонними элементами, генератор sitemap, стресс-тестирование, скриншоты страниц со сборкой в GIF/MP4 и отчёты по расписанию на e-mail.
Markdown, SPA и своя LLM
Конвертер обещает перевести весь сайт в чистый Markdown — одним большим файлом или набором файлов — для llms.txt, документации и подачи в модели. Отдельно заявлены автономный HTML-to-Markdown конвертер и встроенный просмотрщик.
Для SPA предусмотрен режим --browser: страницы рендерятся в настоящем Chromium через CDP, поэтому React, Vue, Svelte, Angular и Next.js обходятся и экспортируются по DOM после рендера. В headful-режиме можно наблюдать за браузером, снимать скриншоты каждой страницы и собирать консольные и сетевые диагностики.
ИИ-анализ опционален. Подключение заявлено для OpenAI, Anthropic и Google Gemini, а также для локальных vLLM, Ollama, LM Studio и любого OpenAI-совместимого endpoint; для локальных конфигураций автор обещает, что данные не покидают машину. Ассистент добавляет оценку SEO, сводку по безопасности, доступности, производительности и инфраструктуре, проверку орфографии, llms.txt и собственные промпты; заявлены строгий контроль расходов и предварительный прогон --ai-dry-run.
Что остаётся заявлениями
Бесплатность и отсутствие зависимостей — формулировки автора на его лендинге: цену, лицензию кода, состав репозиториев, дату выпуска и поведение на реальных сайтах независимо не проверяли. Показанные примеры отчётов для astro.build, netlify.com и nextjs.org ограничены первыми 1000 URL через --max-visited-urls=1000, то есть не описывают полный обход крупного сайта. По данным ленты, у поста Show HN на момент публикации 1 балл и 0 комментариев.
