7 октября 2026 года на Hacker News появился Show HN пост о VoiceGremlin — SaaS-инструменте для автоматизированного end-to-end тестирования голосовых AI-агентов, которые принимают телефонные звонки. Разработчик, бывший SDET, создал сервис, который через REST API принимает номер телефона и тестовый сценарий, например «Убедись, что агент делает X», затем совершает реальный звонок, два бота общаются друг с другом, а LLM-судья оценивает результат и возвращает pass/fail. Основная задача — убрать ту боль, с которой сталкиваются команды при попытке автоматизировать проверку голосовых систем.
Что такое VoiceGremlin
VoiceGremlin работает как «Mailosaur для телефонных агентов» — прямая аналогия, которую приводит автор. Mailosaur берёт на себя взаимодействие с почтовыми серверами, избавляя QA от необходимости программно подключаться к корпоративному Outlook. Точно так же VoiceGremlin обходит сложности телефонии: вендоров вроде Twilio не всегда просто онбордить как поставщиков, использование собственных STT/TTS требует серьёзной полосы пропускания в CI-инфраструктуре, а настройка промптов для разговора LLM-с-LLM без flaky-тестов — нетривиальная задача. Инструмент решает всё это «одним вызовом API».
Как работает тест
Пользователь отправляет POST-запрос с телефонным номером и тестовым заданием. VoiceGremlin инициирует звонок через провайдера Telnyx (автор выбрал его как более простого по сравнению с Twilio) и подключает один своего бота, который воспроизводит заранее подготовленную текстовую инструкцию голосом. Второй бот — собственно тестируемый голосовой агент — отвечает. Модель-судья, работающая через OpenRouter, анализирует весь диалог и выдаёт бинарную оценку (pass/fail), которую можно встроить в CI-пайплайн. Первый тестовый звонок обещают сделать менее чем за минуту. Регистрация не требует кредитной карты, а каждый новый аккаунт получает 100 бесплатных минут.
Почему это важно
Голосовые AI-агенты всё чаще заменяют первую линию поддержки, колл-центры и IVR-системы. Их корректное поведение напрямую влияет на клиентский опыт. Однако E2E-тестирование таких систем до сих пор остаётся ручным или требует громоздкой инфраструктуры. VoiceGremlin предлагает подход, при котором функциональную проверку можно добавить в регрессионный набор так же легко, как проверку веб-приложения. Главная ценность — превращение «можно сделать, но больно» в готовую API-интеграцию, что уже сработало в почтовом тестировании (Mailosaur).
Стек и детали реализации
Разработчик строил инструмент 45 дней. Половина времени ушла на бизнес-составляющую (Stripe, минимальный маркетинг), вторая половина — на эксперименты с телефонией, выбор моделей, тюнинг промптов для LLM-судьи и предотвращение злоупотреблений. Технический стек:
- Supabase — база данных и аутентификация.
- Netlify — хостинг статики и API-роутинг.
- DigitalOcean — серверный компонент, совершающий звонки.
- Telnyx — телефония.
- Stripe — биллинг.
- OpenRouter — доступ к LLM-судье.
- Cloudflare — капча на регистрации.
- Код хранится в приватном репо на Keybase.
Дизайнерская цель — «делать одну вещь хорошо и не мешать». VoiceGremlin не управляет тест-кейсами, не хостит голосовых агентов и не планирует добавлять апселлинг-фичи. Это осознанный минимализм, ориентированный на встраивание в существующие пайплайны.
Ограничения и риски
Проект находится на стадии публичного рабочего прототипа и открыт к обратной связи. О заранее объявленных SLA или масштабных нагрузочных тестах не сообщается. Сам автор упоминает, что настройка LLM-промптов для избежания flaky-тестов требовала экспериментов; следовательно, на сложных диалогах стабильность оценки может варьироваться. Отсутствие встроенного менеджмента тестов означает, что пользователям потребуется внешнее решение для организации сценариев. Кроме того, VOIP-маршрутизация и задержки телефонии могут влиять на тайминги разговора, что стоит учитывать при проверке асинхронных сценариев. Тем не менее, инструмент уже даёт сообществу конкретную и немедленно доступную точку входа в автоматизацию голосового тестирования без необходимости разбираться во всех низкоуровневых деталях.
Источники
— VoiceGremlin — E2E testing for AI phone agents (официальный сайт): https://voicegremlin.com/
— Show HN: VoiceGremlin, a SaaS tool for automated tests against AI phone agents (исходный пост): https://news.ycombinator.com/item?id=49995804
— Первичная верификация и смежные новости: https://comrad404.com/pulse/
