Запись архива

Assist API от Frigade: как научить AI-агента показывать пользователю, куда кликать

Стартап Frigade (YC W23) запустил Assist API — инструмент, который позволяет AI-агентам не просто отвечать текстом, а генерировать пошаговые визуальные подсказки прямо в интерфейсе SaaS-продукта. Решение решает проблему устаревших баз знаний и медленного RAG.

Демонстрация работы AI-агента, который показывает пользователю, куда кликать в интерфейсе SaaS-приложения
Демонстрация работы AI-агента, который показывает пользователю, куда кликать в интерфейсе SaaS-приложения
Crashed computer.jpg | by Reuben Strayer from montreal, canada | wikimedia_commons | CC BY-SA 2.0

12 сентября 2026 года на Hacker News появился пост от Christian, одного из основателей Frigade (YC W23). Он представил Assist API — инструмент, который решает фундаментальную проблему in-app AI-агентов: они часто не понимают, как устроен продукт, в котором работают.

Проблема: когда агент не знает UI

В реальном сценарии пользователь спрашивает AI-агента: «Как настроить двухфакторную аутентификацию?». В идеале агент должен выполнить задачу автоматически, вызвав нужный API. Но если такого tool call нет, а задача решается через конкретный интерфейсный workflow, агент начинает импровизировать.

Как отмечает Christian, типичное падение — это RAG по документации help center или даже поиск в интернете. Это медленно, а статьи часто устаревают быстрее, чем продукт обновляется. Пользователю приходится читать длинные тексты и самостоятельно сопоставлять их с элементами интерфейса.

Как работает Assist API

Assist API предлагает другой подход. В коде агента добавляется один tool call:

const frigade_guide_tool = {
description: ‘Call this tool to answer product questions or guide the user through a task.’,
parameters: {
query: {
type: ‘string’,
description: ‘What the user is asking or wants to do’,
},
},
run: ({ query }) => frigade.assist({ query }),
}

При вызове инструмента происходит следующее:

Сбор контекста: что пользователь видит на экране, его права доступа, feature flags и другие параметры.
2. Анализ: если задача решаема — генерируется on-screen guide (визуальная подсказка, указывающая, куда кликнуть). Если вопрос концептуальный — возвращается текстовое описание для родительского агента. Если задача невыполнима — следует отказ.

Обучение агента: браузерный агент и карта приложения

Ключевая инновация — способ, которым Assist API узнаёт UI. Разработчик предоставляет тестовый аккаунт (staging или preview). Браузерный агент входит в систему и последовательно проходит по всему продукту, строя карту приложения. Эта карта затем позволяет отвечать на любые вопросы: «как попасть из точки А в точку Б в интерфейсе».

Агент также автоматически пишет собственную документацию на основе построенной карты. Обновление происходит по расписанию или через CI/CD — при каждом деплое карта перестраивается.

Практические ограничения и выводы

Решение выглядит перспективным, но важно понимать его ограничения:

  • Зависимость от тестового аккаунта: для работы требуется staging или preview-среда. Если её нет или она не replica продакшена, карта может быть неполной.
  • Сложность динамических UI: если интерфейс сильно зависит от пользовательских данных или A/B-тестов, браузерный агент может не покрыть все варианты.
  • Производительность: генерация карты при большом продукте может занимать время, хотя CI/CD-интеграция это компенсирует.
  • Пока нет данных о точности: в посте не указано, насколько часто агент корректно определяет, что делать — отказ вместо неправильной подсказки может быть предпочтительнее.

Тем не менее, это интересный шаг в сторону более осмысленных AI-агентов, которые не просто «болтают», а реально помогают пользователю ориентироваться в интерфейсе.

Источники
— Оригинальный пост на Hacker News: https://news.ycombinator.com/item?id=49627872
— Документация и демо Assist API: https://frigade.com/assist-api
— Видеодемонстрация с Vercel AI SDK: https://www.youtube.com/watch?v=9WQ0UbLjC6I