На Hacker News обсуждается новый проект Approv, призванный повысить безопасность при использовании ИИ-агентов, которым поручены критически важные задачи. Разработчик столкнулся с проблемой отсутствия надежного контроля и записи при выполнении агентами действий, таких как возврат средств, изменение учетных записей или запись в продакшн-базы данных.
Проблема контроля
Многие команды предоставляют ИИ-агентам широкие полномочия для автоматизации процессов. Однако, когда эти действия требуют человеческого вмешательства, часто отсутствует прозрачность и ответственность. Отсутствие четкой записи о том, кто и когда одобрил то или иное действие, может привести к серьезным последствиям и затруднить расследование инцидентов.
Решение Approv
Approv предлагает API-интерфейс, который останавливает выполнение рискованных действий ИИ-агента до получения явного одобрения от человека. Уведомления отправляются через WhatsApp, с резервным вариантом в виде SMS. Ключевая особенность Approv — это создание неизменяемого аудиторского следа. Каждое изменение состояния процесса хешируется и подписывается с использованием алгоритма Ed25519. Это гарантирует, что запись о действиях агента и одобрениях человека невозможно подделать и ее можно независимо проверить.
| Пункт | Деталь |
|---|---|
| Технологический стек | Deno edge functions, Postgres (pgmq, pg_cron), Twilio, Next.js |
| Механизм одобрения | WhatsApp (SMS как резерв) |
| Аудит | Хеширование и подпись Ed25519 |
| Цель | Обеспечение прозрачности и ответственности при работе ИИ-агентов |
Обсуждение на Hacker News сосредоточено на дизайне аудита и применимости модели “человек в контуре” (human-in-the-loop) для построения ИИ-агентов. Разработчик открыт к критике и предложениям по улучшению.
Что проверить дальше
Стоит обратить внимание на реальные кейсы использования Approv и его масштабируемость. Также интересно, как другие команды решают вопросы безопасности и аудита при работе с ИИ-агентами.
Источник: Show HN: Approv – human approval and a signed audit trail for AI agent actions (Hacker News) | Ссылка для проверки: https://comrad404.com/pulse/