Представлен SafeAI — инструмент с открытым исходным кодом для статического анализа рисков в приложениях на базе ИИ. Разработчики отмечают, что существующие инструменты безопасности, такие как SAST или IaC сканеры, не подходят для систем ИИ-агентов, поскольку последние создают новые поверхности для атак. SafeAI призван заполнить эту нишу, анализируя фреймворки, агентов, инструменты и их интеграции на этапе написания кода, до развертывания.
Почему это важно
SafeAI работает полностью офлайн, не выполняя агентов и не обращаясь к LLM. Инструмент интегрируется в CI/CD пайплайны и анализирует исходный код агентов на этапе коммита. Это позволяет выявлять уязвимости, такие как неправильная конфигурация MCP или инъекции в промптах, на ранней стадии разработки. Разработчики подчеркивают, что SafeAI не заменяет инструменты для анализа в реальном времени или red-teaming, а дополняет их, находя потенциальные проблемы в коде до их проверки на практике.
Возможности SafeAI
Инструмент способен обнаруживать используемые ИИ-фреймворки (LangGraph, CrewAI, LangChain, Semantic Kernel и др.), анализировать их компоненты и сопоставлять найденные объекты с категориями рисков. На основе анализа формируется “Trust Score” — показатель надежности от 0 до 100. Результаты анализа могут быть представлены в различных форматах, включая JSON и SARIF, для удобной интеграции с другими инструментами.
| Пункт | Деталь |
|---|---|
| Тип анализа | Статический, выполняется на этапе коммита |
| Работа | Офлайн, без выполнения кода и обращений к LLM |
| Цель | Обнаружение уязвимостей, раскрытия возможностей, пробелов в управлении |
| Интеграция | CI/CD пайплайны |
| Поддерживаемые фреймворки | LangGraph, CrewAI, LangChain, Semantic Kernel и др. |
Что дальше
SafeAI находится на ранней стадии разработки (Early Preview). Команда проекта стремится создать открытую платформу для анализа ИИ-возможностей и рисков. Разработчики приглашают сообщество к участию в развитии инструмента. Стоит обратить внимание на развитие поддержки различных фреймворков и добавление новых правил анализа.
Источник: https://github.com/ikaruscareer/SafeAI. Обсуждение на Hacker News: https://news.ycombinator.com/item?id=48963061. Источник верификации: https://github.blog/