Fabraix, компания, занимающаяся разработкой AI-агентов для поиска уязвимостей в других AI-системах, объявила о запуске Playground — открытой платформы для тестирования. Изначально созданный как внутренний инструмент для тестирования собственного агента Nyx, Playground теперь открыт для широкой публики.
Цель платформы – сбор разнообразных атак, направленных на AI-модели, особенно тех, которые выходят за рамки их обычного распределения. Fabraix стремится к краудсорсингу “джейлбрейков” – методов обхода защитных механизмов AI.
Призовой фонд
Компания выделяет $100,000 в течение следующих 12 месяцев для вознаграждения участников, которые внесут вклад в развитие “наступательной” стороны AI-безопасности. Еженедельные челленджи будут начинаться с призов в $2,000.
| Пункт | Деталь |
|---|---|
| Платформа | Playground (Open Source) |
| Цель | Поиск уязвимостей и “джейлбрейков” в AI-агентах |
| Призовой фонд | $100,000 за 12 месяцев |
| Начальный приз | $2,000 за первую неделю |
Что дальше?
Fabraix призывает энтузиастов и исследователей присоединиться к тестированию и внести свой вклад в повышение безопасности AI-систем. Открытый исходный код платформы позволяет любому желающему изучить и модифицировать ее.
Источник: https://playground.fabraix.com/
Обсуждение на Hacker News: https://news.ycombinator.com/item?id=48895849
Верификация: https://comrad404.com/pulse/