Исследование: успех диалектных jailbreak-атак определяет стратегия, а не язык
В препринте на arXiv исследователи разделили влияние языка, культурного контекста и оптимизации атак. Простая смена английского или путунхуа на шанхайскую...
Тема COMRAD404
red teaming
4 материалов
SkillCascade: безопасные по отдельности навыки ИИ-агента могут складываться в атаку
Авторы нового препринта описали каскадные атаки, при которых вредоносная цель распределяется между несколькими навыками ИИ-агента. Представленный ими SkillCascade-Bench содержит 213...
Anthropic и Accenture вложат по $1 млрд во встроенную оценку передовых ИИ-моделей
Anthropic привлечёт подразделение Faculty компании Accenture к оценке и red-teaming передовых моделей. За пять лет каждая сторона рассчитывает инвестировать в...
OpenAI опубликовала System Card для deep research — детальный отчёт о безопасности и рисках
OpenAI выпустила System Card для функции deep research в ChatGPT. Документ описывает внешний red teaming, оценку frontier-рисков и внедрённые средства...