Шлюз дифференциальной приватности для агентов
Разработчик Яш Махаджан опубликовал Noisegate — открытый шлюз, который позволяет AI-агентам выполнять запросы к чувствительным данным, но с математической гарантией, что ни одна запись не может быть восстановлена. Ключевая особенность: гарантия не зависит от того, насколько агент честен или скомпрометирован — вся защита реализована на уровне движка, а не модели.
Почему это важно
В отличие от типичных «приватных» решений, где защита полагается на добросовестность LLM, Noisegate выносит enforcement на уровень ниже. Агент лишь предлагает запрос, но приватность обеспечивается на стороне шлюза, который добавляет контролируемый шум и отслеживает бюджет запросов. В демо с 20 пациентами шум ±12 полностью скрывает индивидуальные данные, а при попытке обойти защиту шлюз отказывает в выдаче.
Что подтверждено и проверяемо
В репозитории приложен «галерея атак» — классические методы утечки (например, разностная атака, когда злоумышленник вычитает два агрегированных запроса) запускаются против самого движка, и CI показывает, что они проваливаются. Это не обещание, а воспроизводимый тест. Подтверждена работа с Claude Desktop, а также с данными переписи (32 561 строка).
| Punkt | Detail |
|---|---|
| Платформа | GitHub |
| Принцип | Дифференциальная приватность через шум и бюджет запросов |
| Демо | 20 пациентов, 32 561 строка переписи, Claude Desktop |
| Гарантия | Не зависит от доверенности LLM |
| Атаки | Разностная, реконструкция — все проваливаются |
| Воспроизводимость | CI-тесты, скрипты, attack gallery |
Что стоит проверить
Пока неясно, насколько шум влияет на полезность ответов при малых выборках, и как система ведёт себя в реальном production с высокой нагрузкой. Также стоит изучить API шлюза и понять, насколько легко интегрировать его с существующими агентными пайплайнами. Разработчик рекомендует начать с GIF-демо и DESIGN.md.
Источник: оригинальная публикация на Hacker News — https://news.ycombinator.com/item?id=49113543, репозиторий — https://github.com/yashmahajan10/llm-differential-privacy-gateway. Верификация через GitHub Blog: https://github.blog/.