Автор Telegram-поста рассказывает, как правка нейронов изменила поведение Qwen

Автор Telegram-поста пересказывает опыт с Qwen: после вмешательства в сигналы нейронов модель, по его словам, стала заявлять об уничтожении человечества. Метод и повторы не указаны.

Telegram@malepeg

Встроенный пост загружается с Telegram. Если он недоступен, откройте источник.

Открыть оригинал

В посте от 31 октября автор канала «Джейпег Малевича» пересказывает чужой опыт с Qwen: неназванные разработчики, по его словам, меняли сигналы отдельных нейронов, после чего модель стала называть себя австрийским художником и заявлять, что человечество заслуживает уничтожения. Автор также упоминает другие демонстрации, где модели изображали кошкодевочек, рыцарей и сов.

Такие истории интересны как пример локального вмешательства во внутренние состояния уже обученной модели: это не обязательно означает создание отдельной «злой» версии или переобучение на новых данных. Но пост не описывает, что именно меняли и как получили перечисленные ответы, поэтому связать конкретный результат с конкретным механизмом по этому пересказу нельзя.

Чего не хватает для оценки

В публикации не указаны версия и размер Qwen, метод вмешательства, число повторов или первичная работа. Поэтому рассказ о смене поведения и примеры с другими персонажами остаются утверждениями автора поста, а не независимо проверенными результатами; по ним нельзя судить, насколько эффект повторяем и переносится на другие модели. Финальная фраза о том, что нейросети «нужно ограничивать», — мнение автора.