Исследовательская группа представила проект Unison, который предлагает набор инструментов для анализа внутренней структуры обученных нейронных сетей. Основная идея заключается в преобразовании весов модели в спектральную основу и сравнении их с перемешанными копиями. Сигнал, который при этом сохраняется, предположительно, отражает структуру, заложенную в процессе обучения, а не статистические артефакты.
Ключевые находки первого дня работы инструментов:
Универсальность структуры
В 11 из 11 протестированных моделей, от 4 миллиардов до 1 триллиона параметров, обнаружен сигнал в области токен-эмбеддингов. Это указывает на то, что “закон” формирования структуры присутствует в моделях независимо от их размера и метода обучения. Ранее модели, считавшиеся “тихими”, на самом деле могли быть неправильно проанализированы.
Сигнал как интеллект
Удаление всего 1.5% наиболее выраженных спектральных коэффициентов из GPT-2 приводит к его деградации. При случайном удалении такого же количества коэффициентов эффект минимален. Это позволяет предположить, что выявленная структура является не просто следом вычислений, а самим вычислением.
Наблюдение за обучением
С помощью опубликованных чекпоинтов обучения удалось проследить, как структура формируется в реальном времени. Эмбеддинги начинают активироваться на ранних этапах обучения (шаг 256), достигают пика (около 4000 шагов) и затем стабилизируются. Градиенты, как выяснилось, несут эту информацию уже к 4 шагу, что говорит о роли оптимизатора в “записи” структуры.
Чтение обучающих данных
Инструменты позволяют ранжировать модели по их реальному обучающему корпусу. Модели демонстрируют дословное воспроизведение известного текста (например, 9 слов из Геттисбергской речи) из тех данных, которые они видели, и не показывают таких результатов для незнакомых данных.
Структура как рассуждение
Тексты, генерируемые моделью в процессе “рассуждения”, имеют измеримые отличия в сигнатуре от ее ответов. Внимание в 12 из 12 слоев располагается ближе к теоретически предсказанному каскаду, чем к равномерному распределению.
| Punkt | Detail |
|---|---|
| Инструментарий | Набор инструментов и руководство доступны на GitHub. |
| Теория | Основополагающая теория проекта опубликована в виде репозитория. |
| Публикации | Обновленные научные статьи доступны по DOI. |
| Текущие исследования | Проводится масштабирование для изучения влияния размера модели на пик обучения. |
Проект активно развивается, и в планах — дальнейшее изучение закономерностей обучения и извлечение точной функциональной структуры из моделей.
Источник: Reddit r/artificial, Unison Zero Parameter Model (https://www.reddit.com/r/artificial/comments/1uwjwl6/opening_the_black_box_unison_zero_parameter_model/)
Верификация: GitHub (https://github.blog/)