VAE (Variational Autoencoder, вариационный автоэнкодер)

VAE (Variational Autoencoder) — это вероятностная генеративная модель с латентной переменной и одновременно вероятностный автоэнкодер. В классической формулировке VAE учится не просто сжимать вход, а отображать его в параметры распределения латентной переменной, после чего декодер восстанавливает или генерирует данные; обучение строится на вариационной нижней оценке и репараметризации.

Английский термин: Variational Autoencoder. Также встречается: VAE, «вариационный автоэнкодер». Важно: в практике аббревиатуру иногда смешивают с родственными вариантами, но в этой статье речь идёт о стандартном смысле термина из работы Auto-Encoding Variational Bayes.

Простыми словами

Грубо говоря, обычный автоэнкодер можно представить как систему «сжать и разжать». VAE делает это осторожнее: вместо одной жёсткой «точки сжатия» он учится описывать целую область возможных скрытых представлений — например, через среднее и разброс.

Из-за этого VAE удобен не только для восстановления уже виденных данных, но и для генерации новых примеров из латентной переменной. Именно поэтому в официальных примерах TensorFlow, Keras и TensorFlow Probability VAE показывают и как реконструктор, и как генератор.

Как это работает

В оригинальной статье 2013 года VAE описан как модель, которая сочетает глубокую латентную модель и модель приближённого вывода для случая, когда точный posterior вычислять трудно. Обзор 2019 года формулирует ту же идею как principled framework для обучения deep latent-variable models и соответствующих inference models.

1. Вход x подаётся в энкодер.
2. Энкодер выдаёт параметры распределения латентной переменной z — в официальном TensorFlow-описании это могут быть, например, среднее и дисперсия; в Keras-примере используются z_mean и z_log_var.
3. Репараметризация позволяет получить выборку z так, чтобы модель всё ещё можно было обучать градиентными методами.
4. Декодер получает z и пытается восстановить исходный объект или сгенерировать новый образец.
5. Оптимизация идёт по вариационной нижней оценке (ELBO): модель одновременно учится хорошо реконструировать данные и держать латентное распределение в контролируемой форме.

 x (данные)
     |
     v
[ Encoder / inference model ]
     |
     +--> z_mean
     |
     +--> z_log_var  (или иные параметры распределения)
                |
                v
     [ reparameterization ]
                |
                v
             z ~ q(z|x)
                |
                v
[ Decoder / generative model ]
                |
                v
      reconstruction / generation

Если нужна короткая схема одним предложением: VAE кодирует вход не в одну точку, а в параметры распределения, затем сэмплирует латентную переменную и декодирует её обратно в данные.

Где применяется

• Учебные и исследовательские пайплайны для генерации изображений. В официальном туториале TensorFlow Core CVAE модель обучают на MNIST и затем визуализируют исходные и декодированные образцы.
• Быстрый эталонный VAE в Keras. Пример Keras Variational AutoEncoder полезен, если вам нужна компактная реализация репараметризованного сэмплирования через z_mean и z_log_var.
• Вероятностные слои и реконструкция в TensorFlow Probability. В примере TFP Probabilistic Layers: Variational Auto Encoder MNIST предварительно превращается в пары «изображение-изображение» для задачи реконструкции.
• Ориентир в экосистеме PyTorch. Репозиторий pytorch/examples включает Variational Auto-Encoders в список демонстрационных примеров, хотя в рамках этого source pack подтверждена именно репозиторная витрина, а не отдельная закреплённая landing page для VAE.

Практический пример

Если вам нужно за 15–30 минут понять, «живой» ли VAE, самый прямой сценарий из источников — повторить официальный TensorFlow Core tutorial.

1. Откройте страницу Convolutional Variational Autoencoder. В актуальной версии туториал сначала проверяет доступ к GPU.
2. Запустите обучение на MNIST. Это не production-кейс, а понятная демонстрация того, что VAE действительно учится реконструировать данные.
3. Сравните оригиналы и декодированные образцы. Именно этот шаг в официальном материале помогает увидеть, что энкодер и декодер начали работать согласованно.
4. Проверьте генерацию: после обучения можно подавать в декодер латентные значения и смотреть, какие образцы модель создаёт.
5. Если вам нужна более короткая реализация, посмотрите пример Keras, где явно показано сэмплирование из z_mean и z_log_var.
6. Если вам важны probabilistic layers, используйте пример TFP, но заранее проверьте совместимость окружения.

Практическая оговорка по стеку на 2026-08-14: на странице релизов TensorFlow Probability сейчас указано, что версия 0.25 протестирована и стабильна с TensorFlow 2.18 и JAX 0.4.35, а также что TFP не совместим с Keras 3 и использует tf-keras/Keras 2. При этом на странице релизов Keras верхним релизом отображается 3.15.1. Иными словами, если вы механически смешаете свежий Keras и пример TFP, можно упереться не в математику VAE, а в несовместимость библиотек.

Чем отличается от…

Если вам нужен соседний термин из генеративных моделей, отдельно посмотрите GAN (генеративно-состязательная сеть). Но не подменяйте одно другим: в этой статье мы разбираем именно VAE через вариационный вывод, ELBO и репараметризацию.

Ограничения и заблуждения

• Заблуждение: «VAE — это просто любой автоэнкодер». Нет. В источниках VAE определяется как вероятностный автоэнкодер и латентная вероятностная модель с inference model.
• Заблуждение: «VAE хранит один скрытый код на вход». В официальном TensorFlow-описании VAE отображает вход в параметры распределения, например среднее и дисперсию.
• Заблуждение: «Любой туториал по VAE можно сразу переносить в прод». Нет. И TensorFlow Core CVAE, и Keras VAE, и TFP VAE в source pack — это прежде всего обучающие примеры, причём сфокусированные на MNIST.
• Ограничение инструментов: текущие release notes TFP отдельно предупреждают о несовместимости с Keras 3. Это не свойство VAE как идеи, а важная практическая деталь для запуска кода.
• Ограничение этой статьи: source pack не даёт надёжных производственных бенчмарков, сравнений качества с другими генеративными архитектурами и не подтверждает отдельную поддерживаемую VAE-страницу в PyTorch сверх репозиторного списка примеров.

Редакционный вердикт: если вам нужно понять математический каркас генеративной модели с латентной переменной и быстро воспроизвести рабочий baseline, VAE остаётся хорошим учебным и инженерным термином. Но для практической оценки качества и выбора между современными генеративными подходами одних источников этой статьи недостаточно.

Связанные термины и инструменты

• Связанный термин: GAN — другой популярный генеративный термин, который часто сравнивают с VAE в практических обсуждениях.
• Инженерная тема рядом: VRAM (видеопамять) — если вы переносите учебный VAE на более тяжёлые данные, быстро упрётесь уже не в определение, а в ресурсы.
• Если вы работаете не с архитектурой генерации, а с адаптацией модели, посмотрите LoRA.
• Чтобы не путать архитектуру модели и параметры сэмплирования, полезно отдельно знать temperature.
• Официальные материалы: TensorFlow Core CVAE, Keras VAE example, TFP VAE.

Источники

• Auto-Encoding Variational Bayes
• An Introduction to Variational Autoencoders
• Convolutional Variational Autoencoder | TensorFlow Core
• TFP Probabilistic Layers: Variational Auto Encoder | TensorFlow Probability
• Variational AutoEncoder
• Releases · keras-team/keras · GitHub
• Releases · tensorflow/probability · GitHub
• GitHub – pytorch/examples

Вопросы и ответы

VAE — это просто автоэнкодер?

Нет. В официальных и академических источниках VAE определяется как вероятностный автоэнкодер и латентная вероятностная модель, которая использует приближённый вывод.

Зачем в VAE нужна репараметризация?

Она нужна, чтобы стохастическую латентную переменную можно было обучать градиентными методами. Именно это — одна из ключевых идей исходной статьи и текущих реализаций в Keras.

CVAE и VAE — это одно и то же?

CVAE в туториале TensorFlow Core — это свёрточная реализация VAE. То есть математическая идея та же, но архитектура энкодера и декодера сделана convolutional.

Можно ли брать пример TensorFlow Probability вместе с Keras 3?

По текущим release notes TFP — нет без оговорок: TensorFlow Probability прямо предупреждает о несовместимости с Keras 3 и использует tf-keras/Keras 2.

Есть ли подтверждённый официальный пример VAE в PyTorch?

В рамках этого source pack подтверждено, что репозиторий pytorch/examples включает Variational Auto-Encoders в список примеров. Отдельная закреплённая VAE-landing page в этих источниках не верифицирована.