Temperature — это параметр генерации, который управляет тем, насколько вероятностно модель выбирает следующий токен. Практически это означает простое правило: чем ниже temperature, тем ответ обычно стабильнее и ближе к наиболее вероятному варианту; чем выше, тем больше вариативности, неожиданных формулировок и риск ошибок. Этот параметр полезен для настройки стиля вывода, но он не подходит как средство повышения фактической точности, не исправляет плохой промпт и не гарантирует воспроизводимость результата.
Простыми словами
Если модель уже знает несколько возможных продолжений фразы, temperature определяет, насколько смело она будет отходить от самого вероятного варианта.
- Низкая temperature — модель чаще выбирает самые вероятные слова и конструкции.
- Высокая temperature — модель чаще пробует менее вероятные, но допустимые продолжения.
Для практики это выглядит так:
| Значение | Обычно подходит для | Типичный эффект |
|---|---|---|
0-0.2 |
извлечение фактов, классификация, форматированный вывод | более предсказуемый ответ, меньше вариаций |
0.3-0.7 |
рабочие тексты, краткие объяснения, переписывание | баланс между стабильностью и естественностью |
0.8+ |
мозговой штурм, слоганы, художественные варианты | больше креативности, но выше шум и риск отклонений |
Границы условны: разные модели ведут себя по-разному, а одни и те же значения нельзя переносить между провайдерами без проверки.
Как это работает
На каждом шаге модель оценивает вероятности возможных следующих токенов. Temperature меняет форму этого распределения перед выбором. В упрощённом виде используют преобразование вида p_i' ∝ exp(logit_i / T), где T — temperature.
Практический смысл такой:
- При малой temperature различия между вероятными и менее вероятными токенами усиливаются. Лидер распределения получает ещё больше шансов.
- При большой temperature распределение выравнивается. Менее вероятные токены начинают выбираться чаще.
Важно понимать, что temperature работает только на этапе выборки. Она не меняет знания модели, не улучшает её понимание предмета и не делает логику глубже. Если модель склонна путать термин или игнорировать инструкцию, повышение или понижение temperature может лишь изменить форму ошибки.
Ещё один важный момент: temperature взаимодействует с другими параметрами генерации. Чаще всего рядом используются:
- top_p — ограничивает выбор верхней частью вероятностной массы;
- seed — если поддерживается, помогает сделать запуски повторяемее;
- max tokens — влияет на длину и иногда на устойчивость формата;
- stop sequences — ограничивают завершение ответа.
Если одновременно сильно менять и temperature, и top_p, становится сложнее понять, какой именно параметр вызвал эффект. Для рабочих пайплайнов обычно сначала фиксируют top_p по умолчанию и настраивают только temperature.
Зачем нужно
Temperature нужна не «для качества вообще», а для подгонки поведения модели под задачу.
Когда ставят низкую temperature
- структурированный JSON или таблицы;
- классификация по фиксированным меткам;
- извлечение сущностей из текста;
- переформулировка без заметного изменения смысла;
- ответы, где ценится единообразие между запусками.
Когда полезна более высокая temperature
- поиск нескольких идей;
- варианты заголовков и слоганов;
- тексты с требованием к стилевому разнообразию;
- сценарии, где нужен не один «правильный» ответ, а набор гипотез.
Для production-задач temperature часто выступает как регулятор компромисса между стабильностью и разнообразием. Чем строже формат и выше цена ошибки, тем ниже обычно ставят параметр.
Пример
Представим задачу: нужно извлечь из письма клиента причину обращения и вернуть короткий ответ в фиксированном формате.
Промпт:
Извлеки причину обращения из текста письма. Верни только одну строку в формате:
Причина: ...
Если поставить temperature = 0.1, модель с большей вероятностью будет стабильно возвращать короткий и однотипный ответ:
Причина: клиент не может войти в аккаунт после смены пароля
Если поднять temperature = 0.9, тот же запрос может дать более вольный результат:
Причина: вероятно, проблема с доступом к аккаунту; после обновления пароля вход перестал работать
Во втором варианте текст может выглядеть естественнее, но для автоматической обработки он хуже: добавилось слово «вероятно», изменилась структура, может нарушиться требуемый формат.
Практический вывод: если вы строите цепочку «LLM → парсер → бизнес-логика», сначала пробуйте низкие значения вроде 0, 0.1 или 0.2. Если же вы генерируете идеи, варианты формулировок или рекламные концепты, начинайте с диапазона 0.7-1.0 и оценивайте результат вручную.
Заблуждения и ограничения
«Низкая temperature делает ответ истинным»
Нет. Она лишь заставляет модель чаще выбирать наиболее вероятный ответ по её внутреннему распределению. Наиболее вероятный ответ может быть неверным, устаревшим или не соответствовать контексту.
«Высокая temperature делает модель умнее»
Тоже нет. Она делает выборку более разнообразной, а не повышает качество рассуждения. Иногда это помогает найти нестандартную формулировку, но часто увеличивает шум.
«Temperature = 0 означает полную детерминированность»
Не всегда. Некоторые API и модели допускают небольшие различия между запусками из-за особенностей инфраструктуры, параллелизма, обновлений модели или сопутствующих параметров. Если важна воспроизводимость, проверяйте поддержку seed и фиксируйте всю конфигурацию запроса.
Когда этот параметр не подходит
- Когда проблема в самом промпте: неясная инструкция не лечится temperature.
- Когда нужна фактическая надёжность: для этого важнее retrieval, валидация и постобработка.
- Когда ответ должен строго следовать схеме: лучше снижать temperature и использовать структурированный вывод.
- Когда вы хотите сравнить модели: temperature нельзя интерпретировать одинаково у разных провайдеров.
Есть и организационное ограничение: нельзя брать «магическое число» из чужой статьи и ожидать тот же эффект. Поведение зависит от модели, языка, длины контекста, промпта и даже типа задачи.
Частые вопросы
Какое значение выбрать по умолчанию?
Для большинства прикладных задач со структурированным или деловым ответом разумно начинать с 0.2-0.3. Для творческих задач — с 0.7 и выше. Дальше параметр подбирают по тестовому набору.
Что важнее: temperature или top_p?
Обычно достаточно настраивать один из них. На практике чаще сначала оставляют top_p по умолчанию и двигают только temperature, чтобы поведение было проще интерпретировать.
Можно ли поднять temperature, чтобы получить больше фактов?
Нет. Больше temperature даёт больше вариативности, а не больше достоверной информации. Для фактов нужны хорошие источники, retrieval и проверка ответа.
Почему при низкой temperature ответы всё равно различаются?
Потому что на результат влияют и другие факторы: версия модели, системные инструкции, длина контекста, служебные параметры API и особенности выполнения на стороне провайдера.
Связанные понятия
- Top-p sampling — ограничение выборки токенами из верхней части вероятностной массы.
- Greedy decoding — стратегия выбора наиболее вероятного токена на каждом шаге без явной стохастики.
- Seed — параметр, который в поддерживаемых системах помогает воспроизводить генерацию.
- Logits — сырые оценки модели до преобразования в вероятности.
- Structured output — генерация в заданной схеме, где обычно используют низкую temperature.
Если нужен короткий практический ориентир: temperature — это ручка вариативности, а не ручка истины. Для автоматизации и форматов её обычно снижают; для поиска идей и стиля — повышают, но обязательно проверяют результат на реальных примерах.