COMRAD404 / HOWTO

Как использовать Chain-of-Thought (CoT) промптинг

Практическая инструкция по Chain-of-Thought (CoT): когда просить модель рассуждать пошагово, как оформлять промпт и как сравнивать CoT с нативными reasoning-режимами.

Понадобится

25–40 минут
  • Доступ к любой LLM с текстовым вводом или API
  • Набор репрезентативных задач для сравнения prompt-вариантов
  • Понимание желаемого результата и формата ответа
  • При работе в production — готовность прогонять одинаковые evals на нескольких версиях промпта

После этой инструкции вы сможете использовать Chain-of-Thought (CoT) промптинг для задач, где модели нужно рассуждение: собрать короткий базовый промпт, добавить zero-shot или few-shot CoT только при необходимости и сравнить результат с нативными reasoning-настройками модели.

Практический вердикт: на 2026-08-14 классический CoT остаётся рабочим методом, но для новых reasoning-моделей это уже не стартовый вариант по умолчанию. Начинайте с короткой и прямой инструкции, чётких разделителей и явного формата ответа; пошаговое рассуждение и демонстрации добавляйте только после проверки на ваших representative tasks.

Редакционное ограничение: в официальных гайдах нет универсального порога, после которого CoT «всегда лучше». Поставщики рекомендуют эмпирическую проверку на репрезентативных задачах, поэтому ниже — воспроизводимый процесс выбора, а не обещание одинакового выигрыша для любой модели.

  • Время: 25–40 минут на первый рабочий шаблон и первичную проверку.
  • Сложность: средний.
  • Стоимость: зависит от выбранной модели и тарифа; официальные страницы советуют перепроверять актуальные условия перед использованием.
  • Что потребуется: доступ к любой LLM с текстовым вводом или API, набор репрезентативных задач для проверки, понимание желаемого формата ответа.
  • Актуальность: рекомендации сверены по OpenAI Help Center, OpenAI Model guidance для GPT-5.6, Gemini 3 docs и Claude prompting docs на 2026-08-14.

Когда Chain-of-Thought действительно нужен

Под Chain-of-thought (цепочкой рассуждений) здесь понимается prompt-приём, при котором вы просите модель разложить решение на шаги или показываете ей такие демонстрации в few-shot формате. Фундаментальная работа Wei et al. показывает, что CoT улучшает сложное рассуждение; в статье сообщается, что 8 CoT-примеров на модели 540B достигли state of the art на GSM8K. Более поздняя работа Auto-CoT выделяет две базовые формы: короткий zero-shot триггер вроде «Let’s think step by step» и few-shot демонстрации с цепочками рассуждений.

При этом свежие официальные гайды для новых reasoning-моделей всё чаще советуют сначала упростить промпт и использовать нативные controls модели. Поэтому CoT сегодня полезно рассматривать как настраиваемый инструмент, а не как обязательную надстройку для каждого запроса.

Ситуация Что делать На что опираться
Обычный прямой промпт даёт неполный или хрупкий ответ Добавьте короткий zero-shot CoT-триггер Auto-CoT
Задача повторяется по одной и той же схеме Добавьте few-shot CoT-демонстрации Wei et al., Auto-CoT
Вы работаете с новой reasoning-моделью Сначала проверьте native reasoning controls и более короткий промпт OpenAI Model guidance, Gemini 3 Guide, Claude docs
Сценарий идёт в продакшен Сравнивайте варианты на representative evals по качеству, токенам, задержке и стоимости OpenAI Model guidance, Anthropic overview

Пошаговая инструкция

  1. Зафиксируйте одну задачу и критерии успеха

    Сначала выберите один тип задач, на котором вы будете тестировать CoT: например, разбор кейса, пошаговое вычисление, выбор лучшего варианта из нескольких, проверка требований или генерация структурированного вывода. Anthropic пишет, что success criteria должны быть controllable через prompt engineering и проверяемы эмпирически. Значит, до написания промпта вам нужен короткий список того, что считается правильным результатом.

    Задача: ...
    Успешный ответ должен: ...
    Обязательные элементы: ...
    Недопустимые ошибки: ...

    Ожидаемый результат: у вас есть формулировка задачи и понятный критерий оценки, по которому можно сравнить прямой ответ, CoT и нативный reasoning-режим.

  2. Напишите короткий базовый промпт с инструкцией в начале и отделённым контекстом

    OpenAI Help Center рекомендует ставить инструкции в начало, использовать latest model, отделять инструкцию от контекста через ### или тройные кавычки и быть максимально конкретным. Gemini prompt strategies советуют то же самое: точность, прямота, clear delimiters в виде XML-элементов или Markdown-заголовков.

    Сделайте следующее: решите задачу и верните ответ в указанном формате.
    
    Формат ответа:
    1. Итог
    2. Краткое обоснование
    3. Проверка по критериям
    
    ###
    Контекст:
    """
    ...ваши данные...
    """

    Не добавляйте CoT на этом шаге. Сначала нужен чистый baseline: сможете ли вы получить хороший ответ только за счёт ясной инструкции, разделителей и формата.

    Ожидаемый результат: модель отвечает по понятной структуре, а вы видите, каких именно элементов не хватает без CoT.

  3. Отделите финальный ответ от supporting reasoning или комментариев

    OpenAI Structured Outputs прямо рекомендует разделять final answer и supporting reasoning или additional commentary; в статье сказано, что отдельное поле для chain of thought может улучшить качество финального ответа. Практически это означает: не смешивайте итог и рассуждение в одном сплошном абзаце.

    Верните ответ в таком виде:
    FINAL_ANSWER: ...
    REQUIRED_EVIDENCE: ...
    SELF_CHECK: ...
    OPTIONAL_REASONING_SUMMARY: ...

    Если вам не нужен видимый reasoning, оставьте только итог, доказательства и self-check. Для Gemini 3 официальный guide отдельно отмечает, что модели автоматически генерируют internal thinking, поэтому подробный пошаговый reasoning в выводе обычно не требуется.

    Ожидаемый результат: итоговый ответ легче читать и проверять, а рассуждение перестаёт «размазываться» по всему выводу.

  4. Добавьте минимальный zero-shot CoT-триггер только если baseline не справился

    Auto-CoT описывает простой CoT-подход уровня «Let’s think step by step». Используйте этот ход как следующий тест, а не как обязательную часть каждого промпта. Смысл шага — проверить, улучшает ли явный запрос на пошаговое рассуждение именно вашу задачу.

    Решите задачу.
    Сначала разложите решение на шаги.
    Проверьте шаги на соответствие критериям.
    Затем верните итог в формате:
    FINAL_ANSWER: ...
    SELF_CHECK: ...

    Если модель начала лучше раскладывать проблему, но финальный ответ стал слишком длинным, сократите вывод и оставьте только нужные поля. Сейчас важен не объём reasoning, а рост качества ответа по вашим критериям.

    Ожидаемый результат: вы понимаете, помогает ли простой CoT-триггер исправить пропуски логических шагов без усложнения всего промпта.

  5. Добавьте few-shot CoT-демонстрации, если одного триггера недостаточно

    Если задача повторяется по одной и той же схеме, переходите к few-shot подходу: покажите модели несколько примеров «вход → рассуждение → ответ». Именно на таком типе демонстраций классическая работа Wei et al. строит CoT prompting, а Auto-CoT рассматривает это как вторую базовую парадигму рядом с zero-shot cue.

    Пример 1
    Вход: ...
    Разбор: ...
    Ответ: ...
    
    Пример 2
    Вход: ...
    Разбор: ...
    Ответ: ...
    
    Новая задача
    Вход: ...
    Верните ответ в том же формате.

    Демонстрации должны быть репрезентативными для вашей реальной задачи. Если вы хотите ускорить подготовку примеров через Auto-CoT-подход, используйте автоматически сгенерированные reasoning chains только как черновик: в статье прямо отмечено, что такие цепочки могут содержать ошибки и требуют проверки.

    Ожидаемый результат: модель повторяет нужную схему решения не по догадке, а по показанному образцу.

  6. Переключитесь на нативные reasoning-controls модели, если они доступны

    Для новых reasoning-моделей официальные гайды всё чаще рекомендуют упростить ручной CoT. В OpenAI Model guidance для GPT-5.6 советуют явно задавать reasoning.effort, использовать max для самых трудных задач, а сценарии, где качество важнее задержки и token usage, отдельно тестировать с pro. В Gemini 3 Developer Guide прямо сказано: если раньше вы использовали сложный CoT-пrompting, чтобы заставить Gemini 2.5 рассуждать, попробуйте Gemini 3 с thinking_level: "high" и упрощёнными промптами; этот параметр нельзя сочетать с legacy thinking_budget. В Claude docs manual CoT рассматривается как fallback: когда thinking off, можно попросить модель думать пошагово и разделить блоки через <thinking> и <answer>, а затем добавить self-check против test criteria.

    Практически это значит одно: не раздувайте промпт только потому, что «CoT раньше помогал». Для каждой модельной семьи сначала проверьте родной режим рассуждения, затем уже решайте, нужен ли ручной CoT поверх него.

    Ожидаемый результат: у вас появляется более короткий и более совместимый с конкретной моделью prompt-дизайн.

  7. Сравните варианты на одних и тех же evals и удалите лишние блоки

    OpenAI Model guidance рекомендует бенчмаркать на representative tasks и смотреть на task success, final-answer completeness, required evidence, tokens, latency и cost. В том же guide советуют убирать по одному блоку инструкций или примеров и прогонять те же evals повторно. Это лучший способ понять, где CoT помогает, а где только удлиняет ответ.

    Сравните минимум эти варианты на одном и том же наборе задач:
    1. Прямой промпт без CoT
    2. Прямой промпт + zero-shot CoT
    3. Few-shot CoT
    4. Нативный reasoning-режим модели
    
    Смотрите:
    - task success
    - полноту финального ответа
    - наличие обязательных доказательств
    - tokens
    - latency
    - cost

    Если после удаления одного блока качество не упало, блок не нужен. Если при включении native reasoning control качество выросло без усложнения prompt-а, это и есть ваш рабочий вариант.

    Ожидаемый результат: вы выбираете CoT не по впечатлению от одного ответа, а по повторяемому сравнению на реальных задачах.

Как проверить, что всё работает

Возьмите один и тот же набор репрезентативных задач и прогоните через четыре версии: прямой prompt, zero-shot CoT, few-shot CoT и нативный reasoning-режим модели. Сравнивайте только на одинаковом входе и по одинаковым критериям. Если возможно, попросите модель дополнительно возвращать self-check по вашим success criteria.

Что проверять Как понять, что стало лучше
Task success Задача решается корректно чаще, чем у baseline
Final-answer completeness Финальный ответ содержит все обязательные элементы
Required evidence Модель не пропускает нужные основания, ссылки на входные данные или критерии
Tokens Улучшение качества не съедает слишком много токенов
Latency Задержка остаётся приемлемой для вашего сценария
Cost Рост качества оправдывает расход

Рабочим можно считать тот вариант, который стабильно выигрывает у baseline на ваших задачах или даёт сопоставимое качество при меньшей сложности prompt-а. Если разницы нет, ручной CoT можно убрать.

Частые ошибки и исправления

  • Ошибка: вы начинаете с длинного CoT-промпта для любой современной модели.
    Решение: начните с короткой прямой инструкции и формата ответа. Для OpenAI reasoning-моделей, Gemini 3 и Claude сначала проверьте нативные reasoning-возможности и только потом добавляйте ручной CoT.
  • Ошибка: инструкция смешана с контекстом, а данные идут сплошным текстом.
    Решение: поставьте инструкцию в начало и отделите контекст через ###, тройные кавычки, XML или Markdown-заголовки, как рекомендуют OpenAI и Google.
  • Ошибка: вы просите «рассуждать пошагово», но не задаёте финальный формат ответа.
    Решение: отделите FINAL_ANSWER от reasoning-summary, evidence и self-check. Это упрощает проверку и снижает шум в выводе.
  • Ошибка: few-shot примеры или Auto-CoT-цепочки содержат неверные шаги.
    Решение: проверяйте демонстрации вручную перед использованием. Auto-CoT прямо отмечает, что автоматически сгенерированные reasoning chains могут содержать ошибки.
  • Ошибка: вы оцениваете CoT по одному удачному примеру.
    Решение: гоняйте одинаковые representative evals и фиксируйте task success, completeness, evidence, tokens, latency и cost.

Безопасность и ограничения

  • Эффект зависит от модели. Официальные гайды для новых reasoning-моделей всё чаще советуют сокращать ручной CoT и опираться на native thinking controls. Старый удачный промпт может не быть лучшим для новой версии модели.
  • Нет универсального шаблона для всех поставщиков. OpenAI, Google и Anthropic описывают похожие принципы ясности и разделителей, но различаются по рекомендуемому уровню ручного reasoning и по model-specific defaults.
  • Автоматически сгенерированные цепочки рассуждения ненадёжны без проверки. Это прямо отмечено в Auto-CoT.
  • Стоимость, доступность и поведение моделей меняются. В source pack отдельно указано, что цены, региональная доступность и plan/model ограничения нужно перепроверять на официальных страницах перед внедрением.
  • Эта инструкция не покрывает vendor-specific правила хранения данных и privacy-настроек. Если вы подаёте рабочие или чувствительные данные, перед запуском сверяйте текущие условия конкретного провайдера и его changelog.

Что делать дальше

Источники

Вопросы и ответы

Работает ли CoT на современных reasoning-моделях?

Да, но не как обязательный первый шаг. Официальные гайды для новых reasoning-моделей рекомендуют сначала использовать более короткие и прямые промпты, чёткие разделители, явный формат вывода и model-native thinking controls, а затем проверять результат на representative evals.

Что выбрать сначала: «думай пошагово» или few-shot примеры?

Начните с короткого zero-shot CoT-триггера. Если он не даёт стабильного улучшения, переходите к few-shot демонстрациям. Именно эти две парадигмы отдельно описаны в Auto-CoT.

Нужно ли всегда показывать подробное пошаговое рассуждение в ответе?

Нет. OpenAI советует отделять final answer от supporting reasoning, а Gemini 3 docs прямо отмечают, что модели обычно генерируют internal thinking автоматически, поэтому подробный step-by-step output часто не нужен.

Как понять, что CoT реально помогает, а не просто делает ответ длиннее?

Сравнивайте варианты на одном и том же наборе задач по task success, полноте финального ответа, required evidence, tokens, latency и cost. Если качество не растёт или выигрыша нет на одинаковых evals, ручной CoT можно убрать.

Можно ли генерировать CoT-демонстрации автоматически?

Можно использовать Auto-CoT-подход и официальный репозиторий Amazon Science как отправную точку для workflow, но автоматически сгенерированные reasoning chains могут содержать ошибки. Их нужно проверять перед реальным применением.

Шаги

HOW-TO
  1. Зафиксируйте задачу и критерии успеха

    | Выберите один тип задач и запишите, что считается правильным ответом, какие элементы обязательны и какие ошибки недопустимы.

  2. Соберите короткий базовый промпт

    | Поставьте инструкцию в начало, отделите контекст через разделители и задайте конкретный формат ответа без CoT.

  3. Разделите финальный ответ и reasoning

    | Вынесите итог, доказательства и self-check в отдельные поля или секции, чтобы ответ было легче проверять.

  4. Добавьте zero-shot CoT только при необходимости

    | Если baseline не справился, проверьте короткий триггер на пошаговое рассуждение и сравните результат по тем же критериям.

  5. Перейдите к few-shot CoT для повторяющихся задач

    | Покажите модели несколько репрезентативных примеров «вход → рассуждение → ответ» и проверьте корректность демонстраций.

  6. Используйте нативные reasoning-controls модели

    | Для OpenAI, Gemini 3 и Claude сначала протестируйте vendor-specific reasoning settings или fallback-механики, а не раздувайте ручной CoT.

  7. Прогоните одинаковые evals и уберите лишнее

    | Сравните прямой prompt, CoT-варианты и native reasoning по качеству, доказательности, токенам, задержке и стоимости.

Источники

SOURCES

Вопросы и ответы

FAQ
Работает ли CoT на современных reasoning-моделях?

Да, но не как обязательный первый шаг. Свежие официальные гайды советуют сначала использовать короткий и прямой промпт, разделители, формат ответа и model-native reasoning controls, а затем проверять эффект на representative evals.

Что выбрать сначала: «думай пошагово» или few-shot примеры?

Начните с короткого zero-shot CoT-триггера. Если он не даёт стабильного улучшения, переходите к few-shot демонстрациям. Auto-CoT отдельно описывает обе парадигмы.

Нужно ли всегда выводить подробное пошаговое рассуждение?

Нет. OpenAI рекомендует отделять final answer от supporting reasoning, а Gemini 3 docs отмечают, что модели обычно генерируют internal thinking автоматически, поэтому подробный step-by-step output часто не нужен.

Как понять, что CoT реально помогает?

Сравнивайте прямой prompt, zero-shot CoT, few-shot CoT и native reasoning-режим на одном и том же наборе задач по task success, полноте ответа, required evidence, tokens, latency и cost.

Можно ли генерировать CoT-демонстрации автоматически?

Да, Auto-CoT и официальный репозиторий Amazon Science показывают такой workflow, но автоматически сгенерированные reasoning chains могут содержать ошибки и требуют проверки.

Читайте также

LINKS