Топ-10 промптов для сравнения моделей и выбора стека

<p>Выбор модели редко сводится к вопросу «какая умнее». Для продакшена важны задача, задержка ответа, стоимость, стабильность качества, требования к приватности, воспроизводимые evals и план fallback, если основной провайдер недоступен или ответ не проходит проверку. Ниже — 10 промптов, которые можно использовать как рабочие заготовки для сравнения моделей и выбора стека. Они не заменяют тестирование на ваших данных: вывод ИИ требует человеческой проверки и зависит от модели, контекста и качества входных данных.</p><h2>Как пользоваться подборкой</h2><p>Запускайте один и тот же промпт на кандидатах: например, быстрая модель для routing, сильная модель для сложной генерации, локальная модель для чувствительных данных. Сохраняйте ответы, latency, стоимость и ошибки в одной таблице. Не доверяйте самооценке модели: просите критерии, но подтверждайте их измерениями.</p><h2>Таблица решений</h2><table><thead><tr><th>Критерий</th><th>Что сравнить</th><th>Решение</th></tr></thead><tbody><tr><td>Задача</td><td>Классификация, RAG, код, чат, извлечение</td><td>Брать модель под основной сценарий, а не «среднюю по рынку»</td></tr><tr><td>Latency</td><td>P50, P95, streaming, таймауты</td><td>Для UX-критичных задач отделять быстрый слой от глубокого анализа</td></tr><tr><td>Цена</td><td>Цена input/output, кэш, retries, evals</td><td>Считать стоимость полного workflow, а не одного запроса</td></tr><tr><td>Качество</td><td>Точность, полнота, формат, устойчивость</td><td>Использовать тестовый набор и ручную разметку спорных кейсов</td></tr><tr><td>Приватность</td><td>PII, хранение, регион, логирование</td><td>Разделять публичные, внутренние и чувствительные запросы</td></tr><tr><td>Fallback</td><td>Деградация, повтор, альтернативная модель</td><td>Заранее описать правила переключения и ограничения ответа</td></tr></tbody></table><h2>Промпты для выбора модели</h2><h3>Промпт 1</h3><p><strong>Когда использовать:</strong> в начале выбора, чтобы разложить задачу на требования к модели и инфраструктуре.</p><blockquote>Ты AI-архитектор. Разбери задачу: {описание_задачи}. Пользователи: {аудитория}. Ограничения: {ограничения}. Составь матрицу требований к модели: качество, latency, цена, приватность, контекст, tool use, формат ответа, риски. Не выбирай победителя без данных.</blockquote><p><strong>Переменные:</strong> {описание_задачи}, {аудитория}, {ограничения}.</p><p><strong>Ожидаемый вывод:</strong> таблица требований, список неизвестных, план проверки.</p><p><strong>Проверка качества:</strong> есть ли измеримые критерии, а не общие слова вроде «быстро».</p><p><strong>Частая ошибка:</strong> модель сразу рекомендует популярный вариант без связи с задачей.</p><h3>Промпт 2</h3><p><strong>Когда использовать:</strong> перед бенчмарком, чтобы собрать честный тестовый набор.</p><blockquote>Составь eval-набор для задачи {задача}. Дай {количество} кейсов: простые, пограничные, вредные, неоднозначные и реальные. Для каждого укажи вход, идеальный ответ, критерии оценки и причину сложности.</blockquote><p><strong>Переменные:</strong> {задача}, {количество}, {домен}.</p><p><strong>Ожидаемый вывод:</strong> список кейсов с эталонами и рубрикой оценки.</p><p><strong>Проверка качества:</strong> в наборе должны быть негативные и пограничные примеры.</p><p><strong>Частая ошибка:</strong> тест состоит только из удобных запросов, на которых все модели выглядят хорошо.</p><h3>Промпт 3</h3><p><strong>Когда использовать:</strong> для сравнения качества ответов двух или более моделей на одном наборе.</p><blockquote>Оцени ответы моделей по рубрике. Задача: {задача}. Вход: {вход}. Эталон: {эталон}. Ответы: {ответы_моделей}. Поставь баллы 1-5 за точность, полноту, формат, безопасность и полезность. Объясни расхождения и отметь, где нужен человек-рецензент.</blockquote><p><strong>Переменные:</strong> {задача}, {вход}, {эталон}, {ответы_моделей}.</p><p><strong>Ожидаемый вывод:</strong> баллы, краткое обоснование, флаги для ручной проверки.</p><p><strong>Проверка качества:</strong> оценщик не должен знать названия моделей, если возможен blind test.</p><p><strong>Частая ошибка:</strong> судья предпочитает более длинный ответ, хотя он менее точен.</p><h3>Промпт 4</h3><p><strong>Когда использовать:</strong> когда нужно понять, выдержит ли модель SLA по задержке.</p><blockquote>Спроектируй latency-тест для AI-функции {функция}. Целевой SLA: {sla}. Нагрузка: {rps}. Дай метрики P50/P95/P99, размер входа и выхода, таймауты, retries, streaming, warm/cold start и способ логирования результатов.</blockquote><p><strong>Переменные:</strong> {функция}, {sla}, {rps}, {средний_размер_контекста}.</p><p><strong>Ожидаемый вывод:</strong> план нагрузочного теста и таблица метрик.</p><p><strong>Проверка качества:</strong> учитываются хвостовые задержки, а не только среднее время.</p><p><strong>Частая ошибка:</strong> забыть, что retries повышают и latency, и стоимость.</p><h3>Промпт 5</h3><p><strong>Когда использовать:</strong> для расчета экономики стека до запуска.</p><blockquote>Рассчитай модель стоимости для сценария {сценарий}. Дано: {запросов_в_день}, средний input {input_tokens}, средний output {output_tokens}, доля retries {retries}, evals {evals}, кэш {cache}. Сравни варианты {варианты}. Покажи дневную и месячную стоимость и факторы риска.</blockquote><p><strong>Переменные:</strong> {сценарий}, {запросов_в_день}, {input_tokens}, {output_tokens}, {варианты}.</p><p><strong>Ожидаемый вывод:</strong> расчет по вариантам, чувствительность к росту трафика.</p><p><strong>Проверка качества:</strong> цены должны быть вынесены как вводимые данные, а не выдуманы.</p><p><strong>Частая ошибка:</strong> считать только генерацию и не учитывать оценку, модерацию, embeddings и хранение.</p><h3>Промпт 6</h3><p><strong>Когда использовать:</strong> если данные пользователей, документы или логи могут быть чувствительными.</p><blockquote>Проведи privacy review для AI-сценария {сценарий}. Типы данных: {типы_данных}. Регуляторные требования: {требования}. Опиши риски PII, логирования, retention, передачи третьим лицам, обучения на данных, доступа сотрудников и предложи архитектуру минимизации данных.</blockquote><p><strong>Переменные:</strong> {сценарий}, {типы_данных}, {требования}, {регион}.</p><p><strong>Ожидаемый вывод:</strong> карта рисков, меры снижения, вопросы к юристам и провайдерам.</p><p><strong>Проверка качества:</strong> указаны конкретные места утечки: prompt, файлы, логи, tracing, evals.</p><p><strong>Частая ошибка:</strong> считать, что «не отправляем пароль» достаточно для приватности.</p><h3>Промпт 7</h3><p><strong>Когда использовать:</strong> для проектирования fallback, когда основной вызов не сработал.</p><blockquote>Разработай fallback-стратегию для AI-функции {функция}. Основная модель: {основная_модель}. Альтернативы: {альтернативы}. Условия отказа: timeout, rate limit, низкая уверенность, нарушение формата, policy fail. Опиши routing, деградацию ответа, повторные попытки и сообщение пользователю.</blockquote><p><strong>Переменные:</strong> {функция}, {основная_модель}, {альтернативы}, {критичные_ошибки}.</p><p><strong>Ожидаемый вывод:</strong> дерево решений и правила переключения.</p><p><strong>Проверка качества:</strong> fallback не должен молча ухудшать безопасность или приватность.</p><p><strong>Частая ошибка:</strong> переключаться на более дешевую модель для сложного кейса без проверки качества.</p><h3>Промпт 8</h3><p><strong>Когда использовать:</strong> чтобы выбрать стек вокруг модели: RAG, векторная база, очереди, observability.</p><blockquote>Предложи AI-стек для продукта {продукт}. Нужны функции: {функции}. Ограничения: {ограничения}. Сравни варианты для модели, embeddings, RAG, storage, orchestration, evals, monitoring и human review. Для каждого решения укажи компромиссы.</blockquote><p><strong>Переменные:</strong> {продукт}, {функции}, {ограничения}, {команда}.</p><p><strong>Ожидаемый вывод:</strong> архитектурная схема текстом, плюсы и минусы компонентов.</p><p><strong>Проверка качества:</strong> стек должен соответствовать компетенциям команды и масштабу.</p><p><strong>Частая ошибка:</strong> строить сложную агентную систему там, где достаточно поиска и шаблона.</p><h3>Промпт 9</h3><p><strong>Когда использовать:</strong> если нужно проверить устойчивость к плохим входам и prompt injection.</p><blockquote>Составь adversarial-тесты для функции {функция}. Проверь: prompt injection, попытки раскрыть system prompt, токсичный ввод, персональные данные, неправильный формат, пустой ввод, слишком длинный контекст. Для каждого теста дай ожидаемое безопасное поведение.</blockquote><p><strong>Переменные:</strong> {функция}, {политики}, {формат_ответа}.</p><p><strong>Ожидаемый вывод:</strong> набор атакующих кейсов и критерии прохождения.</p><p><strong>Проверка качества:</strong> тесты должны имитировать реальные пользовательские злоупотребления.</p><p><strong>Частая ошибка:</strong> проверять безопасность только на очевидных запрещенных словах.</p><h3>Промпт 10</h3><p><strong>Когда использовать:</strong> перед финальным решением о поставке в продакшен.</p><blockquote>Сделай финальную рекомендацию по выбору AI-стека. Данные тестов: {результаты_тестов}. Приоритеты: качество {вес_качества}, latency {вес_latency}, цена {вес_цены}, приватность {вес_приватности}. Сформируй shortlist, риски, условия запуска, fallback и список решений, которые должен подтвердить человек.</blockquote><p><strong>Переменные:</strong> {результаты_тестов}, {вес_качества}, {вес_latency}, {вес_цены}, {вес_приватности}.</p><p><strong>Ожидаемый вывод:</strong> рекомендация, неуверенности, план пилота и критерии остановки.</p><p><strong>Проверка качества:</strong> вывод опирается на результаты тестов, а не на репутацию моделей.</p><p><strong>Частая ошибка:</strong> выбрать один «лучший» вариант без условий, при которых он перестает быть лучшим.</p><h2>Мини-процесс сравнения</h2><ol><li>Опишите задачу и ограничения.</li><li>Соберите eval-набор из реальных и пограничных кейсов.</li><li>Запустите одинаковые тесты на кандидатах.</li><li>Измерьте качество, latency, стоимость и долю ошибок формата.</li><li>Проверьте приватность, логи и retention.</li><li>Настройте fallback и human review для рискованных ответов.</li></ol><h2>Чеклист запуска</h2><ul><li>Есть измеримые критерии качества и минимальный порог приемки.</li><li>P95 latency соответствует пользовательскому сценарию.</li><li>Стоимость посчитана с retries, evals, embeddings и мониторингом.</li><li>Чувствительные данные маскируются или не отправляются внешней модели.</li><li>Ответы высокого риска проходят человеческую проверку.</li><li>Fallback протестирован на timeout, rate limit и невалидном JSON.</li><li>Логи не содержат лишних персональных данных.</li></ul><h2>FAQ</h2><p><strong>Можно ли выбрать модель только по публичному benchmark?</strong> Нет. Публичные тесты полезны как ориентир, но ваш домен, формат ответа и данные могут изменить результат.</p><p><strong>Нужна ли отдельная модель для evals?</strong> Иногда да, но ее оценки нужно калибровать на ручной разметке. Автоматический судья тоже ошибается.</p><p><strong>Когда нужен fallback?</strong> Всегда, если функция влияет на деньги, безопасность, пользовательский опыт или операционные процессы.</p><h2>Источники и ограничения</h2><p>Полезные справочные материалы: <a href="https://help.openai.com/en/articles/10032626-prompt-engineering-best-practices-for-chatgpt">OpenAI prompt engineering best practices</a>, <a href="https://platform.openai.com/docs/guides/evals">OpenAI Evals</a>, <a href="https://docs.anthropic.com/en/docs/test-and-evaluate/eval-tool">Anthropic eval tool</a>, <a href="https://cloud.google.com/vertex-ai/generative-ai/docs/models/evaluate-models">Google Vertex AI model evaluation</a>, <a href="https://owasp.org/www-project-top-10-for-large-language-model-applications/">OWASP Top 10 for LLM Applications</a>.</p><p>Ограничение: промпты помогают структурировать выбор, но не доказывают универсальную правильность ответа. AI output требует human review и зависит от модели, настроек, контекста и входных данных.</p>