Что произошло
На Hacker News в разделе Ask HN появился вопрос разработчика, который поддерживает 54 LLM-воркфлоу в Django-приложении. До последнего времени он использовал только модели Anthropic через AWS Bedrock, но решил протестировать новые модели Gemini: по его предварительной оценке, они сопоставимы с Sonnet и Haiku по качеству, но выдают результат в 3–5 раз быстрее. Для валидации и нормализации ответов применяется Pydantic AI, а для контроля — собственный реестр, где для каждого сценария указаны цель, приоритет (интеллект, скорость, стоимость), эвал и порог прохождения.
Почему это обсуждают
Вопрос выбора модели актуален для многих команд: сценариев становится больше, модели выходят чаще, а баланс между качеством, скоростью и ценой приходится пересматривать постоянно. Реестр с эвалами — разумная отправная точка, но автор спрашивает, какие стратегии и системы используют другие. На момент публикации комментариев под постом нет, поэтому коллективного ответа сообщества пока не существует.
Что подтверждено и что неясно
Подтверждено только описание текущего стека автора: Django, 54 воркфлоу, Anthropic через Bedrock, тест Gemini, Pydantic AI, реестр метрик. Оценка производительности Gemini — личное наблюдение автора, а не независимо проверенный факт. Неясно также, как автор планирует обновлять реестр при появлении новых моделей и какие метрики считать решающими при замене провайдера.
Punkt | Detail
— | —
Платформа | Hacker News, раздел Ask HN
Сценарий | Django-приложение с 54 LLM-воркфлоу
Стек автора | Anthropic (Bedrock), Pydantic AI, реестр задач
Оценка автора | Gemini сравнимы с Sonnet/Haiku, вывод быстрее в 3–5 раз
Статус обсуждения | 0 комментариев на момент публикации
Куда смотреть дальше
Стоит следить за веткой на Hacker News: вероятно, появятся ответы с практическими стратегиями маршрутизации моделей. Для проверки заявлений о возможностях моделей полезно изучить официальные анонсы Anthropic.
Источники: исходное обсуждение — https://news.ycombinator.com/item?id=49262312; ссылка для проверки — https://www.anthropic.com/news.