Neal Patel представил Constrained Decoding Models как новую архитектуру
В снимке поста с подписью Neal Patel Constrained Decoding Models (CDMs) представлены как новая архитектура ИИ-моделей. Автор задаёт вопрос: если ответ уже передан языковой модели, зачем ей записывать его заново?
Далее автор пишет, что большинству производственных сценариев нужны быстрые, стабильные и доступные ответы. Это его формулировка, а не результат приведённых в посте измерений. Оригинальный пост с подписью Neal Patel.
Пост не объясняет устройство CDM и не приводит проверяемых сравнений скорости, стоимости или качества. Поэтому по этому анонсу нельзя заключить, как именно работает архитектура и превосходит ли она другие модели по этим показателям.