Chopthin-консенсус: как сохранить разнообразие траекторий при декодировании LLM без дообучения
Метод CCPS (Chopthin-Consensus Power Sampling) предлагает новый подход к сэмплированию на этапе инференса LLM, заменяя агрессивное обнуление весов на их сбалансированное сохранение. Это повышает точность ответов на задачах рассуждения до 10,6 п.п. без дообучения...
Открыть материал →