RLT предлагает переносить состояние декодера между токенами — пока без кода и тестов
В техническом описании Recurrent Looped Transformer предложена архитектура, которая сохраняет финальное состояние рекуррентного декодера между токенами. Конфигурация с 48 слоями...