RLT предлагает переносить состояние декодера между токенами — пока без кода и тестов
В техническом описании Recurrent Looped Transformer предложена архитектура, которая сохраняет финальное состояние рекуррентного декодера между токенами. Конфигурация с 48 слоями энкодера и 48 слоями декодера выполняет 96 логических блоков на токен, однако код, веса...
Открыть материал →