Тестовая выборка (Test Set)
Отложенная часть данных, которую используют только для финальной проверки того, как обученная модель работает на ранее невидимых примерах.
Разобраться в терминеСловарь терминов ИИ и нейросетей
Словарь терминов искусственного интеллекта и нейросетей: определения, объяснения механизмов и ссылки на материалы по теме.
Токен (Token)
Токен — это единица, на которую tokenizer разбивает вход и выход модели; точный счёт зависит от конкретной модели и encoding.
Разобраться в терминеТокенизация (Tokenization)
Токенизация — это преобразование текста в токены, причём разбиение зависит от конкретной модели и encoding.
Разобраться в терминеТрансформер (Transformer)
Transformer — это архитектура нейросетей из статьи Attention Is All You Need, основанная на attention и изначально построенная без рекуррентности и свёрток.
Разобраться в термине