Короткие и проверяемые определения терминов.
Искусственный интеллект (AI) — зонтичный термин для машинных систем, которые по входным данным выдают прогнозы, рекомендации, решения или контент. Разбираем определения NIST, OECD, ЕС и границы термина.
Открыть →Corrective RAG (CRAG) — метод RAG из статьи 2024 года: он оценивает найденные документы, при слабом поиске может запускать corrective retrieval, включая веб-поиск, и затем очищает контекст перед ответом.
Открыть →Контекстное окно — это лимит токенов, который модель может учесть в одном обращении. Разбираем, что именно в него входит, как проверять реальные лимиты у провайдера и чем оно отличается от max output tokens.
Открыть →Токен (token) — единица, на которую модель разбивает текст, а в Gemini также части мультимодального ввода. Ниже — что это значит на практике, почему токен не равен слову и как его правильно считать.
Открыть →Трансформер (Transformer) — архитектура нейросетей из работы Attention Is All You Need. Коротко объясняем self-attention, схему encoder-decoder, применение, отличия от RNN/CNN и ограничения.
Открыть →Большая языковая модель (LLM) — общее название для transformer language models, обученных на большом объёме данных и обычно имеющих очень много параметров. Ниже — связь с Transformer, пример GPT-3 и ограничения самого термина.
Открыть →Обучение с подкреплением (RL) — это подход, где агент учится во взаимодействии со средой, получая вознаграждение и максимизируя суммарный результат. В статье: базовый цикл RL, state и observation, пример Gymnasium, ограничения и частые заблуждения.
Открыть →Обучение с учителем — это обучение модели на размеченных примерах: признаках X и правильных ответах y. Ниже — простое объяснение, схема fit/evaluate/predict, сравнение со смежными терминами и практические ограничения.
Открыть →Распределённое обучение — это запуск обучения модели на нескольких устройствах или узлах с координацией состояния. Разбираем DDP, tf.distribute, JAX, Ray Train и типичные ошибки трактовки.
Открыть →Self-RAG — это framework, где одна языковая модель сама решает, когда выполнять retrieval, когда отвечать без поиска и когда критиковать свой черновик через reflection tokens.
Открыть →