ГЛОССАРИЙ

Английский термин / Русский перевод / Пояснение / Инженерный смысл / Связано с

Attention - Механизм внимания

Вычисление весов важности между элементами последовательности. Позволяет модели при обработке токена «заглядывать» в другие токены и оценивать их значимость.

Сердце трансформера. Без внимания невозможна работа с длинными контекстами. Сложность O(n²) требует оптимизаций (Sliding Window, Sparse Attention).

Self‑Attention (1.4), Multi-Head Attention (1.5), GQA (4.2), MLA (4.3)

Cache - Кэш

Промежуточное хранилище для ускорения доступа к данным, которые уже были вычислены.

В ИИ критичен для скорости генерации. Без KV‑Cache каждый новый токен требовал бы пересчёта всего контекста заново.

KV‑cache (4.1)

Decoder - Декодер

Часть трансформера, которая генерирует выходную последовательность, глядя только на предыдущие токены (каузальное внимание).

Используется в генеративных моделях (GPT, LLaMA). Работает авторегрессионно - предсказывает слово за словом.

Encoder, Transformer (2.5)

Diffusion - Диффузионная модель

Модель, которая учится восстанавливать данные из зашумлённого представления, постепенно убирая шум шаг за шагом.

Основа Midjourney, Stable Diffusion, Kandinsky. Медленнее GAN, но стабильнее и даёт больше контроля.

GAN (2.7), Reverse diffusion

Embedding - Эмбеддинг, векторное представление

Отображение дискретного токена (числа) в непрерывный вектор - координаты в многомерном пространстве смыслов.

Размерность эмбеддингов (например, 4096) определяет, насколько тонкие смысловые отличия может улавливать модель и сколько памяти она занимает.

Token (1.1), Positional Encoding (1.3)

Encoder - Кодер

Часть трансформера, которая читает входной текст целиком (двунаправленно) и строит его скрытое представление.

Используется в моделях для анализа и классификации (BERT, RoBERTa). Не генерирует, а понимает.

Decoder, Transformer (2.5)

Expert - Эксперт

В архитектуре MoE - одна из параллельных подсетей (FFN), специализирующаяся на определённом типе данных или задач.

Позволяет наращивать общее число параметров до триллионов, активируя лишь 1–2 эксперта на токен.

MoE (2.6), Router, Gating

FFN (Feed‑Forward Network) - Сеть прямого распространения

Полносвязный слой внутри трансформерного блока, который применяется к каждому токену отдельно. Обычно расширяет размерность в 4 раза, а затем сжимает обратно.

После «совещания» (Attention) токен идёт в «кабинет» FFN, чтобы осмыслить услышанное. Без FFN модель не может делать сложные выводы.

Transformer block (1.5), SwiGLU, GeLU

Fine‑tuning - Дообучение

Обучение предварительно обученной модели на новой, обычно меньшей, размеченной задаче.

Гораздо дешевле полного обучения. Позволяет адаптировать базовую модель под конкретную нишу (юриспруденция, медицина).

Pre‑training (3.1), SFT (3.2), LoRA

Gating - Маршрутизация, вентильный механизм

Механизм, который определяет, какие эксперты активировать (в MoE) или какой объём информации пропустить (в LSTM/GRU).

Критичен для эффективности MoE и работы рекуррентных сетей. Предотвращает «мёртвые» эксперты и регулирует поток памяти.

MoE (2.6), LSTM (2.3), GRU (2.4)

GQA (Grouped Query Attention) - Групповое внимание по запросам

Компромисс между MHA и MQA: запросы группируются, каждая группа использует свои ключи и значения.

Даёт почти качество MHA при почти такой же экономии памяти, как MQA. Используется в LLaMA 2/3, Mistral.

MHA, MQA (4.2), Attention

Head - Голова внимания

Один экземпляр механизма внимания в multi‑head слое. Разные головы учатся искать разные типы связей (синтаксис, семантику, кореференцию).

Чем больше голов, тем больше разных аспектов текста может анализировать модель. Типично 32–96 голов.

Multi-Head Attention (1.5)

Inference - Инференс, вывод

Этап работы уже обученной модели на новых данных - когда мы задаём вопрос и получаем ответ.

Именно здесь считают токены и платят за API. Оптимизации (KV Cache, GQA) направлены на ускорение инференса.

Pre‑training, Fine‑tuning

KV‑cache - Кэш ключей и значений

Хранение вычисленных матриц K и V для предыдущих токенов, чтобы не пересчитывать их заново при генерации каждого нового слова.

Снижает сложность генерации с O(n²) до O(n). Без него работа с длинными текстами была бы невозможна.

Cache (4.1), Attention

Layer - Слой

Один уровень нейросети. В трансформере слой = блок из Attention, Add&Norm, FFN.

Чем больше слоёв, тем более сложные абстракции может строить модель (первые слои - слова, глубокие - смысл абзаца).

Transformer block (1.5)

LLM (Large Language Model) - Большая языковая модель

Модель с огромным числом параметров (миллиарды и триллионы), обученная на гигантских корпусах текста, способная генерировать и понимать текст.

Общее название для GPT, LLaMA, DeepSeek и др. Отличаются архитектурой (плотная/MoE), размером контекста, ценой.

Transformer (2.5), MoE (2.6)

LM Head - Головная сеть языкового моделирования

Последний линейный слой модели, который проецирует скрытое состояние токена на размер словаря, получая логиты для каждого возможного следующего токена.

Именно здесь происходит финальный выбор слова. Размер LM Head = размер словаря (32K–256K).

Softmax (1.6), Temperature

LoRA (Low‑Rank Adaptation) - Низкоранговая адаптация

Метод эффективного дообучения, при котором к замороженным весам модели добавляются небольшие обучаемые матрицы.

Позволяет дообучать модели с очень небольшими затратами памяти (гигабайты вместо терабайтов). Стандарт для open‑source дообучения.

Fine‑tuning, SFT

MHA (Multi‑Head Attention) - Многоголовое внимание

Параллельные механизмы внимания с разными матрицами Q, K, V, каждый со своей головой.

Позволяет модели одновременно искать разные типы связей. Стандарт до появления GQA/MQA.

Attention (1.5), Head, GQA

MLA (Multi‑head Latent Attention) - Латентное многоголовое внимание

Сжатие KV‑кэша в латентный вектор малой размерности, из которого K и V могут быть восстановлены при необходимости.

Экономит память в 16× (16 GB → 1 GB для 1M токенов). Используется в GigaChat Ultra и DeepSeek V2.

KV‑cache (4.3)

MoE (Mixture of Experts) - Смесь экспертов

Архитектура, в которой слои FFN заменены множеством параллельных экспертов, а маршрутизатор активирует только 1–2 из них на токен.

Позволяет иметь триллионы параметров при умеренных затратах на инференс. Используется в GPT-4, DeepSeek, Mixtral.

Expert (2.6), Router, Gating

MQA (Multi‑Query Attention) - Многовопросное внимание

Все головы внимания используют общие ключи и значения.

Максимальная экономия памяти, но качество падает (теряется diversity). Использовалась в первых версиях Falcon.

MHA, GQA (4.2)

MTP (Multi‑Token Prediction) - Предсказание нескольких токенов

Модель учится предсказывать не один следующий токен, а сразу несколько. На инференсе это позволяет генерировать блоками.

Ускорение генерации на 30–40%. Используется в GigaChat. Требует изменения функции потерь при обучении.

Next token prediction (3.1)

Pre‑training - Предварительное обучение

Первичное обучение модели на огромных неразмеченных корпусах (триллионы токенов) с задачей предсказания следующего токена.

Самый дорогой этап ($15–150 млн). Создаёт «фундамент» знаний, который потом дообучается под конкретные задачи.

Fine‑tuning (3.1), SFT

RAG (Retrieval‑Augmented Generation) - Генерация с дополнением из поиска

Модель перед генерацией ищет релевантную информацию во внешней базе данных (векторной БД) и добавляет её в контекст.

Позволяет модели отвечать на вопросы по актуальным данным, которые не входили в обучение. Решает проблему «свежести» знаний.

Embedding, Vector DB (5.3)

RLHF (Reinforcement Learning from Human Feedback) - Обучение с подкреплением на основе обратной связи от человека

Люди сравнивают ответы модели, на этих данных обучается reward model, а затем основная модель дообучается под её оценки.

Доводит поведение модели до человеческих предпочтений - полезность, честность, безопасность. Сложный и дорогой этап.

SFT (3.3), PPO, Reward model

Router - Маршрутизатор

Компонент в MoE, который для каждого токена вычисляет, какие эксперты лучше всего подходят, и направляет токен к K лучшим (обычно K=1 или 2).

Без роутера MoE не работает. Должен балансировать нагрузку, чтобы все эксперты обучались равномерно.

MoE (2.6), Expert, Gating

Self‑Attention - Самовнимание

Частный случай внимания, где запросы, ключи и значения берутся из одной и той же последовательности (токены «смотрят» друг на друга).

Базовый кирпичик трансформера. Именно он позволяет модели понимать контекст внутри одного текста.

Attention (1.4)

SFT (Supervised Fine‑Tuning) - Дообучение с учителем

Донастройка модели на парах «инструкция → идеальный ответ», размеченных людьми.

Превращает «предсказателя текста» в ассистента, который понимает формат диалога. Не добавляет знаний, но учит их правильно подавать.

Fine‑tuning (3.2), RLHF

Sparse - Разреженный

Активируется только часть элементов (например, не все эксперты в MoE или не все токены в Attention).

Разреженность - главный способ экономии ресурсов в больших моделях. Позволяет масштабироваться без взрывного роста затрат.

Sparse Attention (4.6), MoE (2.6)

Temperature - Температура

Параметр, масштабирующий логиты перед softmax. T→0 - модель выбирает самое вероятное слово (предсказуемо), T>1 - выравнивает вероятности (креативно, но риск бреда).

Главная ручка управления креативностью модели. Для фактологических задач ставят низкую T, для творческих - высокую.

Softmax (1.6), Top‑P, Top‑K

Token - Токен

Минимальная единица текста для модели. Может быть словом, частью слова или символом. Для модели это просто число (индекс из словаря).

Единица измерения стоимости и скорости. Чем больше токенов, тем дольше и дороже инференс. Русский текст «весит» больше английского.

Tokenizer (1.1), Embedding

Tokenizer - Токенизатор

Алгоритм (BPE, SentencePiece), который разбивает текст на токены. Обучается на корпусе и создаёт словарь частотных последовательностей.

Разные токенизаторы дают разный «вес» одного и того же текста. Важно выбирать токенизатор, оптимизированный под ваш язык.

Token (1.1), BPE

Top‑K - Выбор из K лучших

При генерации оставляются только K самых вероятных токенов, остальные отсекаются.

Жёсткий фильтр, гарантирующий, что модель не выберет редкое неуместное слово. Часто комбинируется с Top‑P.

Temperature (1.6), Top‑P

Top‑P - Ядерная выборка

При генерации оставляются токены, чья суммарная вероятность достигает порога P (например, 90%), остальные отсекаются.

Более гибкий фильтр, чем Top‑K - размер «ядра» меняется в зависимости от распределения вероятностей.

Temperature (1.6), Top‑K

TGI - Text Generation Inference

Инференс-сервер от HuggingFace для LLM. Поддерживает динамический бэтчинг, токенизацию на GPU, готовый API.

Альтернатива vLLM для продакшен-развертывания. Дает высокую производительность и простоту интеграции.

Inference (1.6), vLLM (5.5)

TPR / FPR - True Positive Rate, полнота (recall)

Доля положительных примеров, верно классифицированных как положительные. В контексте роутера - доля сложных запросов, отправленных на тяжелую модель.

Используется вместе с FPR для построения ROC-кривой. Показывает, какую долю «сложных» запросов роутер не пропускает в легкую модель.

ROC-кривая (6.2), FPR

Transformer - Трансформер

Архитектура нейросети, основанная только на механизме внимания (без RNN/CNN). Обрабатывает все токены параллельно.

Революция 2017 года, сделавшая возможными современные LLM. Именно трансформеры используются во всех актуальных языковых моделях.

Attention (2.5), Self‑Attention

vLLM - Высокопроизводительный инференс-сервер для LLM. Использует PagedAttention - аналог виртуальной памяти для KV Cache, что позволяет ускорить генерацию в 10–20 раз.

Стандарт де-факто для развертывания LLM в продакшене. Значительно экономит память и увеличивает throughput.

KV Cache (4.1), TGI (5.5)

Кореференция - Coreference

Явление, когда два или больше слов в тексте указывают на один и тот же объект («Иван купил машину. Он рад ей»).

Multi-Head Attention (1.5)