ГЛОССАРИЙ

Agent (AI Agent)

Система, которая не просто отвечает на вопросы, а выполняет действия: вызывает API, пишет код, планирует, исправляет ошибки. В отличие от LLM, агент сам решает, какие шаги сделать и в каком порядке.

Глава А

ASR (Automatic Speech Recognition)

Распознавание речи. Превращает аудио (звуковую волну) в текст. Современные ASR (Whisper, Vosk) используют нейросети.

Глава Д

CLIP

Модель от OpenAI, которая обучается на миллионах пар «картинка - описание». Умеет находить картинку по тексту и текст по картинке. Используется как «мост» между визуальной и текстовой модальностями.

Глава Г

CoT (Chain-of-Thought)

Техника промпт-инжиниринга, при которой модель просят «подумать шаг за шагом» перед ответом. Резко повышает точность на задачах логики, математики, планирования.

Глава Б

Concept Drift

Изменение связи между входными данными и целевой переменной со временем. Модель, обученная на старых данных, начинает ошибаться, даже если её код не менялся. Пример: после запуска новой программы лояльности клиенты перестали уходить - модель оттока врёт.

Глава В

Constitutional AI

Метод выравнивания модели без участия людей. Модель сама проверяет свои ответы против набора правил (конституции) и исправляет их. Дешевле RLHF.

Глава Б

Continuous Batching

Техника инференса, при которой сервер не ждёт завершения всех запросов в батче, а добавляет новые по мере готовности. Повышает пропускную способность.

Глава Б

Docker (песочница)

Технология контейнеризации. Для безопасности агента код, сгенерированный моделью, выполняется в изолированном Docker-контейнере с ограниченными правами.

Глава А

DPO (Direct Preference Optimization)

Более простой и дешёвый аналог RLHF для выравнивания модели. Не требует обучения отдельной модели вознаграждения. Становится стандартом для open-source моделей.

Глава Б

E2B

Облачная песочница для выполнения кода, сгенерированного ИИ. Изолирует выполнение, не даёт агенту навредить хостовой системе.

Глава А

Few-shot

Техника промпт-инжиниринга, при которой перед вопросом даётся 2–3 примера правильных ответов. Помогает модели понять формат.

Глава Б

Gemini

Мультимодальная модель от Google, которая с самого начала обучалась на тексте, картинках, видео, аудио. В отличие от GPT-4V (склейка vision encoder + LLM), Gemini - нативная мультимодальная модель.

Глава Г

HITL (Human-in-the-Loop)

Стратегия внедрения ИИ, при которой человек остаётся в контуре принятия решений. Начинают с режима ассистента (ИИ рекомендует, человек утверждает), затем постепенно автоматизируют.

Глава В

Intent (намерение)

В голосовых ассистентах - то, что хочет сделать пользователь: «поставить будильник», «узнать погоду», «позвонить маме». Выделяется маленькой моделью (классификатором).

Глава Д

JSON mode

Режим работы LLM, при котором модель гарантированно возвращает валидный JSON. Упрощает парсинг ответов в продакшене.

Глава Б

LangGraph

Фреймворк для построения агентов с детерминированным контролем над каждым шагом. Использует граф состояний. Даёт максимальный контроль, но требует больше кода.

Глава А

LangSmith / Langfuse

Платформы для observability LLM-приложений. Трассируют промты, логируют ответы, собирают метрики. Langfuse - open-source альтернатива LangSmith.

Глава А

LLaVA

Открытая мультимодальная модель (Large Language and Vision Assistant). Состоит из vision encoder (CLIP) и LLM (Vicuna), соединённых проектором.

Глава Г

LLM-as-a-Judge

Метод оценки качества ответов LLM, при котором более мощная модель (например, GPT-4) оценивает ответы другой модели по заданным критериям. Коррелирует с человеческой оценкой на 80–90%.

Глава Б

LoRA (Low-Rank Adaptation)

Метод эффективного дообучения. К замороженным весам модели добавляются маленькие обучаемые матрицы (0.1–1% от исходной модели). Позволяет дообучать LLM на одном GPU.

Глава Б

MCP (Model Context Protocol)

Протокол для подключения агентов к инструментам. Аналог USB-C для ИИ: один интерфейс для всех API, баз данных, файловых систем.

Глава А

MFCC (Mel-Frequency Cepstral Coefficients)

Признаки, извлекаемые из аудио для распознавания речи. Имитируют восприятие звука человеческим ухом. Используются на входе ASR.

Глава Д

Multi-Agent System

Система из нескольких агентов, каждый из которых специализируется на своей задаче. Бывает с центральным контролёром (Supervisor) или без него (Swarm).

Глава А

PagedAttention

Техника, используемая в vLLM для эффективного управления KV-кэшем. Аналог виртуальной памяти: кэш разбивается на страницы, которые могут быть разбросаны по памяти.

Глава Б (упоминается, подробно - в Книге 1)

Plan-and-Execute

Архитектурный паттерн агента, при котором сначала составляется полный план (список шагов), а затем он выполняется. Позволяет перепланировать при ошибках.

Глава А

Projector

В мультимодальных LLM - небольшой нейросетевой слой (обычно MLP), который превращает эмбеддинги картинки (от vision encoder) в эмбеддинги текста (в пространстве LLM).

Глава Г

ReAct (Reason + Act)

Архитектурный паттерн агента, при котором рассуждение и действие чередуются на каждом шаге. Агент не строит долгосрочный план, а реагирует на текущую ситуацию.

Глава А

Red Teaming

Контролируемая попытка взломать модель или агента до запуска в продакшен. Проводится командой тестировщиков или автоматическими инструментами (garak, PyRIT).

Глава Б

Reranking

Этап в RAG, когда после первичного поиска (10–50 чанков) специальная модель-кросс-энкодер переранжирует результаты, оставляя самые релевантные. Повышает точность.

Глава Б

RLHF (Reinforcement Learning from Human Feedback)

Метод выравнивания модели, при котором люди сравнивают пары ответов, обучается reward model, а затем модель дообучается получать высокие оценки. Делает модель вежливой и безопасной.

Глава Б (подробно - в Книге 1)

Speculative Decoding

Техника ускорения инференса. Маленькая модель быстро генерирует черновик ответа, большая модель только проверяет его. Ускорение до 2–3 раз.

Глава Б

Supervisor (в Multi-Agent)

Центральный агент в мультиагентной системе, который распределяет задачи между другими агентами, контролирует порядок выполнения и собирает результаты. Единая точка отказа и наблюдения.

Глава А

Swarm (рой)

Децентрализованная мультиагентная система, в которой агенты общаются напрямую, без центрального контролёра. Поведение возникает эмерджентно. Сложно отлаживать.

Глава А

TTS (Text-to-Speech)

Синтез речи. Превращает текст в аудио. Современные TTS (ElevenLabs, VITS) используют трансформеры или диффузионные модели.

Vision Transformer (ViT)

Трансформер для работы с изображениями. Изображение разрезается на патчи (16×16 пикселей), каждый патч становится аналогом токена.

Whisper

ASR-модель от OpenAI. Распознаёт 100+ языков, работает как на облаке, так и локально. Open-source, бесплатно.