Б.7 Инференс и сервинг

Что это

Технологии запуска LLM в production - быстро, дёшево, масштабируемо.

Зачем

LLM большие и медленные. Инференс - самая дорогая часть в production (GPU стоят денег). Нужно уметь обслуживать тысячи запросов в секунду, не разорившись.

Ключевые технологии

vLLM (библиотека с высокопроизводительным бэтчингом), TensorRT-LLM (оптимизация от NVIDIA), TGI (Text Generation Inference от Hugging Face), continuous batching (динамическое объединение запросов в батчи), speculative decoding (ускорение генерации), квантизация на лету (уменьшение точности для скорости).

Для кого

Для всех, кто выводит LLM в production. Без этого либо медленно, либо дорого, либо и то и другое.

Почему просто model.generate() не работает

Запуск модели через HuggingFace в один поток - медленный и неэффективный. Модель простаивает 80 процентов времени, ожидая, пока CPU подготовит следующий батч. В продакшене нужны специализированные серверы.

vLLM - золотой стандарт

vLLM использует PagedAttention - аналог виртуальной памяти для KV-кэша. Он разбивает кэш на страницы, которые могут быть разбросаны по памяти, и динамически объединяет запросы в батчи. Ускорение в 10–20 раз по сравнению с базовым HuggingFace. Поддерживает большинство открытых моделей (LLaMA, Mistral, Qwen).

TGI от HuggingFace

Альтернатива vLLM, чуть медленнее, но проще в настройке. Хорош для быстрого старта и интеграции с экосистемой HuggingFace. Поддерживает токенизацию на GPU и готовый OpenAI-совместимый API.

Continuous batching и speculative decoding

Continuous batching - сервер не ждёт, пока завершится самый длинный запрос в батче, а добавляет новые запросы по мере готовности. Speculative decoding - маленькая модель быстро генерирует черновик ответа, а большая модель только проверяет его. Ускорение до 2–3 раз при почти нулевой потере качества.

Мы прошли путь от текста до production-сервера. Но мир не состоит из одного текста. Пользователь присылает скриншот, схему, фотографию. Ваша модель должна не только прочитать, но и увидеть.

Мультимодальные модели - это следующий рубеж. Они требуют больше памяти (vision encoder + LLM) и сложнее в безопасности. Но именно они открывают анализ медицинских снимков, описание видео для незрячих и чат-ботов, которые понимают, что на картинке нарисовано. Посмотрим, как модель видит картинки и как CLIP связывает текст и изображения.

Б.8 Модальности: мультимодальные модели

Что это

Модели, которые работают не только с текстом, но и с изображениями, видео, аудио.

Зачем

Мир не состоит из одного текста. Мультимодальность - это будущее: модели, которые видят, слышат и понимают одновременно.

Ключевые компоненты

CLIP (связь текста и изображений), LLaVA (открытая мультимодальная модель), Vision Transformer (обработка изображений), межмодальная attention (как текст и картинка смотрят друг на друга), генерация изображений внутри LLM.

Для кого

Для тех, кто строит системы, работающие с изображениями (анализ фото, генерация картинок по описанию, видеоаналитика). Тренд на 2025+.

Как модель видит картинки

Изображение разрезается на патчи (например, 16×16 пикселей). Каждый патч пропускается через линейный слой и превращается в вектор - такой же, как эмбеддинг токена. Дальше эти векторы идут в тот же трансформер, что и текстовые токены. Информация о позиции патча (где он был на картинке) добавляется через специальное позиционное кодирование.

CLIP и связь текста и изображений

CLIP обучается на миллионах пар (картинка, описание). В результате его эмбеддинги устроены так, что вектор картинки кота близок к вектору слова «кот». Это позволяет искать картинки по тексту и наоборот. CLIP используется как «переводчик» между модальностями во многих мультимодальных моделях.

Архитектуры мультимодальных LLM

Проектор (обычно небольшой MLP) превращает эмбеддинги изображения (от CLIP или Vision Transformer) в эмбеддинги текста (в пространстве LLM). Затем эти эмбеддинги вставляются в промт как псевдо-токены. LLM не знает, что это картинка - для неё это просто ещё один токен. Так работают LLaVA, GPT-4V, Gemini.

Когда это нужно

Мультимодальность - не хайп, а реальная потребность. Чат-бот, который видит схему или фотографию, анализатор медицинских снимков, система, которая описывает видео для незрячих. Но помните: мультимодальные модели требуют больше памяти (vision encoder + LLM), а их безопасность - отдельная большая тема (модель может «увидеть» то, что не должна).

Модель научилась видеть, слышать, читать и генерировать. Чем умнее модель, тем больше она может натворить, если её не контролировать. Она может дать опасный совет, раскрыть персональные данные, поддаться промптинъекции.

Безопасность и выравнивание (alignment) - это не привилегия, а обязательное условие выпуска LLM в люди. RLHF, Constitutional AI, гардрейлы, red teaming - методы, которые превращают потенциально опасный инструмент в полезного помощника. И это не разовая настройка, а непрерывный процесс.