Г.8 Архитектурные паттерны для мультимодальных приложений

Если вы строите приложение с мультимодальной LLM, вот три основных подхода.

1. Всё в одном (например, GPT-4V, Gemini).

Вы просто отправляете в API картинку и текст, модель возвращает ответ. Самый простой способ, но самый дорогой (и непрозрачный). Подходит для прототипов и задач, где не нужен тонкий контроль.

2. CLIP как роутер.

Сначала CLIP определяет, что изображено на картинке (например, «кот»). Потом на основе этого выбирается специализированная модель: для кошек - одна, для собак - другая. Экономит ресурсы, если классов немного.

3. Каскад: маленькая модель → большая модель.

Маленькая (быстрая, дешёвая) модель предварительно анализирует картинку: выделяет объекты, читает текст. Результаты её работы передаются в большую LLM как текст. LLM не видит картинку, только её «конспект». Это дёшево и быстро, но теряется часть контекста.

Что выбрать?

Г.9 Будущее мультимодальных моделей

Куда движется индустрия?

1. Нативные мультимодальные модели

Gemini уже родился мультимодальным. Это значит, что он не склеивает отдельные vision encoder и LLM, а обучается сразу на тексте, картинках, видео, аудио. Такие модели лучше понимают связи между модальностями.

2. Видео в реальном времени

Модели научатся анализировать видео не постфактум, а в реальном времени. Это открывает путь к агентам, которые «видят» мир через камеру. Агент смотрит на экран компьютера и понимает, что происходит. Агент смотрит на улицу и предупреждает о приближающейся машине.

3. Генерация изображений внутри LLM

Сейчас LLM может описать картинку, но не нарисовать. В будущем одна модель сможет и понять, и сгенерировать. Вы пишете «нарисуй кота в шляпе», и модель рисует. Вы спрашиваете «что на этой картинке не так?», и модель отвечает, указывая на ошибку.

4. Мультимодальные агенты

Агент, который может видеть, - это принципиально новый уровень автономии. Он может прочитать инструкцию на бумаге, посмотреть на интерфейс программы, понять, куда нажать. Он может ориентироваться в незнакомом помещении по камере. Это уже не просто чат-бот, а робот (пусть и виртуальный).

Что останется проблемой

Вычислительные ресурсы

Мультимодальные модели требуют в 5–10 раз больше памяти и вычислений, чем текстовые. Vision encoder + LLM - это два тяжеловеса в одной связке.

Обучающие данные

Хорошие размеченные мультимодальные данные (картинка + описание + диалог) - редкий и дорогой ресурс.

Безопасность

Риски, описанные в разделе Г.6, будут только расти. Модель, которая видит, - это модель, которая может быть скомпрометирована визуально.

А если не видеть, а слышать?

Мы разобрали, как модели работают с картинками и видео. Но голос - это не просто ещё одна модальность. Это самый естественный для человека способ общения. И самый сложный для машины. Распознавание речи (ASR), синтез речи (TTS), латентность в реальном времени - об этом в следующей главе.

РЕЗЮМЕ К ГЛАВЕ Г (для инженера)

Vision Transformer (ViT) - это трансформер, который работает с картинками, разбивая их на патчи. CLIP - это модель, которая связывает картинки и текст в едином пространстве эмбеддингов.

Мультимодальные LLM (LLaVA, GPT-4V, Gemini) объединяют vision encoder (чтобы «видеть») и LLM (чтобы «понимать» и «отвечать»). Проектор превращает эмбеддинги картинки в эмбеддинги текста.

Что они умеют

распознавать объекты, читать текст на картинках, анализировать эмоции, отвечать на вопросы по фото, описывать изображения для незрячих.

Что не умеют

сложные визуальные рассуждения («что будет, если убрать этот стул?»), длинное видео (часы), понимание глубины и трёхмерных сцен.

Риски

распознавание лиц без согласия, deepfake-атаки, визуальные инъекции, галлюцинации. Защита - фильтрация на входе, аудит выходов, red teaming.

Архитектурные паттерны

«всё в одном» (просто, дорого), CLIP как роутер (дёшево, для классификации), каскад (быстро, но теряется контекст).

Будущее

нативные мультимодальные модели, видео в реальном времени, генерация изображений внутри LLM, мультимодальные агенты.

Вопросы для самопроверки

1. Чем Vision Transformer (ViT) отличается от текстового трансформера? Что такое патч и зачем он нужен?

2. Как обучается CLIP? Почему его называют «мостом» между текстом и картинками?

3. Опишите архитектуру мультимодальной LLM на примере LLaVA. Какие три компонента в неё входят?

4. Какие задачи мультимодальные модели решают хорошо? Какие - пока плохо?

5. Назовите три основных риска безопасности при использовании мультимодальных моделей. Как с ними бороться?

6. В чём разница между подходами «всё в одном», «CLIP как роутер» и «каскад»? Для каких сценариев подходит каждый?

7. Почему нативные мультимодальные модели (как Gemini) потенциально лучше, чем склеенные из vision encoder и LLM?