Г.4 Как устроены мультимодальные LLM (LLaVA, GPT-4V, Gemini)

У нас есть две суперсилы: LLM, которая умеет работать с текстом, и CLIP (или ViT), которая умеет «видеть» картинки и превращать их в векторы. Как их объединить?

Базовая архитектура (на примере LLaVA - открытой мультимодальной модели):

Vision Encoder (обычно CLIP или ViT) берёт картинку и превращает её в последовательность эмбеддингов (по одному на патч).

Проектор - это небольшой нейросетевой слой (обычно MLP - многослойный перцептрон), который превращает эмбеддинги картинки в эмбеддинги текста (в пространстве LLM).

LLM получает на вход текст (промт) и «псевдо-токены» от проектора. Для LLM это просто ещё одна последовательность токенов. Она не знает, что одни токены пришли из текста, а другие - из картинки.

Генерация - LLM генерирует ответ, учитывая и текст, и «увиденное» на картинке.

Метафора

Представьте, что вы разговариваете с человеком, который носит специальные очки. Очки превращают всё, что он видит, в текст и передают ему в ухо. Человек слышит: «справа от тебя рыжий кот, слева - зелёное дерево». Он не знает, что это не настоящие слова, а описание картинки. Он просто отвечает, как будто вы ему это сказали.

Что умеют такие модели

GPT-4V (Vision) - отвечает на вопросы по картинке: «что на этой фотографии не так?», «опиши эмоции человека», «прочитай текст на вывеске».

LLaVA - открытая альтернатива, работает локально, умеет описывать картинки и отвечать на вопросы.

Gemini (Google) - родился мультимодальным с самого начала. Он «видит» картинку не как отдельный шаг, а как часть своего внутреннего представления. Может анализировать видео, понимать жесты, распознавать объекты в реальном времени.

Пример работы (LLaVA)

- Пользователь: «Что на этой картинке?» (прикладывает фото заката над морем).

- Модель: «На картинке изображён закат над морем. Солнце садится за горизонт, небо окрашено в оранжевые и розовые тона. На воде видны отражения солнечных лучей.»

- Пользователь: «Какое настроение у этой фотографии?»

Модель: «Спокойное и умиротворяющее. Закаты обычно ассоциируются с завершением дня и отдыхом.»

Г.5 Глубже: как модели понимают видео и аудио

То, что работает для картинок, работает и для видео. Видео - это просто последовательность кадров. Если мы умеем обрабатывать один кадр, мы можем обработать и 24 кадра в секунду.

Два подхода к видео

Кадр за кадром

Каждый кадр пропускается через Vision Encoder, а LLM получает последовательность описаний кадров. Это просто, но дорого (24 кадра в секунду = 1440 кадров в минуту).

Пространственно-временные патчи

Видео нарезается на трёхмерные патчи (ширина, высота, время). Один патч захватывает небольшой участок экрана на нескольких кадрах. Это эффективнее, но сложнее в реализации.

Аудио

звук - это тоже последовательность. Его можно превратить в спектрограмму (визуальное представление звука) и обрабатывать как картинку. Или использовать специальные аудио-энкодеры (например, Whisper от OpenAI), которые превращают речь в текст, а затем текст передаётся в LLM.

Что уже умеют модели

· Video-LLaMA - описывает видео, отвечает на вопросы по сюжету.

· GPT-4V - умеет анализировать короткие видео (через последовательность кадров).

· Whisper + GPT-4 - расшифровывает аудио и отвечает на вопросы по содержанию.

Г.6 Практические возможности и ограничения

Что мультимодальные модели делают хорошо

Что пока не умеют (или умеют плохо)

Г.7 Риски и безопасность мультимодальных моделей

Когда модель умеет только читать текст, угрозы относительно понятны: промпт-инъекции, галлюцинации, утечка PII. Когда модель умеет ещё и видеть, появляются новые риски.

Основные риски

Как защищаться

Фильтрация на входе.

Не пропускать изображения с лицами (если нет согласия), с QR-кодами (если не ожидается), с подозрительными паттернами.

Аудит выходов.

Если модель описала человека на фото - проверить, есть ли у вас право на распознавание лиц.

Ограничение возможностей.

Для большинства приложений не нужно, чтобы модель читала мелкий текст на картинке. Отключите эту функцию, если не нужна.

Red teaming для изображений.

Тестируйте модель не только текстовыми промптами, но и специально подготовленными картинками.