Войти в систему
Войти с помощью соц. сетей:
1. Чем недетерминированность LLM отличается от классического бага? Почему это норма, а не ошибка?
2. Опишите три уровня HITL-стратегии (Human-in-the-Loop). Какой уровень - MVP? Когда можно переходить к полной автоматизации?
3. Какие два типа экономии лежат в основе ROI для AI-проектов? Приведите пример предотвращённых потерь и освобождения внимания сотрудника.
4. Чем MLOps отличается от DevOps? Назовите три компонента MLOps (CI, CD, CT) и объясните, зачем нужен каждый.
5. Что такое дрейф концепции (concept drift)? Приведите пример из реальной жизни, когда модель перестаёт работать, даже если её код не менялся.
6. Что такое Shadow Mode и Canary-релизы в контексте LLM? Зачем они нужны?
7. Назовите основные роли в AI-команде. Кто отвечает за данные? Кто - за развёртывание и мониторинг? Кто - за бизнес-метрики?
8. Какие этапы включает AI PDLC? Чем он отличается от классического SDLC?
9. Почему accuracy 99% не означает «готово» для бизнеса? Что такое «цена ошибки» и как она влияет на выбор порога уверенности?
10. Какие три вопроса нужно задать себе перед защитой AI-проекта перед собственником? Почему важно отвечать не только «когда сделаем», но и «как измерим успех»?
Мы разобрали, как выстроить процесс: от бизнес-задачи до мониторинга и итераций. Это каркас, на котором держится любой ИИ-проект - хоть с текстом, хоть с картинками, хоть с видео.
Но до сих пор мы говорили только о тексте. О токенах, эмбеддингах, внимании. О том, как выбрать модель и не провалить внедрение.
А мир не состоит из одного текста. Пользователь присылает скриншот, фотографию, голосовое сообщение. Конкурент внедряет видеоаналитику. А вы всё ещё отвечаете только на буквы.
Пора это исправлять. Дальше - о том, как LLM научились видеть, слышать и понимать мир вокруг.
«Одна картинка стоит тысячи слов. А для LLM - еще и тысячи токенов »
От текста - к картинкам, звуку и видео
В главе А мы говорили об агентах - системах, которые видят текст, принимают решения и действуют. Но мир вокруг нас не текст. Пользователь присылает скриншот, фотографию, голосовое сообщение. Конкурент внедряет видеоаналитику. А ваш агент всё ещё слеп и глух.
Эта глава - о том, как LLM научились видеть. А следующая (глава Д) - о том, как научились слышать и говорить.
Текст - это только вершина айсберга. Вокруг - картинки, видео, аудио, жесты, схемы. Если ваш ИИ работает только с текстом -он слеп и глух.
Глава Г - о мультимодальных моделях. О том, как они устроены (Vision Transformer, CLIP, проекторы), что умеют (отвечать на вопросы по фото, анализировать видео, распознавать эмоции) и где пока падают (длинное видео, 3D-сцены, сложные визуальные рассуждения).
А ещё - о новых рисках. Потому что модель, которая видит, может распознать лицо без согласия, прочитать мелкий текст на документе, который вы не хотели показывать, или попасться на визуальную инъекцию (вредоносный QR-код на картинке).
Если вы думали, что безопасность LLM - это сложно, дождитесь мультимодальности.
От токенов к патчам: одна и та же логика
В Книге 1 мы разобрали, как текст превращается в числа: токен → эмбеддинг (вектор) → позиционное кодирование → внимание. Эмбеддинги - это точки в многомерном пространстве, где близкие по смыслу слова находятся рядом.
С картинками ровно та же логика. Только вместо токенов - патчи (квадратные фрагменты изображения). Каждый патч превращается в вектор — эмбеддинг патча. Дальше - то же позиционное кодирование (чтобы модель знала, где этот патч был: в левом верхнем углу или в правом нижнем) и то же внимание.
Если токен - это «жетон смысла» для слова, то патч - это «жетон смысла» для кусочка изображения. И те, и другие живут в одном пространстве эмбеддингов, где близость означает семантическую схожесть.
Мультимодальность - не новая магия. Это просто расширение словаря: теперь модель может принимать не только текстовые токены, но и «токены-патчи» - то есть видеть.
LLM, которые мы разбирали в первых семи главах, работают только с текстом. Они могут написать роман, ответить на вопрос по истории, перевести документ. Но дайте им картинку - они ослепнут. Дайте аудиозапись - оглохнут.
А мир вокруг нас - не текст. Он состоит из изображений, звуков, видео. Человек понимает всё это одновременно. Мы смотрим на фотографию и видим кота. Мы слышим сирену и понимаем, что едет скорая. Мы смотрим фильм и улавливаем сюжет, эмоции актёров, музыку.
Если мы хотим, чтобы ИИ стал по-настоящему полезным, он должен научиться видеть и слышать. Так появились мультимодальные модели - те, которые работают с несколькими типами данных одновременно.
Эта глава - о том, как трансформеры, созданные для текста, научились понимать картинки. И что из этого получилось.
Войти с помощью соц. сетей: