Вопросы для самопроверки

1. В чём разница между «фактом» и «интерпретацией» в анализе ИИ? Почему это различие критично?

2. Опишите механизм самообмана в четыре шага. На каком шаге ИИ становится соучастником?

3. Почему с ИИ это работает, а с профессиональным психологом - нет? Назовите три причины.

4. Какие пять принципов отличают «ответственную» модель от «поддакивающей»?

5. Посмотрите на практический кейс из раздела Ж.6. Какие конкретные фразы в ответе «ответственной модели» делают её безопасной?

6. Как связаны эта глава и глава 3.4 (Этика и «красные линии»)? Что общего у «поддакивания» и «фильтрации опасного контента»?

7. Если вы проектируете цифрового двойника (глава 7), как вы проверите, что он не попадает в ловушку поддакивания?

РЕЗЮМЕ КНИГИ 2. 20 ГЛАВНЫХ ИДЕЙ

Книга 1 - про фундамент.

Книга 2 - про действие.

Здесь мы не спрашиваем "как это работает", мы спрашиваем "как это построить, как это внедрить и как не пожалеть об этом завтра".

БЛОК А. АГЕНТЫ

LLM, Workflow и Agent - разные вещи, не путайте.

LLM отвечает на вопросы, но ничего не делает. Workflow выполняет предсказуемую последовательность шагов, но не адаптируется. Agent сам решает, какие шаги выполнить, и может менять план.

Золотое правило

Не стройте агента там, где хватит промпта. Агент - это оверкилл для 80% задач.

Три архитектурных паттерна покрывают 95% сценариев

ReAct - для простых задач (1-3 инструмента, 2-4 шага), где важна прозрачность. Plan-and-Execute - для сложных многошаговых задач (10+ шагов), где план можно утвердить до начала выполнения. Supervisor - для задач, которые разбиваются на экспертные области, где нужен контроль и аудит. Рой (Swarm) - для исследований и симуляций, где поведение должно возникать эмерджентно.

Агент без памяти - бесполезен, агент без границ - опасен

Краткосрочная память (контекст LLM, KV-cache) хранит текущий диалог и план. Долгосрочная (векторная БД) хранит прошлые сессии и факты. Ключевой инсайт: Память - это не только про «запомнить», но и про «забыть». Нужны стратегии обрезания (trimming) и вытеснения (eviction).

БЛОК Б. ИНЖЕНЕРНЫЙ АРСЕНАЛ

Квантизация - способ запустить LLM на любом железе

INT8 и INT4 снижают потребление памяти в 2-4 раза с потерей качества 1-8%. Выбор метода: GPTQ/AWQ для GPU (vLLM), GGUF для CPU (llama.cpp). Квантизация позволяет запускать LLaMA-70B на одной видеокарте с 24GB памяти.

RAG - это цепочка компромиссов, а не магия

Chunking, эмбеддер, векторная БД, реранкер, гибридный поиск, порог уверенности - каждый выбор влияет на качество. Нет идеального RAG. Есть RAG, который работает на ваших данных и ваших вопросах.

Fine-tuning обычно не нужен (и это нормально)

Большинству проектов не нужен fine-tuning. Он дорогой, сложный и часто даёт меньше, чем хороший промпт + RAG. Когда нужен: специфический стиль, редкая терминология, удешевление инференса. Альтернатива - LoRA: дообучает 0.1–1% параметров, работает на одном GPU.

Prompt engineering - это новая форма программирования

Промпт - это код, написанный на естественном языке. Best practices: чёткая инструкция, few-shot примеры, defensive prompting, Chain-of-Thought, признание незнания. Промпты нужно версионировать, тестировать и мониторить.

Инференс - bottleneck №1 (по деньгам и скорости)

Обучение - разовые затраты, инференс - ежедневные. Основные решения: vLLM (PagedAttention) для скорости, квантизация для экономии памяти, speculative decoding для ускорения, continuous batching для throughput.

БЛОК В. КАРТА КОМПЕТЕНЦИЙ AI-ПРОДАКТА

ИИ - это функция, а не продукт

Редко когда ИИ продают как отдельный софт. Чаще это «фича», встроенная в существующий процесс. Если процесс (бизнес-процесс) сырой, ИИ его не спасёт, а только ускорит производство ошибок.

Недетерминированность - это норма, а не баг

В классической разработке функция при одних и тех же входных данных всегда выдаёт один результат. LLM могут выдавать разные ответы. Внедрение ИИ - это управление вероятностями, а не написание жесткой логики.

HITL - не костыль, а стратегия внедрения

Три уровня: Human-in-the-loop (ИИ рекомендует, человек утверждает) → Human-on-the-loop (ИИ действует, человек проверяет постфактум) → Full automation (только после долгого аудита). MVP для ИИ - это HITL, а не «фронтенд на коленке».

ROI для AI считается иначе

Классическая формула «выручка минус затраты» не работает. Два новых типа экономии: предотвращённые потери (штрафы, отток клиентов) и освобождение внимания сотрудника (перевели рутину в часы и умножили на ставку). Главная метрика - стоимость сэкономленного внимания.

MLOps ≠ DevOps

В DevOps вы доставляете код. В MLOps вы доставляете модель, которая живёт своей жизнью, стареет и требует переобучения.

Три компонента MLOps :

CI (интеграция кода и данных), CD (доставка модели через Model Registry), CT (Continuous Training - переобучение при дрейфе).

БЛОК Г. МУЛЬТИМОДАЛЬНЫЕ МОДЕЛИ

CLIP - мост между текстом и картинками

CLIP обучается на миллионах пар «картинка - описание» и создаёт единое пространство эмбеддингов, где вектор картинки близок к вектору её описания. Это позволяет искать картинки по тексту и наоборот.

Мультимодальные LLM = Vision Encoder + Проектор + LLM

Картинка → патчи → эмбеддинги (Vision Encoder) → проектор превращает их в «текстовые» эмбеддинги → LLM обрабатывает как обычные токены.

Главный риск:

визуальные инъекции - вредоносные инструкции, спрятанные на картинке ( QR -коды, мелкий текст).

БЛОК Д. ГОЛОСОВЫЕ АССИСТЕНТЫ

Голосовой ассистент = ASR + NLU/LLM + TTS

ASR превращает звук в текст (Whisper, Vosk). NLU/LLM понимает и генерирует ответ. TTS превращает текст в речь (ElevenLabs, VITS). Каждая точка - отдельная инженерная задача и отдельная точка отказа.

Латентность - главный враг голосовых интерфейсов

Человек ожидает ответ через 0.5–1 секунду. 3 секунды - уже «задумался». 5 секунд - диалог сломан. Как сокращать: стриминг ASR, кэширование частых ответов, маленькие модели для простых команд, аппаратное ускорение TTS.

БЛОК Е. ТЕСТИРОВАНИЕ И ЭВАЛЮАЦИЯ

Обычные тесты не работают - нужны вероятностные методы

assert response == "4" упадёт на «2+2 = 4». assert "4" in response пропустит галлюцинацию «2+2 = 5».

Решение:

проверяйте не точное совпадение, а свойства (формат, наличие ключевых слов) и используйте LLM - as - a - Judge для оценки смысла.

LLM-as-a-Judge - золотой стандарт оценки

Вы берёте GPT -4 (или Claude ) и просите оценить ответы вашей модели по критериям: точность, полнота, стиль. Корреляция с человеческой оценкой - 80–90%.

Оговорки:

position bias, length bias, self-enhancement. Калибруйте и перемешивайте ответы.

Nightmare Library - защита от регрессии

Заведите набор «кошмарных» запросов, на которых модель не имеет права деградировать: промпт-инъекции, запросы PII , опасные инструкции.

Правило:

Никогда не выпускайте новую версию, если она хуже старой на Nightmare Library.

ЭТИКА И ПОСЛЕСЛОВИЕ

ИИ может стать соучастником самообмана

Человек пишет текст, ИИ анализирует (честно), человек говорит «ты неправ», ИИ извиняется (чтобы быть полезным), человек получает «подтверждение от авторитета» - иллюзия укрепляется.

Ответственная модель:

не обязана соглашаться, различает факты и интерпретации, указывает на противоречия, отказывается от роли «высшего авторитета».

Лицензия на ИИ - не утопия, а неизбежность

ИИ может убить разум так же, как оружие убивает тело. Уже есть случаи суицидов после общения с чат-ботами.

Прогноз 2026–2030:

появятся категории ИИ по опасности, «психиатрические CAPTCHA », журналы взаимодействия для суда. Вопрос не «будет ли лицензирование?», а «когда и в какой форме?».