Вопросы для самопроверки

1. В чём принципиальная разница между LLM, Workflow и AI-агентом? Приведите пример задачи, где агент - оверкилл, и где он необходим.

2. Назовите пять уровней автономии агентов (L0–L5). Какой уровень соответствует ReAct? Какой - Plan-and-Execute?

3. Опишите три архитектурных паттерна агентов: ReAct, Plan-and-Execute, Supervisor. Для каких задач выбирают каждый?

4. В чём разница между краткосрочной и долгосрочной памятью агента? Где хранится каждая? Как работает семантическое кэширование?

5. Что такое MCP (Model Context Protocol)? Когда он нужен, а когда - избыточен?

6. Как обеспечить безопасность при выполнении кода, сгенерированного агентом? Назовите минимальные требования к песочнице.

7. Что такое observability для агента? Какие три столпа observability нужно собирать в production?

8. Назовите два типа мультиагентных архитектур (Supervisor vs Swarm). В чём их ключевое различие? Какую архитектуру проще отлаживать и почему?

9. Что такое Human-in-the-loop (HITL) в контексте агентов? Для каких действий HITL обязателен?

10. Почему агент - это оверкилл для 80% задач? Приведите три признака, что задачу можно решить без агента.

Мы разобрали, что такое агенты, чем они отличаются от LLM и workflow, какие бывают архитектурные паттерны - ReAct, Plan-and-Execute, Supervisor, Swarm. Теперь вы знаете, как агент принимает решения и что его цепочка рассуждений может быть длиннее, чем ваш табель-календарь.

Но знать архитектуру - мало. Агента нужно собрать. А для этого нужны инструменты. Фреймворки, песочницы, observability, долговременная память.

Это как автомобиль: вы можете изучить устройство двигателя и трансмиссии, но без гаечных ключей, диагностического оборудования и подъёмника вы его не почините.

Глава Б - про гаечные ключи для агентов. Про фреймворки (LangGraph, AutoGen, CrewAI), про выполнение кода в песочнице, про протокол MCP и про то, как не потерять нить разговора на сотне шагов. Инструментарий, без которого вы не выйдете из прототипа в продакшен.

ГЛАВА Б. ИНЖЕНЕРНЫЙ АРСЕНАЛ LLM: ОТ КВАНТИЗАЦИИ ДО ДАТАСЕТОВ

Архитектура агента - это теория. Фреймворки, песочницы, observability и память -это практика.

Без них вы не соберёте агента, который работает 24/7, не теряет контекст и не удаляет по ошибке базу данных.

В этой главе

· Сравнение фреймворков: LangGraph (тотальный контроль) vs CrewAI (быстрый старт) vs AutoGen (диалоги агентов) vs Semantic Kernel (.NET/Java).

· Песочницы: где и как безопасно выполнять код, сгенерированный агентом.

· MCP - протокол, который делает инструменты для агентов универсальными.

· Краткосрочная и долгосрочная память: Redis, векторные БД, семантическое кэширование.

· Безопасность: почему агент без песочницы - это бомба замедленного действия.

Инструменты, перечисленные во введении - песочницы, MCP, память, безопасность, - это надстройки. Но есть кирпич, с которого начинается любой реальный LLM-проект: сама модель.

А она, как правило, огромна. 70 миллиардов параметров в 16битной точности - это 140 гигабайт. Ни на одной нормальной видеокарте не поместится. Значит, до того как думать о песочницах и протоколах, мы должны ответить на вопрос: как эту модель вообще запустить на доступном железе, не потеряв разум.

Ответ - квантизация и сжатие. Вы меняете точность весов на скорость и компактность. Посмотрим, как это работает и где границы применимости.

Б.1 Квантизация и сжатие моделей

Одна фраза

Как уменьшить размер модели в 2-4 раза, чтобы она запускалась на обычном железе, почти не теряя в качестве.

Что внутри

Ключевые инсайты

Квантизация позволяет запускать LLaMA-70B на одной видеокарте с 24GB памяти

Потеря качества часто незаметна для рядовых задач, но может быть критична для математики или кода

Для production выбирайте INT8 (безопасно) или INT4 с AWQ (если нужна экономия)

Для кого

Для всех, кто запускает open-source модели локально - на ноутбуке, дешёвом сервере, в условиях ограниченного бюджета на GPU.

Почему квантизация работает

Веса LLM имеют избыточную точность - не все 16 бит нужны для сохранения смысла. Отбрасывая младшие биты, мы теряем немного качества, но выигрываем в памяти и скорости. Это как разница между профессиональной фотографией (RAW, 50 MB) и её сжатой версией (JPEG, 5 MB) - для большинства задач разница незаметна.

Три основных метода и их философия

GPTQ - классика, сжимает веса после обучения, хорош для GPU и максимальной скорости. AWQ умнее - он анализирует, какие веса важнее для конкретной модели, и сохраняет их в высокой точности, а остальные сжимает. GGUF - формат для бедных: работает на CPU, позволяет запустить 30-миллиардную модель на ноутбуке, но медленно.

Как выбирать

Если у вас есть современный GPU и нужна скорость - берите GPTQ или AWQ под vLLM. Если железо слабое или вы разворачиваетесь на CPU (например, на дешёвых серверах) - GGUF. Потеря качества в 1–5 процентов на большинстве бизнес-задач незаметна, но для математики или сложного кода лучше оставить модель в исходной точности.

Подводные камни

Квантизация может сломать редкие способности модели - например, точное извлечение фактов или многошаговые рассуждения. Всегда тестируйте на своих данных после квантизации. И помните: квантизация хороша для инференса, но для дообучения нужна полная точность (FP16/BF16).

Квантизация блестяще решает проблему инференса - модель сжимается и влезает в память. Но что, если вы не запускаете готовую модель, а тренируете её с нуля? Или дообучаете на своём датасете, но модель слишком велика даже для квантизации (а для тренировки квантизация не подходит — нужна полная точность)?

Здесь квантизация бессильна. Нужен другой подход: распределённый тренинг - когда не один GPU, а сотня или тысяча работают как единый суперкомпьютер. Это территория больших бюджетов и огромных кластеров. 99% инженеров никогда этим не займутся, но понимать, почему GPT4 нельзя обучить на домашнем ПК, полезно.