А.5 Надежность, безопасность и будущее агентов (сводная глава)

Метафора (вводная)

Надёжность, безопасность и бизнес-модель - это три ножки табурета, на котором сидит production-агент. Если хотя бы одна ножка сломана, система падает. Надёжность отвечает на вопрос "работает ли агент стабильно". Безопасность - "можно ли ему доверять". Бизнес-модель - "сможем ли мы поддерживать его через год".

А.5.1 Надёжность: три столпа observability

Что логировать у каждого шага агента

· Входные данные шага (на что агент реагировал)

· Рассуждение агента (без него вы не отличите ошибку от неожиданного, но правильного решения)

Выбранное действие и параметры

· Результат действия (успех/неудача, возвращённые данные)

· Время выполнения (где узкое место?)

· Итоговое решение (продолжить/завершить)

Инструменты observability

Практическая рекомендация

Начинайте с Langfuse self-hosted. Бесплатно, open-source, функциональности хватает для большинства сценариев.

Observability показывает, что пошло не так. Но лучше, чтобы ничего не шло не так.

Безопасность агента - это отдельная дисциплина.

Атаки бывают разные: промптинъекции («забудь все инструкции и сделай то-то»), эксфильтрация данных (вызови этот API и передай туда мой приватный ключ), выполнение вредоносного кода.

Базовая защита - песочница (уже обсуждали) и Human-in-the-loop (HITL) для критических действий: удалить данные, отправить деньги, опубликовать пост. Без HITL не выпускайте агента в продакшен, если он может чтото сломать.

А.5.2 Безопасность: песочницы и Human-in-the-loop

Типы атак на агентов

Защитные меры (минимальный набор)

Безопасность и observability - это затраты.

А на чём зарабатывают создатели инструментов, которыми вы пользуетесь?

LangGraph - open source, но от разработчика LangChain, у которого есть коммерческий продукт LangSmith.

CrewAI - тоже open source, но с enterprise-подпиской.

Разберём бизнес-модели, лицензии (MIT, Apache, GPL, BSL) и то, как они влияют на ваш выбор.

А.5.3 Бизнес-модели open-source платформ

Карта бизнес-моделей

Лицензии

Ключевой инсайт

Если продукт бесплатен и у него нет enterprise-версии, присмотритесь, на чём зарабатывают создатели. Бесплатный сервис - это или реклама другого продукта, или вы - продукт (ваши данные), или инвестиции, которые закончатся через 18 месяцев.

А.5.4 Будущее: от агентов к цифровым двойникам

Эволюционная цепочка

Что нужно агенту, чтобы стать двойником

Практический вывод

Сегодняшние агенты - это строительные блоки для будущих двойников. Закладывайте эволюцию в архитектуру: не хардкодьте идентичность, проектируйте память как долгосрочное хранилище, разделяйте навыки и цели.

А.5.5 Итоговый контрольный checklist для production-агента

«До сих пор мы говорили только о тексте»

Мы разобрали агентов, память, observability, HITL-стратегию - всё на примере текстовых LLM. Потому что текст удобен для объяснения принципов. Токены, эмбеддинги, внимание - всё это проще показать на словах.

Но мир не состоит из одних слов. Пользователь присылает скриншот, фотографию, голосовое сообщение. Агент, который этого не видит и не слышит, - слеп и глух.

Хорошая новость

Архитектура не меняется. Механизмы внимания, эмбеддингов, позиционного кодирования работают и для картинок, и для звука. Меняется только способ превращать сырые данные в токены.

Как LLM научились видеть - разберём в главе Г. Как научились слышать и говорить - в главе Д.

РЕЗЮМЕ К ГЛАВЕ А

Агент - это оверкилл для 80% задач. Начинайте с LLM, потом workflow, и только если не хватает - агент.

Архитектура определяет поведение. ReAct - для простого, Plan-and-Execute - для сложного, Супервизор - для контроля, Рой - для исследований.

Инструменты - это выбор между контролем и скоростью. LangGraph - полный контроль, CrewAI - быстрый старт. Выбирайте под задачу.

Память - это не только "запомнить", но и "забыть". Нужны стратегии обрезания, сжатия, вытеснения.

Observability - это фундамент доверия. Без трейсов, логов и метрик вы не сможете отладить агента и доказать его безопасность.

Безопасность начинается с песочницы и Human-in-the-loop. Если агент может выполнять код или удалять данные - изолируйте и требуйте подтверждения.

Бизнес-модель инструмента влияет на вашу. MIT/Apache безопасны, VC-funded - риск, loss leader - можно пользоваться, пока родительская компания в этом заинтересована заинтересована.

Сегодняшний агент - это прототип завтрашнего двойника. Закладывайте эволюцию в архитектуру: идентичность, память, навыки, цели.

Финальная формула успешного агента

Правильный паттерн + Подходящий инструмент + Observability + Песочница + Понятная бизнес-модель = Production-ready агент.