РЕЗЮМЕ ГЛАВЫ 2
CNN (свёрточные сети) используют скользящее окно с обучаемыми фильтрами; эффективны для изображений, но не для текста из-за отсутствия пространственной структуры.
RNN (рекуррентные сети) обрабатывают текст последовательно, ведя блокнот-память, но страдают от невозможности параллелизации и затухания градиентов.
LSTM добавляет три вентиля (забывания, входной, выходной) и «ленту конвейера» (cell state), решая проблему долгой памяти, но остаётся последовательной.
GRU - упрощённая LSTM с двумя вентилями (reset и update), на 25–30% меньше параметров, чуть быстрее, но чуть хуже на сверхдлинных последовательностях.
Трансформер обрабатывает все токены параллельно через механизм самовнимания. Однако у трансформера есть фундаментальные недостатки: квадратичная сложность внимания (O(n²)), «вымывание» первых токенов на длинных контекстах и гигантские требования к памяти.
Decoder-only (GPT, LLaMA) - генерирует текст, глядя только на прошлые токены; основа всех современных чат-ботов.
Encoder-only (BERT, RoBERTa) - понимает текст целиком (двунаправленное внимание), но не генерирует; используется для анализа и классификации.
Encoder-Decoder (T5, BART) - преобразует одну последовательность в другую; идеален для перевода и суммаризации.
MoE (смесь экспертов) заменяет один FFN множеством экспертов, активируя только 1–2 из них; позволяет иметь триллионы параметров при умеренных затратах на инференс.
Диффузионные модели учатся постепенно убирать шум с картинки; победили GAN-ы в text-to-image благодаря стабильности и контролю (Midjourney, Stable Diffusion).
Альтернативы трансформеру - State Space Models (Mamba) и гибриды (RWKV, RetNet) предлагают линейную сложность O(n) и работу с контекстами в миллионы токенов. Плата - чуть хуже качество на задачах со сложными дальними связями.
Экосистема имеет значение. У трансформеров - тысячи готовых инструментов, библиотек и фреймворков. Альтернативы пока уступают в зрелости: для них меньше предобученных моделей, хуже документация и почти нет корпоративной поддержки. Для экспериментальных проектов это неважно, для продакшена - критично.
Гибридные подходы набирают силу. Некоторые новые архитектуры (Jamba, S4) пытаются комбинировать лучшие черты трансформеров и SSM: брать внимание для сложных зависимостей и линейную сложность для длинных контекстов. Скорее всего, будущее именно за гибридами.
Инженерный вывод
Выбор архитектуры зависит от задачи. Для универсальных решений с бюджетом - трансформер. Для сверхдлинных контекстов или работы на периферии - Mamba или RWKV. Для продакшена с жёсткими требованиями к памяти - гибриды. Трансформер остаётся стандартом, но не единственным игроком на поле.
Трансформеры универсальны: они работают не только с текстом. Изображение можно разрезать на квадратики (патчи), каждый патч превратить в вектор через линейный слой, добавить информацию о позиции - и подать в тот же трансформер. В отличие от текста, у патчей нет заранее заготовленного словаря, а размерность вектора выбирается инженером: больше - больше «места» для сложных признаков, но медленнее; меньше - быстрее, но можно потерять детали. Этот принцип лежит в основе Vision Transformer (ViT) и генеративных моделей вроде Stable Diffusion.
Вопросы для самопроверки
1. Почему CNN, отлично работающие с изображениями, плохо подходят для обработки текста?
2. В чём проявляется «забывчивость» простых RNN и как LSTM пытается эту проблему решить?
3. Какие недостатки LSTM устраняет GRU и какой ценой?
4. Три семейства трансформеров: decoder-only, encoder-only, encoder-decoder. Приведите примеры задач для каждого.
5. Какие фундаментальные недостатки есть у трансформеров и как альтернативные архитектуры (SSM, RWKV) пытаются их обойти?
6. Объясните метафору «клиники с узкими специалистами» применительно к архитектуре MoE.
7. Чем диффузионные модели принципиально отличаются от GAN? Почему диффузия победила в text-to-image?
8. Как трансформеры обрабатывают изображения? Что такое патч и почему его нельзя заменить токеном из словаря? Почему вектор патча обычно больше, чем количество пикселей в нем?
ГЛАВА 3. ОБУЧЕНИЕ МОДЕЛЕЙ
В предыдущей главе мы рассмотрели «железо» - различные архитектуры нейросетей, от свёрточных до диффузионных. Но архитектура - это только скелет. Чтобы модель заработала, её нужно обучить, вложить в неё знания.
И вот здесь начинается самое интересное: обучение современных языковых моделей - это не один этап, а целый конвейер.
Три ключевых этапа
1. Pre‑training (предварительное обучение) - модель читает интернет и учится предсказывать следующее слово. Это фундамент, но он стоит десятков миллионов долларов.
2. SFT (Supervised Fine‑Tuning, дообучение с учителем) - модель тренируется на парах «вопрос → идеальный ответ». Превращает «энциклопедию» в ассистента.
3. RLHF (Reinforcement Learning from Human Feedback, обучение с подкреплением на основе обратной связи от человека) - люди показывают модели, какие ответы хорошие. Делает модель вежливой и безопасной.
В этой главе мы разберём каждый этап. Узнаем, сколько это стоит, почему данные важнее архитектуры, и почему RLHF не делает модель «объективной», а вшивает в неё ценности разработчика.
