Вопросы для самопроверки
1. Зачем нужен KV Cache и какую проблему он решает?
Подсказка: подумайте о сложности генерации без него.
2. В чём разница между MHA, GQA и MQA? Какая архитектура даёт максимальную экономию памяти, а какая - максимальное качество?
3. Как работает MLA и сколько памяти он экономит для контекста в 1 миллион токенов?
4. На сколько процентов MTP может ускорить генерацию и какова плата за это ускорение?
5. В чём идея Sliding Window Attention? Во сколько раз он эффективнее полного внимания при контексте 1M токенов и окне 4096?
6. Какие паттерны разреженности используются в Sparse Attention? Чем отличается BigBird от Longformer?
7. В чём принципиальная разница между GPTQ и AWQ? Какой метод даёт меньше потерь качества и почему?
8. Для каких сценариев подходит GGUF, а для каких - GPTQ? Что важнее при выборе метода квантизации: железо, скорость или качество?
9. Что такое FlashAttention? Чем она отличается от архитектурных оптимизаций (GQA, Sliding Window, Sparse Attention)? Почему её называют «алгоритмической», а не «архитектурной» оптимизацией?
ГЛАВА 5. КАК ВЫБИРАТЬ МОДЕЛИ И ПОДРУЖИТЬ ИХ С ВАШИМИ ДАННЫМИ
Вы обучили модель (или взяли готовую). Она отлично справляется с тестовыми примерами. Но теперь вопрос: какую модель взять в реальный проект?
В индустрии - десятки моделей. GPT-4o, Claude, LLaMA, Mistral, Gemini, GigaChat, DeepSeek. У каждой - свои параметры, контекст, цена, скорость. И маркетинг каждой говорит: "я самая лучшая".
Как не ошибиться? Как сравнить модели, которые работают на китайском и русском, которые используют MoE или плотные архитектуры, которые обещают контекст в миллион токенов, но на практике "забывают" начало?
Ответ - в этой главе. Мы научимся читать спецификации моделей как инженер, а не как маркетолог. Смотреть не на общее число параметров, а на активные. Не верить бенчмаркам, а тестировать на своих данных. И главное - считать TCO, потому что даже самая умная модель разорит, если неправильно выбрать инфраструктуру.
Активные vs общие параметры
С появлением MoE инженеры перестали понимать, что значит "большая модель".
ЧТО ОЗНАЧАЮТ ЦИФРЫ
Общие параметры определяют, сколько знаний может выучить модель.
Активные параметры определяют, сколько вычислительной мощности нужно на инференс.
Для инженера важнее активные - они влияют на бюджет.
"Контекст 1M токенов" звучит круто, но:
Инженерный чек-лист для long context
□ Тестировали ли на ваших данных?
□ Есть ли KV Cache оптимизации?
□ Какая реальная скорость на 500K?
□ Сколько стоит 1M токенов в валюте?
5.1 СРАВНЕНИЕ СОВРЕМЕННЫХ (2024-2025) МОДЕЛЕЙ.
Как не утонуть в цифрах: три принципа
Перед вами таблица современных моделей (2024–2025). Не пытайтесь запомнить все цифры.
1. Активные параметры важнее общих.
MoE-модель (DeepSeek V3) может иметь 671 млрд параметров, но работать как 37-миллиардная - потому что активирует только 2 эксперта из 256.
2. Контекст в 1 млн токенов - маркетинг, пока не проверили.
Модель может технически принять миллион токенов, но на практике «помнить» только первые 100 тыс., а остальное терять в шумах внимания.
3. Бенчмарки врут.
MMLU, HellaSwag, GSM8K - модели заучивают тесты. Не верьте цифрам, пока не прогнали свой тестовый набор из 50–100 реальных запросов.
И ещё три вещи, о которых молчат таблицы
1. Цена за токен - не равна TCO.
Дешёвый API может убить бюджет на больших объёмах. Дорогой on-prem - окупиться через полгода. Считайте не вход, а выход.
2. Скорость генерации (token / s) важнее, чем время первого токена.
Для длинных ответов - да. Для чат-бота - наоборот. Смотрите на свой сценарий, а не на рекламную цифру.
3. Русский язык почти всегда дороже английского.
Если модель не оптимизирована под него, вы переплачиваете за токены в 1.5–2 раза. Проверяйте на своём языке, не верьте «поддерживает» в спецификации.
Теперь - к таблице. Используйте её как отправную точку, а не как истину в последней инстанции.
Сводная таблица
ТАБЛИЦА 5.1: СРАВНЕНИЕ СОВРЕМЕННЫХ МОДЕЛЕЙ (2024-2025)
Таблица сравнения моделей
Не истина в последней инстанции, а скорее карта местности, где отмечены основные ориентиры. Важно понимать, что любые сравнения моделей сильно зависят от контекста. Одна и та же модель может показывать разное качество на английском и русском, на коде и на поэзии, на коротких запросах и на длинных документах. Поэтому воспринимайте таблицу как точку входа, а не как готовое решение.
Цифры параметров - самый коварный раздел
Когда вы видите "671B" у DeepSeek V3, это общее число параметров, но активных из них только 37B благодаря архитектуре MoE. Модель физически занимает место на диске как гигант, но работает с затратами как середнячок. У плотных моделей (GPT-4o) общие и активные параметры совпадают - они тяжелы настолько, насколько выглядят. Сравнивайте не только цифры, но и архитектуру: MoE позволяет иметь огромную базу знаний при умеренной стоимости инференса, плотные модели - проще в развёртывании и предсказуемая по нагрузке.
Контекст в 1M токенов - маркетинговый козырь, а не гарантия
Модель может технически принимать миллион токенов на вход, но на практике «помнить» только первые 100K, а остальное терять в шумах внимания. Или время ответа на таком контексте вырастет до десятков секунд, что убьёт пользовательский опыт. Всегда проверяйте, как модель реально работает на ваших длинных документах, а не только на синтетических тестах из бенчмарков.
И последнее: цены и доступность меняются быстрее, чем архитектуры
То, что сегодня стоит $10 за миллион токенов, завтра может подешеветь до $5 или, наоборот, вырасти из-за ажиотажа. А модель, которая вчера была доступна только по API, сегодня может выйти в open-source. Таблицу придётся обновлять раз в полгода, в отличие от принципов работы внимания или оптимизаций, которые останутся с вами навсегда. Мы даём здесь срез эпохи 2024–2025 годов - ваша задача научиться читать такие срезы самостоятельно в будущем.
