5.4 Вычислительная инфраструктура: почему LLM «едят» память, а не процессор

Прежде чем мы погрузимся в дефицит HBM и сравнение GPU, давайте на минуту отступим назад и разберемся, что такое GPU вообще и почему именно они правят бал в мире ИИ.

GPU vs CPU: в чем разница

CPU (Central Processing Unit, центральный процессор) - это «менеджер» компьютера. У него несколько мощных ядер, каждое умеет делать сложные операции, переключаться между задачами, работать с логикой. Но ядер мало - обычно 8–64.

GPU (Graphics Processing Unit, графический процессор) изначально создавался для игр: нужно одновременно просчитывать миллионы пикселей на экране. Поэтому у GPU тысячи простых ядер (например, 16384 у H100), которые отлично справляются с однотипными операциями, выполняемыми параллельно.

Для кого этот раздел

Если вы продакт, менеджер или энтузиаст - вам достаточно понять: почему LLM нельзя запустить на обычном сервере, как прикинуть потребности в памяти, что HBM - это дефицит. Инженерные таблицы можно пролистать по диагонали. Главные выводы - в конце главы.

Если вы инженер, MLOps или архитектор - читайте всё, включая таблицы. Вам эти цифры нужны для закупок, аренды и оценки TCO.

Почему LLM полюбили GPU

Обучение и инференс LLM - это миллиарды однотипных матричных операций (умножение матриц, softmax, attention). Это идеальная нагрузка для GPU: тысяча ядер работает одновременно, каждая над своей частью данных. CPU с его 64 ядрами для такой задачи - как пытаться распилить лес бензопилой, когда у вас есть тысяча пильщиков.

Но есть нюанс: память

GPU хороши не только вычислениями, но и памятью. В обычном компьютере процессор и память - отдельные устройства, соединенные через материнскую плату. В GPU память впаяна прямо в подложку (называется HBM - High Bandwidth Memory) и расположена вплотную к ядрам. Это дает колоссальную пропускную способность - терабайты в секунду.

Для LLM это критически важно, потому что при генерации каждого токена модель должна «прочитать» все свои веса из памяти. Если память медленная (как в обычных CPU-серверах), модель будет генерировать текст со скоростью улитки.

Краткий путеводитель по GPU для LLM

Теперь, когда мы понимаем, что GPU - это «тысяча простых ядер + очень быстрая память», давайте посмотрим, какие конкретные модели GPU используются в индустрии и для каких задач они подходят.

NVIDIA A100 (2020)

(2020) - ветеран, на котором обучали GPT-3. До сих пор золотой стандарт для инференса моделей до 70B. 80 GB HBM2e памяти, 2 TB/s пропускной способности. Если видите «A100» в аренде - это надежный, проверенный временем вариант.

NVIDIA H100 (2022)

флагман эпохи LLM. В 2–3 раза быстрее A100, 80 GB HBM3, 3.35 TB/s. Именно на этих GPU обучали GPT-4, LLaMA-3, DeepSeek-V3. Самый дефицитный и дорогой.

NVIDIA H200 (2024)

эволюция H100. Главное отличие: 141 GB HBM3e (почти в два раза больше) и 4.8 TB/s. Создан специально для длинных контекстов и больших моделей. Если вам нужно запускать Llama-70B с контекстом 100K+ токенов - это ваш выбор.

NVIDIA B200 (Blackwell) (2025–2026)

новейшее поколение. 192 GB HBM3e, 8 TB/s. Только для гигантов: обучение моделей 500B+ параметров или инференс с колоссальной нагрузкой. Цена и доступность - только у крупнейших облачных провайдеров.

NVIDIA L40S (2023)

бюджетный вариант. 48 GB GDDR6 (не HBM!), 864 GB/s. Не подходит для обучения больших моделей, но для инференса моделей до 30B (Llama-3-8B, Mistral-7B) - отличное соотношение цена/производительность.

Если вы не хотите запоминать таблицу - запомните три строки:

1) A100 - ветеран, надёжный. Если видите в аренде - берите.

2) H100 - флагман, дороже и быстрее. Нужен для самых больших моделей.

3) H200 / B200 - для гигантов. Если вы не Google или OpenAI, вам, скорее всего, не нужны (пока).

Если вы встречаете другие названия - H800 (урезанная версия H100 для Китая), MI300X (AMD, альтернатива H100), TPU (Google, свои чипы) - знайте: мир GPU для ИИ шире, но в 2025–2026 годах лидеры именно эти.

Для инженеров в России и Китае ландшафт выглядит иначе. Из-за экспортных ограничений доступ к H100/A100 затруднен или невозможен, поэтому индустрия форсированно развивает альтернативы.

Китайский путь

Huawei Ascend 910B / 910C Это главный конкурент A100/H100 в Азии.

Железо

Ascend 910B близок по производительности к A100, а новый 910C претендует на уровень H100.

Софт

Вместо CUDA используется стек CANN и фреймворк MindSpore. Хорошая новость: PyTorch поддерживает Ascend через адаптеры, но вам придется искать готовые образы Docker и проверять совместимость каждой библиотеки.

Вердикт

Если вы работаете с китайскими облаками (Alibaba Cloud, Huawei Cloud) или закупаете партии серверов из КНР — это ваш основной выбор. Экосистема зрелая, но требует специфических знаний.

Российский путь

Байкал, Эльбрус и проекты "в разработке" Здесь ситуация сложнее. На момент 2025–2026 годов массовых GPU-ускорителей для обучения LLM от российских вендоров, сопоставимых с A100, на рынке нет.

Байкал S2 / Эльбрус-8С: Это мощные CPU, но они не являются GPU. Запуск LLM на них возможен (через CPU-инференс, например, llama.cpp), но скорость будет низкой (токены в секунду, а не сотни токенов). Это вариант для крайнего случая, когда нужна безопасность периметра, а не скорость.

Перспективные разработки: Существуют анонсированные проекты (например, у "Ситроникс" или в рамках госпрограмм), ориентированные на создание аналогов A100. Однако их доступность для коммерческого сектора ограничена, а софтовая поддержка находится на стадии раннего адаптации.

Итоги (на май 2026)

Пока массовый российский GPU для LLM не стал реальностью, инженеру приходится выбирать между:

· Арендой зарубежных мощностей (если позволяет комплаенс).И

· Использованием CPU-кластеров для малого инференса (медленно, но безопасно).

· Закупкой китайских решений (Huawei Ascend) с готовностью решать проблемы совместимости.

Главный урок

Выбор железа диктуется не только TFLOPS, но и доступностью драйверов. В условиях изоляции "лучшее" железо - то, для которого вы сможете найти документацию и поддержку.

Вы выбрали модель, посчитали TCO, но цифры в таблице могут показаться магическими: почему аренда H100 стоит $3–8 в час, а A100 - $1–3? Почему нельзя взять обычный сервер с CPU и запустить Llama-70B?

Ответ кроется в том, как устроено железо для LLM. Современные модели «упираются» не в вычисления (FLOPS), а в память - ее скорость, пропускную способность и объем. И в 2025–2026 годах индустрия столкнулась с кризисом: вся доступная высокоскоростная память выкуплена под ИИ.

Почему LLM не работают на обычных серверах

Попробуем запустить Llama-3-70B на обычном CPU-сервере.

Что нужно

Веса модели: 70B параметров × 2 байта (FP16) = 140 GB.

KV Cache для контекста в 32K токенов: еще ~20–30 GB.

Итого: ~170 GB памяти.

Обычный сервер с 256 GB RAM теоретически может это загрузить. Но есть проблема: пропускная способность памяти (memory bandwidth).

На CPU вы получите 0.5–3 секунды на токен. Генерация одного ответа в 500 токенов займет 4–25 минут. Для продакшена это неприемлемо.

Вывод

LLM требуют не просто много памяти, а очень быстрой памяти. Здесь в игру вступают GPU с HBM.

HBM: почему это самое дефицитное железо

HBM (High Bandwidth Memory) - это не просто «быстрая память». Это принципиально иная архитектура, которая отличается от привычной DRAM (DDR4, DDR5) по трем ключевым параметрам:

Физическая суть

HBM - это стопка из 4–12 слоев памяти (как многоэтажный пирог), которая стоит вплотную к GPU. Между ними нет длинных проводов, нет слотов, нет материнской платы как посредника. Данные передаются через тысячи микроскопических соединений (TSV - Through-Silicon Vias), проходящих сквозь слои.

Это как если бы в обычном компьютере вы переложили память из «отдельной комнаты» в «ту же комнату, что и процессор», да еще и расширили дверной проем в 64 раза.

Ситуация на рынке (2025–2026)

Важно для инженера

когда вы арендуете GPU или считаете TCO, вы платите не за «процессор», а за HBM. Чем больше HBM, тем дороже. Чем быстрее HBM, тем дороже. И это дефицит, который не решится в ближайшие 2–3 года.

Почему HBM делают SK Hynix и Samsung, а не NVIDIA?

NVIDIA вообще не производит память. Никогда не производила. NVIDIA - «фаблесс-компания»: она проектирует архитектуру GPU, но физические чипы производят TSMC или Samsung Foundry. Память (GDDR, HBM) - это отдельный мир со своей физикой и заводами. Её производят специализированные компании: SK Hynix, Samsung, Micron.

И при чём здесь ASML?

ASML - единственная в мире компания, которая производит EUV-литографы - машины, необходимые для печати самых современных чипов (и логики, и HBM). Почему её нельзя «просто скопировать»? Потому что EUV-литограф - это 30 лет R&D, 100 000 деталей, атомарная точность зеркал (их делает только немецкая Carl Zeiss) и ручная сборка. Увеличить производство быстро нельзя - нет столько инженеров.

Типы GPU для LLM: что выбирать

Для инференса модели до 30B: хватит L40S или одной A100 (если контекст небольшой).

Для инференса 70B: нужна A100 или H100.

Для инференса 70B с длинным контекстом (100K+ токенов): H200 или две A100.

Для обучения с нуля: кластер H100/B200. Для fine-tuning: достаточно A100/H100.

Память vs вычисления: как оценить свои потребности

Простая формула для инференса:

Память (GB) ≈ (параметры_млрд × 2) × (1 + overhead) + KV_cache

× 2 для FP16 (2 байта на параметр).

Если используете INT8 - × 1, INT4 - × 0.5.

Overhead - 20–30% на вспомогательные структуры.

KV Cache - зависит от контекста: примерно 1–2 GB на 1M токенов (в зависимости от архитектуры).

Пример: Llama-3-70B, FP16, контекст 32K токенов, оптимизации GQA/MLA:

Память = 70 × 2 × 1.2 + 25 ≈ 193 GB

Это означает, что на одной H100 (80 GB) модель не влезет. Нужны:

3 × H100 (с распределением)

Или H200 (141 GB) + оптимизации

Или квантизация до INT8/INT4

Вывод для инженера

перед арендой GPU посчитайте потребность в памяти. Если модель не влезает в память одной карты, начинаются сложности (распределение между GPU, межсоединения NVLink, падение скорости). Иногда выгоднее взять модель поменьше или квантизировать (сжать / упаковать), чем арендовать 4 GPU.

Почему нельзя «просто добавить диск» (ROM/HDD)

Часто задают вопрос: «А почему нельзя хранить веса на SSD, а подгружать их по мере необходимости?»

Ответ

потому что LLM - это не база данных. При генерации каждого токена модель должна прочитать все веса. Даже если вы загрузите их с NVMe SSD со скоростью 7 GB/s, для модели 70B это:

170 GB / 7 GB/s = 24 секунды на токен

Это на порядки медленнее, чем даже CPU. А с обычным HDD (200 MB/s) - 850 секунд на токен.

Почему это важно

Когда вам говорят «память выкуплена под ИИ», речь идет именно о HBM, которая находится внутри GPU. ROM, HDD, SSD, обычная DRAM - в дефиците нет. Но для LLM они бесполезны.

Зачем нужны нанометры (и при чём здесь энергия)

Гонка за нанометрами (7 нм → 5 нм → 3 нм → 2 нм) - это на самом деле гонка за энергоэффективностью. Каждый шаг даёт меньше энергии на операцию (в 2–3 раза) и компактнее чипы.

Почему это важно для LLM: обучение GPT-4 потребовало ~50 МВт. GPT-5, по слухам, потребует 150–300 МВт. Энергосистемы многих регионов мира физически не могут выделить столько мощности в одну точку. Атомные станции строятся 10-15 лет.

Гонка за нанометрами - это не «мы хотим чипы поменьше». Это «мы упираемся в потолок доступной энергии и пытаемся продавить его за счёт эффективности».

«Мир ограничен не землёй, а энергией. Компактность дата-центра - приятный бонус, но не главная цель. Главная - сделать так, чтобы следующий GPT-5 вообще можно было обучить, не отключив при этом полгорода.»

Мир ИИ не будет миром «многих чемпионов»

Обучение модели уровня GPT-4 стоит 100-200 млн. GPT-5 – по слухам, 100-200 млн. GPT-5 - по слухам, 1-2 млрд. Такую цену могут заплатить единицы. Реально «чемпионов» в мире ИИ будет 2-3 (США, Китай, возможно ЕС). Остальные - импортёры технологий.

Что делать в условиях дефицита HBM

Для стартапов и небольших команд:

Начинайте с API

Не покупайте железо, пока не поймете нагрузки. API-провайдеры (OpenAI, Anthropic, GigaChat) уже решили проблему дефицита за вас.

Используйте квантизацию

INT8 и INT4 снижают потребление памяти в 2–4 раза с минимальной потерей качества (2–5%).

Выбирайте модели с оптимизациями

GQA, MLA, MoE - они снижают KV Cache и активные параметры.

Рассмотрите альтернативные GPU

AMD MI300X может быть дешевле и доступнее, если вы готовы работать с ROCm.

Для крупных компаний (on-prem):

Закладывайте в бюджет дефицит

Оборудование может быть в 2–3 раза дороже MSRP, а сроки поставки - 6–12 месяцев.

Покупайте с запасом

Если сегодня вам нужно 100 GPU, закладывайте 150–200 на рост.

Следите за новыми поколениями

HBM3e, HBM4 - каждое новое поколение дает 1.5–2× bandwidth и объем. Но и ценник растет.

Краткий глоссарий по памяти

А если HBM нет? Можно ли запустить LLM на обычной DDR?

Технически - да. Вы можете взять модель 8B, загрузить ее в память 64 GB DDR4. Она будет генерировать текст. Но скорость будет низкой (0.5–2 токена в секунду), что приемлемо только для экспериментов и прототипов.

Модели 70B потребуют 128+ GB DDR и будут работать еще медленнее. Для продакшена, где важна скорость и масштабируемость, HBM (или аренда GPU с HBM) - это не роскошь, а необходимость.

Почему HBM не использовали вместо DDR до эры LLM?

HBM в 10–20 раз дороже за гигабайт, требует сложной 3D-упаковки (впаивается в подложку процессора) и до появления массовых LLM была нужна только для узкого круга задач: суперкомпьютеры, профессиональная графика, научные ускорители.

DDR победила в массовом сегменте благодаря дешевизне, стандартизации и «достаточной» скорости для 99% задач. LLM изменили правила игры: им нужна пропускная способность 1+ TB/s, которую DDR дать не может.

Что запомнить, если вы не инженер

LLM - memory-bound. Скорость упирается не в процессор, а в память.

Простая формула

для модели 70B нужно около 200 GB памяти. Одной видеокарты мало.

HBM - дефицит на годы вперёд. Аренда GPU дорожает.

Гонка за нанометрами - это гонка за энергией

Следующие GPT упрутся в потолок энергосетей.

Начинайте с API

Не покупайте железо, пока не поймёте нагрузки.