6. EDGE LLM: КОГДА ИИ ЖИВЁТ У ВАС В КАРМАНЕ

«Не все ИИ живут в облаке. Некоторые - на краю сети. В вашем телефоне, в машине, в умной колонке. И это меняет правила игры.»

Почему «edge»?

Термин пришёл из сетевой архитектуры. Edge (край, граница) - противоположность cloud (облаку).

Edge AI - когда модель работает локально на устройстве, не отправляя данные в облако. Телефон - типичное edge-устройство: он находится на краю сети, дальше от дата-центра, чем офисный сервер.

6.1 Зачем ИИ на устройстве (а не в облаке)

Минусы

Мало памяти (2–8 GB под модель), слабое железо (CPU/NPU вместо GPU H100), батарейка садится быстрее.

Допустим, вы согласны на компромисс. Какой объём модели вообще влезает в телефон? Спойлер: не GPT-4. Посмотрим, какие модели (1–4 млрд параметров) уже работают на устройствах в 2025–2026.

6.2 Какие модели уже работают на телефоне (2025–2026)

Важное уточнение

1–4 миллиарда параметров - это то, что влезает в память телефона (2–8 GB в 4-битной квантизации). Модели 7B+ уже тяжеловаты для фоновой работы.

Модели выбрали. Теперь вопрос: как их запустить на телефоне, чтобы не разрядить батарейку за час? Инструментов для edge-инференса несколько, и выбор зависит от платформы (iOS/Android) и требований к задержке.

6.3 Как их запускают (инструменты для разработчика)

Практическое правило

· Под Android ONNX Runtime или TensorFlow Lite

· Под iOS Core ML

· Для быстрого прототипа llama.cpp или ExecuTorch

Инструменты есть, модели работают. Но почему тогда edge-ИИ до сих пор не везде? Потому что проблем не меньше, чем решений. Перечислим честно - без прикрас.

6.4 Проблемы edge-LLM (честно)

Несмотря на проблемы, кое-что уже работает. Производители телефонов не ждут, пока модель похудеет сама. Вот реальные функции, которые используют edge-LLM прямо сейчас - без облака.

6.5 Что уже работает (реальные функции на телефонах)

Тенденция

Apple подтягивается. В iOS 18 и новых Mac с M4 ожидается расширение локального ИИ. Часть функций уже работает.

С телефонами разобрались. А как дела у умных колонок? Казалось бы, идеальное место для edge: всегда включены, рядом с пользователем. Но реальность другая. Почти все коммерческие колонки без интернета бесполезны. Почему - разберём честно.

6.6 Умные колонки: честный разговор

Коротко

Почти все коммерческие умные колонки (Алиса, Салют, Amazon Echo, Google Home) без интернета бесполезны для общения.

Почему так

· LLM (даже 1B) требует памяти (1-2 GB) и процессора/NPU

· Это удорожает устройство (нужен чип, как у телефона)

· Увеличивает энергопотребление (колонка всегда слушает)

· Производителям дешевле возить всё в облако

Что есть из исключений

Вывод для директора проекта

Если вам нужен голосовой ассистент для работы без интернета (завод, склад, охрана), готового массового продукта на рынке почти нет. Придётся собирать самим на Raspberry Pi или ждать следующее поколение устройств с локальными LLM.

Итак, сегодня edge-ИИ - это телефон и, с натяжкой, некоторые ноутбуки. Колонки пока в облаке. А что будет через 2–3 года? Технологии не стоят на месте. Обрисуем ближайшее будущее (2026–2028) без футурологии.

6.7 Ближайшее будущее (2026–2028)

Технологии - это одно. Но есть сценарий, который меняет саму философию устройства. ИИ как домашний питомец в телефоне - не технический прогноз, а провокация. Она нужна, чтобы задуматься не только о «как», но и о «зачем» и «кто контролирует».

6.8 Будущее: ИИ как домашний питомец в телефоне

А теперь - провокация. Взгляд в будущее, который меняет само понятие «телефон». Сегодня телефон - это просто железо с приложениями. Украли - сбросили - пользуйся. Edge-ИИ меняет это.

Сценарий. ИИ как питомец, который живёт в вашем телефоне

Что для этого нужно технически (уже есть или почти есть)

Что это меняет

· Телефон перестаёт быть «железом». Он становится вашим цифровым продолжением, вашим питомцем, вашим охранником.

· Кража телефона теряет смысл - устройство бесполезно для чужого.

· Возникают новые вопросы: а что, если государство попросит питомца открыть телефон? А если питомец ошибся и заблокировал вас самого? А если питомец «умер» (сбой модели)?

Вывод для читателя

Технологии для «ИИ-питомца» уже есть или появятся в 2026–2028. Вопрос не в том, сможем ли мы. Вопрос в том - захотим ли мы сами. И кто будет контролировать ИИ, который знает о вас всё и может заблокировать ваше собственное устройство, если «что-то пойдёт не так».

От провокаций - к практике. Вы - директор проекта. Вам нужно принять решение: использовать облако, edge или гибрид. Вот что это значит для вас - три практических вывода без лишней философии.

6.9 Что это значит для директора проекта

Если вы внедряете ИИ в компании, не думайте только про облако.

Практическое правило:

Начинайте с облака (быстро, дёшево на малом масштабе). Как только масштаб вырос, появились требования по безопасности, офлайн-работе или latency - смотрите в сторону edge.