3. ИСТОРИЯ РАЗВИТИЯ НЕЙРОСЕТЕЙ: ОТ МЕЧТЫ К ПОВСЕДНЕВНОСТИ

1940–1950: Рождение идеи

1943 - первый нейрон

Уоррен Маккаллок и Уолтер Питтс, два американских учёных, предлагают первую математическую модель искусственного нейрона. Она ещё не умеет обучаться, но уже устроена как упрощённая копия биологического нейрона: получает сигналы, складывает их, и если сумма превышает порог - «зажигается».

Контекст эпохи: Идёт Вторая мировая война, первые компьютеры занимают целые залы и считают баллистические траектории. Идея «мыслящей машины» витает в воздухе, но воспринимается как научная фантастика.

1949 - правило Хебба

Дональд Хебб, канадский психолог, формулирует правило обучения: «Нейроны, которые возбуждаются вместе, связываются друг с другом». Это не инженерное решение, а гипотеза о работе мозга, которая десятилетия спустя ляжет в основу многих алгоритмов обучения.

1950 - тест Тьюринга

Алан Тьюринг публикует статью «Вычислительные машины и разум» и предлагает знаменитый тест: если машина может вести разговор так, что человек не отличит её от другого человека, значит, она мыслит. Пройдёт больше 70 лет, прежде чем тест Тьюринга будет пройден (и до сих пор ведутся споры, действительно ли его прошли).

1957–1969: Первый расцвет и первое разочарование

1957 - перцептрон

Фрэнк Розенблатт, американский психолог и пионер ИИ, создаёт «Марк-1» - первый в мире нейрокомпьютер, который может обучаться распознавать простые образы. Это не программа, а физическое устройство размером с комнату, с моторчиками и потенциометрами. Пресса в восторге: «Машина, которая учится!».

Розенблатт называет своё детище «перцептроном» и доказывает теорему о сходимости: если данные можно разделить, перцептрон рано или поздно этому научится. Кажется, что искусственный интеллект - дело ближайших лет.

1969 - удар Марвина Мински

Марвин Минский и Сеймур Пейперт, авторитетнейшие исследователи, публикуют книгу «Перцептроны», где строго доказывают: однослойный перцептрон не может решать даже простые задачи вроде XOR. Финансирование исследований резко сокращается. Наступает «первая зима ИИ».

Человеческий фактор: Минский и Розенблатт были не просто коллегами, а научными соперниками. Книга Минского не только математически корректна, но и политически уничтожает направление, которое развивал Розенблатт.

1970–1980: Тихая работа в тени

Пока мейнстрим считает нейросети тупиковой ветвью, несколько учёных продолжают работать втихую.

1974 - обратное распространение ошибки

Александр Галушкин в СССР и Пол Вербос в США независимо друг от друга предлагают алгоритм обратного распространения ошибки. Но их работы остаются незамеченными. Слишком рано, слишком не модно.

1980 - неокогнитрон

Кунихико Фукусима, японский учёный, создаёт неокогнитрон - прообраз свёрточных нейросетей. Его идея: слои, которые ищут простые признаки (линии, углы), и слои, которые собирают из них сложные образы. Через 30 лет эта архитектура покорит компьютерное зрение.

1986–1995: Второе рождение

1986 - переоткрытие обратного распространения

Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс публикуют статью, которая популяризирует алгоритм обратного распространения ошибки. Теперь нейросети могут обучаться на многослойных архитектурах. Начинается настоящий бум.

1989 - свёрточные сети

Ян Лекун применяет идеи Фукусимы к задаче распознавания рукописных цифр и создаёт первую современную свёрточную нейросеть LeNet. Она успешно читает чеки в банкоматах. Первое коммерческое применение нейросетей!

1991 - проблема затухания градиента

Зепп Хохрайтер, студент из Мюнхена, в дипломной работе описывает фундаментальную проблему рекуррентных сетей: они не могут обучаться на длинных последовательностях, потому что градиент затухает. Это объясняет, почему RNN так плохо работают. Там же он предлагает первые идеи, как это исправить.

1997–2010: LSTM и эпоха «умных» алгоритмов

1997 - LSTM

Зепп Хохрайтер и Юрген Шмидхубер публикуют статью о «долгой краткосрочной памяти» (LSTM). Архитектура с вентилями позволяет рекуррентным сетям помнить информацию на сотни шагов вперёд. LSTM станет основой для распознавания речи, машинного перевода и многих других задач на целых 15 лет.

1998 - LeNet -5

Ян Лекун выпускает окончательную версию LeNet-5 - архитектуру, которая станет образцом для всех будущих свёрточных сетей: свёртка, пулинг, свёртка, пулинг, полносвязные слои. Библиотека MNIST, созданная для тестирования этой сети, до сих пор используется как «Hello, World!» в машинном обучении.

2000-е - эпоха «интеллектуальных систем»

Нейросети отходят на второй план. Индустрия увлечена SVM (метод опорных векторов), случайными лесами и байесовскими методами. Нейросети считаются капризными, медленными и трудными в обучении. LSTM живёт в узком кругу задач по обработке последовательностей, но широкой публике о ней ничего не известно.

2006 - глубинное Обучение

Джеффри Хинтон придумывает термин «deep learning» (глубинное обучение) и показывает, что многослойные сети можно эффективно предобучать без учителя. Начинается медленный возврат интереса.

2012–2017: Революция сверточных сетей

2012 - AlexNet

На конкурсе ImageNet, где нужно распознать объекты на миллионах изображений, группа Джеффри Хинтона (Алекс Крижевский, Илья Суцкевер) представляет сеть AlexNet. Она совершает прорыв: ошибка снижается с 25% до 16% - скачок, который никто не ожидал. Всё дело в трёх вещах: огромных данных, мощных GPU и новой функции активации ReLU.

2014 - GAN

Ян Гудфеллоу, тогда ещё аспирант, придумывает генеративно-состязательные сети (GAN). Идея гениальна в своей простоте: две сети соревнуются друг с другом - одна подделывает, другая ловит. Это порождает соревнование, в котором обе сети постоянно улучшаются. GAN научатся генерировать лица несуществующих людей, которых не отличить от реальных.

2015 - ResNet

Ка Хэ с коллегами из Microsoft предлагают остаточные сети (ResNet), которые позволяют обучать сети глубиной более 100 слоёв. Секрет - в «коротких путях» (skip connections), которые позволяют градиенту проходить через сеть, минуя проблему затухания. Это та самая Add & Norm, которую мы разбирали в Главе 1.

2017–2020: Трансформеры захватывают мир

2017 - Attention Is All You Need

Восемь авторов из Google публикуют статью с громким названием. Они предлагают архитектуру трансформер, которая полностью отказывается от рекуррентности и свёрток, полагаясь только на механизм внимания. Сначала кажется, что это просто очередная модель для перевода. Никто не подозревает, что через пару лет она станет основой для всего.

2018 - BERT и GPT

Google выпускает BERT - модель, которая «понимает» контекст, глядя на слова слева и справа. Она ставит рекорды в 11 тестах по пониманию языка. OpenAI выпускает GPT - первую большую генеративную модель, обученную предсказывать следующее слово. Ни та, ни другая ещё не воспринимаются как прорыв за пределами академии.

2019 - масштабирование

OpenAI показывает: чем больше модель, тем лучше она работает. Никакой магии, просто закономерность. Начинается гонка масштабов. GPT-2 (1.5 млрд параметров) считается настолько опасной, что её не выпускают сразу в открытый доступ.

2020 - GPT -3

OpenAI выпускает модель со 175 миллиардами параметров. Она умеет писать код, сочинять стихи, вести диалог - и всё это без тонкой настройки, просто по инструкции в промпте. Мир замечает: что-то изменилось.

2020–2022: Взрыв генеративного ИИ

2021 - DALL - E и CLIP

OpenAI показывает, что трансформеры могут работать не только с текстом, но и с изображениями. DALL-E генерирует картинки по текстовым описаниям. CLIP учится понимать связь текста и изображения без подписей.

2022 - Midjourney и Stable Diffusion

Midjourney становится культурным феноменом. Stable Diffusion выходит в открытый доступ. Теперь любой может генерировать изображения на домашнем компьютере. Начинается эпоха демократизации ИИ.

2022 - ChatGPT

OpenAI выпускает интерфейс к своей модели, с которым может разговаривать любой желающий. Два месяца - сто миллионов пользователей. Самый быстрый рост в истории технологий. ИИ перестаёт быть лабораторной игрушкой и становится частью повседневности.

2023–2025: Индустриализация

2023 - гонка мультимодальности

GPT-4 умеет понимать картинки. Gemini рождается мультимодальным с самого начала. Claude получает контекст в 200K токенов - может анализировать целые книги. Модели учатся видеть, слышать, говорить.

2024 - открытые модели догоняют закрытые

LLaMA, Mistral, Qwen, DeepSeek - open-source модели приближаются по качеству к лидерам, а в некоторых задачах и обходят их. Индустрия разделяется: гиганты продолжают гонку масштабов, сообщество оптимизирует модели для работы на обычном железе.

2024–2025 - архитектурное разнообразие

Трансформер перестаёт быть единственным игроком. Mamba предлагает линейную сложность вместо квадратичной. RWKV смешивает лучшие черты трансформеров и RNN. RetNet обещает бесконечный контекст. Начинается эпоха не одной, а множества архитектур, каждая для своей задачи.