Глава 2
Революция генеративного ИИ
Мегахит‑2022
То, что происходит после выхода ChatGPT‑3.5, нередко называют «новой весной» в сфере искусственного интеллекта. Технологии снова привлекают внимание ученых, а также предпринимателей и, что немаловажно, инвесторов. Согласно данным CrunchBase, мировые инвестиции в стартапы, которые разрабатывают продукты на базе ИИ, в 2023 году составили около 50 млрд долларов США. Почему это имеет значение? Кто знаком с миром технологий в целом и ИИ в частности, понимает, насколько разработка продуктов на основе нейросетей капиталоемкий процесс. Огромные средства требуются для сбора датасетов и обучения моделей, патентов, постоянной доработки.
Шел 2015 год, и несколько человек, которые в будущем станут основателями одной из самых (если не самой) влиятельных компаний в мире, собрались на роскошном ужине в отеле Rosewood Sand Hill в сердце Кремниевой долины, Менло-Парке. На вечер пришли Сэм Альтман, тогда еще глава бизнес-инкубатора Y Combinator, и известный американский предприниматель Илон Маск, основатель SpaceX. Среди гостей также был 26-летний Грег Брокман, который бросил престижный MIT и работал техническим директором в финтех-стартапе Stripe. Среди присутствовавших были как опытные исследователи ИИ, так и новички в индустрии с минимальными навыками в машинном обучении. Объединяло их одно – вера в возможность создать общий искусственный интеллект.
Они хотели открыть лабораторию, которая разрабатывала бы передовые технологии в сфере ИИ и в перспективе могла бы конкурировать с Google. Участникам ужина не давала покоя недавняя покупка технологического гиганта – за год до этого он приобрел стартап ИИ DeepMind, который помог бы ему монополизировать технологию всеобщего искусственного интеллекта в случае его успешного создания. Так как командой в первую очередь двигали научный интерес и миссия демократизировать передовые технологии ИИ, на старте они создали некоммерческую организацию. Команда проекта пообещала публиковать все свои разработки и открыть исходный код новых технологий. Эту идею они отразили в названии организации – OpenAI.
Спонсоры-учредители пообещали выделить $1 млрд на новую компанию. Но обучение нейросетей оказалось намного дороже – стоимость достигала десятков миллионов долларов. Недешево обходилась и работа исследователей. Например, Суцкевер первые несколько лет работал ведущим научным сотрудником и получал годовой оклад в размере 1,9 млн долларов США. Компания не могла оставаться некоммерческой с учетом таких расходов, поэтому Альтман и партнеры открыли коммерческое направление, которое могло бы привлекать венчурный капитал. «В конечном счете самое главное для нас – это добиться, чтобы общий искусственный интеллект приносил пользу всем. Мы считаем разработку коммерческого продукта одним из способов получить достаточное финансирование, чтобы этого удалось достичь», – так объясняется решение на официальном сайте компании.
Уже в 2018 году OpenAI представила первую модель GPT‑1. Она генерировала связный и контекстуально соответствующий текст по заданному запросу. Ее обучили на 5 Гб датасетов, которые включали тексты с интернет-страниц и книг. Модель содержала 117 млн параметров (также известны как «веса» или «коэффициенты»). Под параметрами понимаются значения, которые модель запоминает во время своего обучения.
Чтобы понять, что такое параметры, представьте, что у вас есть информация о домах и вы хотите предсказать цену одного из домов на основе нескольких его параметров, например, удаленности от города, размере дома, его состоянии, размере участка и материалов, из которых сделан дом. В этом примере можно использовать простейшую модель машинного обучения, называемую линейной регрессионной моделью, которую в нашем случае можно представить в виде функции регрессии:
f(x,b) = b0 + b1x1 + b2x2 + b3x3 +… + bnxn
где параметры:
b0 – начальный параметр, заданный в модели b1 – влияние удаленности от города на цену b2 – влияние размера дома на цену b3 – влияние состояния дома на цену и т. д.,
а x1, x2, x3 и т. д. – факторы модели, то есть текущие значения, которые подставляются в такую модель в зависимости от характеристик самого дома.
Во время обучения алгоритм анализирует ваш набор данных, сравнивает свои прогнозы с реальными ценами и корректирует значения параметров (b0, b1, b2 и т. д.), чтобы минимизировать разницу между своими прогнозами и фактическими ценами. После завершения обучения модель выучивает оптимальные значения этих параметров на основе найденных в данных закономерностей.
Спустя год появилась более продвинутая GPT‑2, обученная уже на основе 1,5 млрд параметров и 40 Гб датасетов. Она улавливала более сложные тонкости языка, чем ее предшественница, и установила новые стандарты в создании и понимании текста искусственным интеллектом. Ее даже использовал виртуальный ассистент Джой от «Сбера». Несмотря на существенный прогресс, OpenAI не стала останавливаться на достигнутом. В июне 2020 года она представила более совершенную модель – GPT‑3. По размеру та обошла предыдущие модели с большим отрывом: она уже работала на основе 175 млрд параметров, а размер ее датасета составил 600 Гб. Она обучалась примерно на двух третьих данных интернета – в датасет вошла вся англоязычная «Википедия», книги и стихи, материалы на сайтах СМИ и GitHub, путеводители и даже сборники рецептов.
По сравнению с прошлыми моделями GPT‑3 продемонстрировала беспрецедентные возможности в различных языковых задачах – от перевода до генерации кода. Хотя сейчас об этом мало кто помнит, GPT‑3 произвела фурор. Не последнюю роль в этом сыграло эссе, опубликованное в британском издании The Guardian . Модель была его автором. В материале она признавалась, что может принимать рациональные, логические решения. «Я научилась всему, что я знаю, просто читая интернет, и теперь могу написать эту колонку», – делилась нейросеть. После материала о новом алгоритме заговорили даже те, кто далек от технологий.
На волне успеха компания начала дорабатывать модель и спустя два года планировала выпустить GPT‑4 – более совершенную версию, которая могла бы писать эссе, решать комплексные проблемы, в том числе писать код и т. д. После месяца тестирования модель GPT‑4 была практически готова. Ее планировалось зарелизить в начале 2023 года вместе с еще несколькими наработками OpenAI. Но руководство вдруг изменило план действий. Некоторые переживали, что конкурирующие компании могут отодвинуть их на второй план, выпустив собственные чат-боты на основе ИИ до GPT‑4 – по крайней мере, так рассказывали американским изданиям источники в компании. Поэтому компания решила выпустить промежуточную версию – GPT‑3.5. Ее выпуск позволил бы опередить конкурентов, а заодно быстрее собрать отзывы людей, чтобы потом доработать нейросеть.
К всеобщему удивлению, она произвела фурор: побила рекорды виральности и стала самым быстро растущим продуктом в истории, опередив Instagram и TikTok. ChatGPT вызвал такой интерес отчасти благодаря сравнительной простоте и доступности – бесплатная бета-версия была открыта для всех и работала по крайней мере на 95 языках, включая искусственные, например клингонский (язык вселенной из сериала «Звездный путь»).
Пользователь: Напиши короткий рассказ на клингонском языке, потом переведи его на русский
ChatGPT: Сначала создам небольшой рассказ на клингонском, а затем переведу его на русский язык. На клингонском:
Qo’noS qachDaq SuvwI’ Sa H. vaj, ghob’e’ qul tu’lu’. qul vISovbe’. «qaStaHvIS yIn, batlh bIHegh!» jatlh SuvwI’. vaj, SuvwI’ qul vIlegh. qul vIje’ ‘ej vaj, jIjaH. DaH, juppu’DI’ maH!
Перевод на русский:
В доме на Кроносе был воин. И вдруг, видит огонь. Я огонь не знаю. «Во время жизни, с честью умираем!» сказал воин. И так, воин смотрит на огонь. Я куплю огонь и потом, я уйду. Теперь, мы друзья!
Этот короткий рассказ отражает клингонский дух стойкости и чести, а также их склонность к прямому действию.
Она также позволяла общаться с ней формате неформального диалога, как с человеком. Это сделало ее доступной не только профессионалам – ученым и разработчиками, но и массовой аудитории. Изумляло, а некоторых даже пугало то, насколько четкие ответы давала нейросеть и насколько хорошо справлялась с самыми разными задачами. Она могла не просто отвечать развернуто, но давать обоснования ответов, писать стихи и сочинения, шутки, бизнес-планы, рекламные стратегии и многое другое. Кроме того, она могла по-разному эмоционально окрашивать тексты, в зависимости от запроса пользователя делать их более эмоциональными или, напротив, сухими.
Пользователь: Напиши короткий рассказ в один абзац по идее басни про ворону и сыр
ChatGPT: На вершине древнего дуба ворона со счастливым взглядом держала в клюве кусочек сыра. Случайно проходивший мимо лис, увидев ворону, решил хитростью завладеть добычей. С лукавой улыбкой он начал хвалить ворону за ее красоту и пышное оперение, уверяя, что такая прекрасная птица наверняка обладает и чарующим голосом. Если бы ворона спела, подумал лис, сыр обязательно упал бы ему прямо в лапы. Ворона, польщенная такими словами, раскрыла клюв, чтобы доказать своё мастерство, и сыр мгновенно оказался у лиса. Тот, ухватив добычу, исчез в лесной чаще, оставив ворону с пониманием, что комплименты и лесть – опасное оружие в лапах хитреца.
Пользователь: А теперь перепиши тот же рассказ, но добавь как можно больше юмора и современного сленга для подростков
ChatGPT: На вершине старинного дуба сидела ворона, так сильно держа в клюве кусок сыра, будто это был последний билет на концерт популярной птичьей группы «Кар-карычи». Мимо, на легких лапах, пробегал лис, мастер юмора и хитрости, который, увидев ворону, решил разыграть ситуацию в свою пользу. С восторгом в глазах и лукавой усмешкой он заговорил о великолепии её перьев, словно они были работой известного птичьего стилиста, и предположил, что её голос способен затмить самых знаменитых оперных певцов.
«О, великолепная ворона! Твои перья сияют, как старинные бриллианты в короне королевы, а твой голос, уверен, может оживить самые заурядные стихи! Не желаешь ли ты поделиться своим искусством и озарить этот скучный день своей песней?» – лукаво произнёс лис.
Ворона, польщённая до глубины души и забыв о предосторожности, решила дать лису настоящее шоу. Она раскрыла клюв широко, как будто готовилась к оперному выступлению на лучших сценах мира, и издала звук, который мог бы соревноваться с криком сирены, забывшей слова своей песни. Сыр, естественно, упал прямо в ожидающие лапы лиса, который, не сдерживая смеха, поблагодарил ворону за «незабываемое представление» и умчался, оставив её с важным уроком: в мире комплиментов и лести важно не только знать свои сильные стороны, но и держать сыр покрепче.
Пользователь: Спасибо, напиши тот же рассказ, но убери весь юмор и добавь драмы, эмоций и переживания. ChatGPT: На изгибе могучего дуба, облетевшего листьями, словно в предчувствии скорой осени, ворона удерживала в клюве кусок сыра. Этот кусок для неё был не просто пищей, а символом выживания в бесконечной борьбе за существование. Но внезапно, как тень, мимо проскользнул лис, глаза которого засветились при виде лёгкой добычи. Он остановился, пронзительно вглядываясь в ворону, и начал восхвалять её красоту и величие, при этом его сердце было наполнено лишь жаждой обмана.
«О, величественная птица, – начал он с лукавой улыбкой, – твои перья словно пламя на закате, а голос должен звучать сладостнее самых прекрасных мелодий. Не услышу ли я твою песню, чтобы моя душа наполнилась блаженством?»
Ворона, поначалу ошеломлённая таким вниманием, почувствовала внутренний дрожж, но желание быть признанной, быть услышанной заставило её забыть об осторожности. Её сердце наполнилось тревогой и одновременно стремлением доказать свою значимость. С собравшейся силой и волнением, она раскрыла клюв, и в тот момент, когда первые звуки её пения разорвали тишину, сыр упал в ожидающие лапы лиса.
Лис, с триумфом и без тени сожаления, скрылся в густой листве, оставив ворону одиноко стоять на ветке. Слёзы унижения и боли застилали её глаза, в то время как глубокое осознание предательства и потери пронзало её сердце. Этот момент стал для неё горьким уроком о том, что доверие и открытость могут стать орудием в руках тех, кто ищет лишь собственную выгоду.
Она могла адаптировать текст под стиль конкретного автора – Шекспира или Стивена Фрая и прочее и пр. Один из самых неочевидных способов применения ChatGPT придумали пользователи из TikTok: они использовали нейросеть для общения в Tinder. Бот помогал пользователям приложения для знакомств «установить контакт» друг с другом. Он «съедал» описание со странички пользователя и на основе его интересов составлял вступительное сообщение, которое, как правило, «заходило» противоположному полу. В России известность получила история айтишника, который таким образом смог пообщаться с 5239 женщинами и найти жену. Мужчина обучил нейросеть отбирать кандидаток в Tinder, указав, какую внешность ожидает от избранницы. Он также скормил ей прошлые переписки, чтобы она могла общаться с ними схожим образом.
В марте 2023 года компания запустила , наконец, GPT‑4. Эта нейросеть, если верить обещаниям разработчиков, работала на основе уже 100 трлн параметров. Благодаря этому модель реже ошибалась и стала в разы креативнее и эффективнее, чем все ее предшественницы. «Четверка» доказала свои способности, пройдя множество экзаменов. Среди них были как профессиональные испытания, так и академические. Порой работы модели превосходили результаты большинства параллельно тестируемых людей. Например, на смоделированном экзамене для адвокатов (Uniform Bar Examination) GPT‑4 оказалась среди 10 % лучших участников теста. Она обошла в этом свою предшественницу GPT‑3.5, которая, напротив, оказалась в 10 % самых худших.
Наиболее важная и интересная часть модели – мультимодальность. Она уже не ограничивается только текстом и может работать с другими форматами данных – картинками. Благодаря расширенному функционалу этого бота пользователь может отправлять текстовые документы с иллюстрациями, диаграммы или скриншоты и пр. Кроме того, модель лучше понимает шутки и даже может интерпретировать мемы (на что способен не каждый человек). Бот анализирует изображение и пытается генерировать наиболее ожидаемую от среднестатистического пользователя реакцию. Например, модели можно дать изображение разных эмоций в виде смайлов, и она их опишет.
Пользователь: Опиши, какие эмоции ты видишь на этих стикерах. Опиши по порядку начиная с левого верхнего угла. Не описывай цвета.
ChatGPT: На стикерах я вижу следующие эмоции:
1. Левый верхний угол: грусть или задумчивость (брови приподняты, взгляд вниз, рот опущен).
2. Верхний ряд, второй стикер: недоумение или лёгкое расстройство (глаза закрыты, рот изогнут вниз).
3. Верхний ряд, третий стикер: напряжение или раздражение (глаза зажмурены, рот приоткрыт).
4. Средний ряд, первый стикер: страх или беспокойство (глаза широко раскрыты, рот открыт в форме овала).
5. Средний ряд, второй стикер: печаль или тоска (глаза полуопущены, рот углублён вниз).
6. Средний ряд, третий стикер: злость или недовольство (глаза зажмурены, брови нахмурены, рот крепко сжат).
7. Нижний ряд, первый стикер: разочарование или усталость (глаза полузакрыты, рот опущен).
8. Нижний ряд, второй стикер: испуг или удивление (глаза широко раскрыты, рот приоткрыт).
9. Нижний ряд, третий стикер: раздражение или недовольство (глаза открыты, рот сильно прижат, брови напряжены).
Также нейросеть может анализировать изображения и придумывать истории по картинке.
Пользователь: Опиши, что происходит на фото. Опиши эмоции, напиши историю.
ChatGPT: На фото изображены мужчина и женщина, стоящие на фоне моря и неба. Они обнимают друг друга, улыбаясь и глядя друг другу в глаза. Мужчина в черной футболке с надписью ZEROCODER TEAM, женщина в светлой блузке и темных брюках. Видно, что они счастливы и наслаждаются моментом. Их улыбки и теплые взгляды говорят о любви, взаимопонимании и искренней радости от совместного времени.
История за фото:
Это может быть момент из их отдыха на морском побережье. Возможно, это романтическая прогулка вдоль пляжа, когда они решили остановиться, чтобы запечатлеть счастливый момент. Пара, вероятно, связана общей страстью к тому, чем занимается мужчина (судя по футболке, может быть, связано с ZEROCODER), что делает их не только партнерами в жизни, но и союзниками в работе или увлечениях. Это мгновение олицетворяет гармонию и радость, которые они испытывают друг с другом.
