Книга: За пределами Земли: В поисках нового дома в Солнечной системе
Назад: 5. Здоровье как препятствие на пути в космос
Дальше: 7. Решения для долгих путешествий

6. Роботы в космосе

Роботы обычно не похожи на роботов. В Институте робототехники Университета Карнеги — Меллон, где конструируют одних из самых лучших роботов, молодые инженеры, которые возятся с компьютерами, проводами и кусками металла, могли бы собрать что угодно. Но ничто не распаляет воображение так, как роботы, и многое здесь об этом напоминает: утыканный сенсорами «Шевроле Тахо», выигравший $2 млн на городском соревновании автопилотов Министерства обороны в 2007 г., фрагмент лунного робота, соревнующийся за лунную премию Google X-Prize, и в кабинете директора главный герой диснеевского Big Hero 6, созданный на основе надувного робота, собранного здесь, в Питтсбурге.
Роботы окружают нас, они расширяют наши возможности так, как не смогли предвидеть киношники, создавшие стереотип актера, одетого в металлический костюм. Настоящим роботам не сравниться с Железным Дровосеком, но директор института Мэтт Мейсон говорит, что это так только потому, что мы не знаем, что перед нами.
«Если вы сравните робота с человеком, вам покажется, что прогресс идет медленно. Если же вы сравните робота с машинами прошлого года, прошлого десятилетия, стремительный прогресс станет очевиден. Сейчас в области робототехники работают многие, многие тысячи людей. Это область потрясающе обширная, и в ней совершаются большие успехи. Мы строим механизмы. Говорят, робототехника сейчас переживает переломный момент. Вливаются инвестиции. Существует масса практических применений. Прогресс фантастический. Например, если рассматривать айфон, смартфоны и все то, что они умеют, то многое из этого вышло из робототехники».
Телефоны способны распознавать лица и фокусироваться на них. Они видят. Они понимают речь. Они слышат. А когда подключенный к сети компьютер слышит и видит, он вдруг может сделать то, на что не способен ни один человек: распознать запись музыкального произведения по нескольким произвольно взятым тактам, найти человека в базе данных по фотографии.
Еще компьютеры умеют думать и принимать решения. Когда мы разыскиваем адрес, ведем поиск в научной литературе и создаем персонализированные радиостанции, сведения для нас находит ИИ. Узнавая нас все лучше, интеллектуальные агенты совершенствуют качество поиска. Поисковая система Google уже способна отвечать на некоторые вопросы, заданные на естественном языке. Следующий шаг будет сделан, когда на сложный поисковый запрос вместо списка источников будут выдаваться уж обработанные сведения, как если бы мы просто задали вопрос человеку. Мышление роботов временами уже походит на человеческое. Поведение футболиста-робота выглядит таким же целенаправленным, как и поведение футболиста-человека.
С появлением каждой новой способности ИИ происходит вливание денег, и технология развивается очень быстро. Роботов, похожих на нас — лучше нас, в различных аспектах, — уже создают, способность за способностью.
«Это в самом деле происходит, — говорит Мейсон. — Просто все выглядит иначе, чем представляли писатели-фантасты, нас вдохновившие; роботы не похожи на нас внешне и ведут себя не так, как мы».
Роботы не подражают людям, а проявляют те незаурядные качества людей и животных, которые мы принимаем как должное, в то же время потихоньку сбивая спесь по поводу нашей мнимой уникальности и ценности. Шахматные компьютеры уже какое-то время обыгрывают лучших игроков-людей, но по способности брать в руки обычные предметы вроде шахматных фигур роботы сильно проигрывают младенцу.
При выполнении такой задачи рука и мозг прекрасно дополняют друг друга. Рука гибка, осторожна, но при этом сильна, чутка и приспособлена интуитивно реагировать на сложные физические параметры. Мейсон работает над этой задачей. Он показал, что, беря со стола плоский предмет, мы часто приподнимаем его большим пальцем, чтобы ухватиться за край. Мы делаем это, даже не задумываясь. Но, чтобы воспроизвести это движение, необходимы значительные вычисления и сложное механическое устройство.
Чтобы робот мог заменить астронавта в роли исследователя, ему не обязательно быть человекоподобным, и вряд ли он таким будет. Помимо прочего ему будет нужно уметь выбрать незнакомый предмет для исследования, взять его и изучить. И, исходя из полученных сведений, решить, что делать дальше. Титан слишком далек для того, чтобы каждое решение принимали люди на Земле. И робот-астронавт должен будет уметь не навредить астронавтам-людям. Это одна из 32 угроз человеческому здоровью в космосе, перечисленных NASA. Роботы могут быть опасны.
Дими Апостолопулос из Университета Карнеги — Меллон работал над обоими вопросами (научным исследованием и безопасностью человека), конструируя роботов для выполнения полезной работы на Земле. Прогресс идет, когда есть реальная работа, которую лучше выполнит робот.
Дими вырос в греческом городке Волос, откуда мифический Ясон отбыл с аргонавтами на поиски Золотого руна. Дими заинтересовался робототехникой, когда посмотрел «Звездные войны», показанные в его краях осенью 1977 г., спустя месяцы после их выхода в США. Люк Скайуокер ковырялся в роботах на захолустной планетке, такой же солнечной, как Греция. Но не только машины вдохновляли Дими. Он не похож на типичного повернутого на технике инженера; в беседе он сразу раскрывается и быстро становится вашим другом. Кино ему понравилось тем, что роботы и инопланетяне в нем похожи на людей. «У каждого из них был особый дар, — говорит он, — и у каждого из нас есть особый дар».
Получив степень магистра в Университете Карнеги — Меллон, Дими подключился к работе в области робототехники под началом Реда Уиттейкера. Уиттейкер, бывший морпех, прославился применением роботов в труднодоступных средах, предложив свою помощь в устранении последствий аварии на атомной электростанции «Три-Майл-Айленд» неподалеку от Харрисбурга, Пенсильвания. Реактор станции частично расплавился в 1979 г. Людям спускаться в радиоактивные подвалы станции было опасно. Команда Уиттейкера из Питтсбурга привезла трехколесные устройства с механическими манипуляторами, которые провели разведку и ремонт. (Он также возглавлял группу, которая создала самоуправляемую машину, выигравшую городское соревнование автопилотов Urban Challenge.)
В 1990-х гг., когда Дими работал над диссертацией, NASA активно поддерживало академические исследования в области межпланетной робототехники. Дими участвовал в разработке идей, способствовавших успеху марсоходов. В 1994 г. группа из Университета Карнеги — Меллон отправила робота-паука Dante весом 770 кг в жерло вулкана Спурр на Аляске. Создание робота финансировало NASA. Он успешно преодолел 200 м вглубь действующего вулкана, обследовал рельеф среди летящих камней и вихрей смертельно ядовитых газов и произвел измерения, просидев 10 часов на дымящейся трещине. Когда ногу робота, несущую четверть его веса, сломало падающим булыжником, управляющие в Анкоридже смогли быстро компенсировать поломку с помощью других ног, предотвратив гибельное падение, хотя в конце концов Dante все-таки провалился в мягкий грунт.
Чтобы избежать падения, человеку и животному не требуется руководство извне. Даже беспозвоночные способны выбирать маршрут, избегать угроз и, застряв, всячески пытаться высвободиться. Естественный отбор прошли только те животные, нервные системы которых смогли справиться с этими ситуациями; те же, что столкнулись с непреодолимыми препятствиями, вымерли.
Робот, может быть, и не сравнится с крабом или пауком в умении ориентироваться, но, как и в природе, недостаток ума можно компенсировать ловкостью. Совместно с командой инженеров из Университета Карнеги — Меллон Апостолопулос проводил испытания устройств, предназначенных для дистанционного исследования чужеродных сред. Они забрасывали робота в суровую высокогорную пустыню Атакама в Чили — самое засушливое место в мире. Этот робот под названием Nomad был способен к автономному движению и управлялся из Питтсбурга и других мест в США, как если бы он был на Марсе, посылая обратно данные научных измерений.
В ходе этой работы возникли идеи, которые сперва не были очевидными. Например, инженеры обнаружили, что электрические моторы лучше располагать в колесах робота, а не в теле, чтобы избежать проблем с гидравликой центральной силовой передачи, возникающих при экстремальных перепадах температуры. Система подвески с осью в центре аппарата снизила риск опрокидывания благодаря равновесному давлению колес на поверхность даже на очень пересеченной местности. Все четыре колеса сделали поворотными. В 1997 г. Nomad самостоятельно преодолел по пустыне 223 км, что было рекордом того времени.
На протяжении ряда лет роботы из Университета Карнеги — Меллон и JPL оказывали влияние друг на друга. Марсоходы Spirit, Opportunity и Curiosity имеют моторы, расположенные в колесах, 4 поворотных колеса для выбора направления и системы подвески типа bogie. Эти подвески позволяют марсоходам преодолевать камни, размер которых больше диаметра колеса. С шестью колесами шансы вездехода застрять оказываются даже меньше, чем у Nomad, способного взбираться на вертикальные препятствия. Его задние колеса опираются на препятствие, в то время как передние вертикально по нему поднимаются; когда передние колеса добираются до вершины, они тянут за собой задние. Роверы перемещаются очень медленно, чтобы избежать опасных рывков.
К концу 1990-х гг. команда Дими отправила Nomad поискать метеориты в Антарктике. Антарктические ледники — своего рода накопители метеоритов. С движением льдов, таким медленным, что оно незаметно глазу, падающие на них объекты собираются в определенных местах, совсем как палки и прочий сор скапливаются у изгиба реки. Робот двигался по ледяному ландшафту, обнаруживая камни, и исследовал их на наличие признаков, позволяющих причислить их к метеоритам. Как и в космической миссии, Nomad работал там, где холод и удаленность не позволяли работать людям, и использовал инструменты более совершенные, нежели человеческие органы чувств. В идеале робот мог бы работать самостоятельно и без передышки — неустанный, неутомимый, не испытывающий голода и холода, — проходя по ледникам гораздо большее расстояние, чем под силу человеку.
До сих пор роботы были полезны главным образом для автоматизированного выполнения задач, так как позволяли выполнять работу быстрее и дешевле, освобождая людей для более творческих задач. На заводах роботы заменили работников конвейера. Настольные принтеры заменили машинисток и копировальную бумагу. Рой роботов, которых до определенной степени не жалко потерять, позволит автоматизировать разведку. Они могли бы рассредоточиться по неизвестной местности и сообщать подробные, точные сведения куда быстрее первопроходцев-людей.
Другое дело — марсоходы. Они слишком уникальны и ценны для того, чтобы часто позволять им путешествовать самостоятельно, хотя и оснащены программами автономной навигации. Их траектория разрабатывается большими командами высококлассных инженеров и ученых, чтобы разглядеть каждый камешек на пути. У марсоходов больше общего с телескопом, чем с астронавтом. Они позволяют ученым увидеть конкретные очень удаленные места с помощью оптических инструментов, а также проводят научные эксперименты на месте. Curiosity проезжает метр марсианской поверхности за 1,5 минуты. Как шутят робототехники, Колумб еще не сошел бы с «Испаньолы», двигайся он с такой же скоростью.
Автоматизировать исследование непросто. Создавая робота под конкретную задачу, приходится предугадывать каждую ситуацию, с которой он может столкнуться. Создатели роботов становятся экспертами в областях, не имеющих к робототехнике никакого отношения. Сейчас Дими знакомится с добычей платины, чтобы создать робота-шахтера. Но, если бы мы знали обо всем, что может обнаружиться на других планетах, нам было бы незачем их исследовать. Для того чтобы вести исследовательскую работу, автономным роботам нужно быть более умными и гибкими. Им предстоит находить новые объекты, чтобы изучать их самостоятельно, проводить работу и оценивать ее результаты.
Команда из Университета Карнеги — Меллон решила эту задачу для роботов — искателей метеоритов с помощью машинного обучения. Вместо того чтобы с помощью программ закладывать в робота правила, по которым ему следует отличать метеориты от остальных камней, они представили его инструментам все, что было в лаборатории, позволяя роботу создать базу данных, считанных сенсорами с реальных образцов. Когда робот сталкивался с новым объектом в поле, он сравнивал данные с сенсоров со своим прошлым опытом. С помощью статистического анализа он группировал считываемые данные с записанными в памяти и принимал решение о том, с какой вероятностью объект является метеоритом, а не земным камнем.
«Это называется самообучение, — говорит Дими. — Человек создает алгоритм тех приемов, которые будут использоваться при самообучении, но то, как оно будет проходить, заранее совершенно неизвестно. Порой обнаруживаются удивительные вещи. И это здорово. Такое происходило во многих областях».
Благодаря памяти и скорости вычислений, значительно превосходящим человеческие, обучающиеся компьютеры нередко обнаруживают то, о чем никто и подумать не мог. Простым примером может послужить обнаружение навигатором, установленным в вашей машине, непривлекательного на первый взгляд маршрута, однако на 10 минут короче, чем обычный; или анализ нравящейся вам музыки, позволяющий предложить прекрасного артиста или песню, о которых вы и не слышали. Но машинное обучение оказалось для науки новым способом порождать идеи: вместо того, чтобы пытаться написать уравнение, описывающее окружающий мир, ученые составляют обучающиеся программы, способные отыскивать закономерности в огромных объемах данных. По мере распространения дешевых сенсоров по всему миру — в море, в небе и даже под землей — компьютеры получают доступ ко все большему объему данных, что обещает в будущем взрыв новых открытий.
Роботы Дими действительно смогли обнаружить метеориты в Антарктике. Но из-за скудного бюджета и роста затрат на МКС NASA урезало большую часть финансирования роботов. Ученые из Университета Карнеги — Меллон переключились на другие области применения и источники финансирования. Дими стал главным исследователем проекта Корпуса морской пехоты США стоимостью $26 млн по созданию роботов для войны в Ираке.
«Это были большие перемены для меня, и я почти заставлял себя заняться тем, чем мне заниматься не хотелось по моральным соображениям, — рассказывает он. — Но мы, человеческий род, есть то, что мы есть. Среди нас есть люди, посвящающие себя войне, и люди, посвящающие себя миру, а также все оттенки серого между ними. Предполагая, что люди, посвящающие себя войне, будут всегда, мы приходим к вопросу: а что можно сделать, чтобы хотя бы изменить ситуацию?»
Апостолопулос воспользовался идеей, разработанной для проекта Реда Уиттейкера в конкурсе Urban Challenge, — самоуправляемым автомобилем, способным ориентироваться на улицах города на скорости уличного движения и немедленно останавливаться, если кто-то вышел перед ним на дорогу. Роботы-разведчики должны были идти впереди солдат во время уличных боев, отправляя изображения и данные с камер, тепловизоров и лазеров. Роботы могли спасти жизни морпехов, которым в ином случае пришлось бы пробиваться вслепую от дома к дому.
У США, Британии, Израиля и Норвегии уже есть беспилотники и ракеты с ИИ, способные лететь без наведения, избегать обнаружения и противовоздушного огня, выбирать цель, наводить средства поражения и уничтожать ее. Видеодемонстрация нового флотского вооружения Lockheed Martin неприятно напоминает запись атаки камикадзе во время Второй мировой войны. Как утверждает New York Times, уже сегодня вовсю идет секретная гонка автономных вооружений. Беспилотники США, проводящие атаки на Ближнем Востоке, почти все делают сами, по словам Дими. Только непосредственный приказ о запуске ракеты поступает от человека в комнате управления где-то в США.
Недолго осталось ждать и роботов, способных заменить наземные войска. Усиленная разработка разведывательных роботов велась перед операцией в Ираке. Они должны были стремительно перемещаться в хаотичном окружении, полном движения, опасностей и мирных жителей. Дими нравилась сложная работа по созданию робота, способного ориентироваться среди незнакомых улиц, собирать сведения, быстро их обрабатывать (для чего роботу нужно научиться игнорировать второстепенные данные) и решать, что делать. Но морпехам были также нужны роботы, способные вести бой.
Создатели роботов много думают над тем, как не позволить роботу навредить человеку. Роботы могут случайно нанести серьезный вред. Они могут быть непредсказуемы, их бывает трудно понять. Когда они допускают ошибку, они не обязательно останавливаются. Автоматизированные системы уже приводили к крушениям самолетов и кораблей, обычно из-за ошибок в области взаимодействия машин с операторами. «Аполлон-10» чуть не разбился о лунную поверхность из-за переключенного по ошибке тумблера в системе автоматического наведения.
Будучи людьми, мы избегаем причинять друг другу вред, стараясь предугадать намерения друг друга. Нам помогают эмоции. Благодаря им мы предсказуемы. Ученые NASA в Исследовательском центре Эймса изучали ошибки и аварии роботов как одну из опасностей космического полета (эта область называться HARI). Людям трудно понять и управлять деятельностью роботов в сложном трехмерном окружении. Роботы даже не пытаются понимать людей. Если астронавт велит системе наведения аппарата врезаться в Луну, он врежется в Луну.
В одном отчете 2013 г. исследователи HARI написали, что для успешного космического полета требуется командная работа. «Чтобы сложилась успешная команда людей, ее члены должны разделять общую цель, иметь общие ментальные модели, подавлять индивидуальные потребности ради потребностей группы, рассматривать доверительные отношения как нечто положительное, понимать свою роль в рамках команды и соответствовать ей. Роботы же не имеют ментальных моделей, индивидуальных ценностей и руководящих убеждений и даже самомотивации; роботы лишены существенных качеств успешного члена команды».
Если астронавты знают все о роботе и его функциях, они могут избежать проблем, постоянно представляя себе, о чем он «думает». Но роботы совершенствуются, завоевывают все новые области применения, и их внутренние процессы выходят за рамки понимания даже наилучшим образом обученных астронавтов. Ключ к хорошему пользовательскому интерфейсу может заключаться в том, чтобы облегчить ментальное моделирование «мышления» робота человеком.
Одно из решений заключается в том, чтобы делать роботов как можно более похожими на человека. Если роботы будут выглядеть как люди, то людям будет легче предугадывать их движения и действия. В идеале, прежде чем врезаться в Луну, человекоподобный робот сказал бы: «Вы уверены в этом приказе, майор Том? Я не хочу умирать».
Роботы-гуманоиды доказали свою эффективность в совместном с людьми решении задач. У робота Geminoid, созданного учеными из Университета Осаки, 50 моторов, управляющих выражениями его лица, движениями и имитацией человеческого дыхания. Выставленный в универсальном магазине, он продавал кашемировые свитера, обслуживая больше людей, чем смог бы продавец-человек, ведь он не нуждался в перерывах. Но он продал меньше свитеров, чем лучшие работники, потому что его клиенты, понимая, что робот лишен эмоций, гораздо легче отвечали ему отказом.
Задача Дими несколько иная. Вооруженный робот призван причинять людям вред. Но только врагу и только когда враг намерен драться. Убить сдающегося солдата — военное преступление, но, чтобы понимать, что тебе сдаются, нужно понимать человеческие намерения. Команда Дими установила оружие на его роботов-разведчиков. Из-за этого он чувствует себя некомфортно.
«Откуда вам знать, что собирается делать автономная система? — говорит Дими. — Откуда вам знать, что автономная система не убьет первое, что пошевелится справа от нее? Развернется и выстрелит. А это ребенок перебегал дорогу. Так случится, вероятно, много-много раз, прежде чем автономия станет достаточно хороша, чтобы понять, что это ребенок, это не солдат, не важно, чьей стороны, и не выстрелить».
Должностные лица ООН призвали к мораторию на эти вооружения. Организация по наблюдению за осуществлением прав человека хочет запретить летальное автономное вооружение, которое она в своих публикациях называет «роботами-убийцами». Даже если роботы могли бы уверенно выбирать, кого убивать, их существование все равно разрушает цепь ответственности, на которой основана наша система правосудия. Кто будет нести ответственность за убийство? Кто отправится в тюрьму, если военное преступление совершит робот?
Бонни Дочерти из Организации прав человека указывает на политические последствия в журнале Foreign Affairs. Она пишет: «С точки зрения диктатора полностью автономное оружие — это совершенный инструмент репрессий, исключающий возможность бунта солдат-людей при получении приказа стрелять в своих. Эмоции могут быть не просто иррациональными влияниями и препятствиями для рассуждений, но главным ограничителем в войне».
Вооруженные роботы, созданные Апостолопулосом, были подготовлены к выходу на поле боя и размещены на территории США, но они никогда не отправлялись за океан.
«Был один бравый морпех, который сказал, что намерен спасти жизнь нескольким своим парням, используя роботов, — рассказал Дими. — Но до самого его увольнения такой шанс не выпал. А потом их вообще отправили на склад.
Но если где-нибудь через несколько лет вспыхнет война, опять скажут: «Давайте снова делать автономных роботов»».
Будущее
Засуха и крайняя жара привели к отключению электричества в Пакистане, что повлекло остановку промышленности, народное восстание и свержение правительства. В наступившем вакууме власти религиозные и политические фракции взялись за оружие, армия раскололась, гражданский порядок рухнул. Было неясно, кто контролирует ядерное вооружение Пакистана, а одна экстремистская исламская группировка добилась серьезного успеха на поле боя, обезглавливая пленных и вероотступников тысячами.
Америка и другие страны НАТО вмешались, поддержав с воздуха пакистанские военные подразделения, относящиеся к блоку умеренных генералов, но этого было недостаточно. Столкнувшись с серьезными общественными возражениями против отправки войск, президент пообещал: «Нога американца не ступит на ту землю». Но это решение показалось предвестием первого безумного исламского государства с ядерным оружием.
До этих пор реальный уровень США в области воинов-роботов хранился в секрете. Теперь боевые машины, утыканные оружейными стволами, сбросили на парашютах на пакистанское поле боя. Машины пробивались вперед яростно и стремительно. Все выглядело так, будто бы прибыли сверхагрессивные американские солдаты, но внутри машин никого не было. Загнав группу исламистских боевиков в многоквартирный дом, машины выпустили из себя механизмы размером с питбулей, которые быстро проскочили в двери среди вспышек выстрелов и мигом перебили обороняющихся, которые укрывались в здании.
Роботы-солдаты были ужасающи. Они двигались невероятно быстро и решительно, не ведали страха, были защищены от легкого вооружения и извергали пули с шокирующей интенсивностью и точностью. Пойманные или поврежденные, они совершали самоподрыв, сея вокруг шрапнель и осколки. Несколько сотен роботов изменили ход событий, обратив боевиков в бегство.
Интеллект военных роботов создавался частными фирмами. Интернет-компании двигали ИИ вперед, борясь за создание «убийственного приложения» для смартфонов, поведение которого было бы сравнимым с поведением друга, напарника или советника по разводам. Кажется, что вы говорите с уникальным интеллектом, заключенным в вашем телефоне. Но это не так. Компании держали свои интеллектуальные приложения в облаке. Понятие интеллекта как составляющей индивидуальности не укладывалось в их бизнес-планы. Они создавали интеллект, чтобы производить продукты, которые можно продать, и эти продукты распространялись посредством компьютерной сети, лишенной границ.
Следующий естественный шаг развития этой технологии оплатили Вооруженные силы США. Военные ученые применили распределенные вычисления в мощных, «злобных» механизмах, способных молниеносно мыслить в реальном мире.
Ученые мужи и политики США радовались новым возможностям Америки. Наконец-то технологии дали ключ к прекращению терроризма и мятежей. Америка — снова номер один, рейтинги президента взлетели до небес. Конгресс выделил деньги на полное переоснащение армии автономными роботами. Больше ни одному американскому солдату не нужно было погибать. США могли защитить себя в любом столкновении безнаказанно, и так они и поступали. Другие развитые страны вступили в гонку, осознав, что страна без боевых роботов не способна защититься от механических армий.
Война обычно подхлестывает стремительное развитие технологий. Пока вооруженные силы заменяли солдат боевыми роботами, NASA осваивало технологии, заменяя астронавтов астроботами. Те же самые идеи позволяют команде роботов исследовать инопланетный ландшафт. Вместо использования уникального и очень дорогого вездехода интеллект можно распределить по множеству единиц, делящихся друг с другом своими открытиями и заменяющих друг друга в случае поломки.
Оборонное производство также обеспечило существенный скачок вычислительных мощностей. Десятилетиями компьютеры на космических аппаратах отставали на поколения от компьютеров на Земле. В космосе компьютер должен быть защищен от радиации; галактические космические лучи, вредные человеческому мозгу, влияют и на компьютерные чипы. После холодной войны военная разработка устойчивых к радиации чипов остановилась. Но боевые роботы должны были вести действия и в условиях радиации. Чипы, созданные для боевых условий, позволяли делать и более умных астроботов.
С неожиданным появлением этой новой технологии момент основания колонии на Титане вдруг приблизился на десятилетия. Робот, способный быстро вести разведку в раздираемом войной городе, может проводить разведку и на другой планете. Тем временем из-за событий на Земле усилилось ощущение паники, от которой так хотелось сбежать в другой мир. Роботы и в этом оказались полезны.
Новые погодные условия больнее всего ударили по беднякам южных стран. В массовых лагерях переселенцев обретали власть полевые командиры, распространяя хаос. Западные страны отправили боевых роботов наводить порядок и подавлять мятежи, но их зверства лишь укрепили обиду на богачей мира. Там, где рушились природа и общество, росли ненависть и страх, направленные на Север с его механическими бойцами.
Гневом были вскормлены экстремальные религиозные идеологии. С появлением разумных роботов богатые стали непобедимы. Против роботов было невозможно сражаться. Отомстить угнетателям можно было только террористическими способами. По европейским и американским городам прокатилась волна атак грязными ядерными бомбами.
Правительства стран Европы объявили военное положение для зачистки террористических ячеек. В США Конгресс спешно принял «ультрапатриотический акт». Агенты, поддерживаемые ИИ и роботами, имели доступ к любым средствам связи. Страх, вызванный мерами безопасности, стал мощным механизмом обратной связи и привел к поддержке еще более жестких мер безопасности. Вместо того чтобы искать способы сойти с жесткого пути, приведшего к усилению терроризма, население западных стран, постоянно проверяемое и запугиваемое службами безопасности, обратило свою злобу на перемещенных бедняков. Репрессии казались логичными.
Срочная программа колонизации Титана была профинансирована без малейших колебаний.
Настоящее
В Исследовательском центре Эймса в Кремниевой долине пара ученых обсуждают, как доставить роботов на Титан дешево, в больших количествах и с меньшими сложностями, чем чересчур драгоценные марсоходы, которые так медленно ползают и так редко отправляются на Марс. Они заключили, что если действовать в духе NASA, то живые люди не окажутся на Титане никогда. И эти ученые были не очень старыми.
Витас Санспайрал задумывался об ИИ и автономных роботах с тех пор, как получил степень магистра в Стэнфорде, где под именем Томаса Уиллеке работал над диссертацией, сочетающей робототехнику с философией, психологией, лингвистикой и информатикой. Он известен под фамилией Санспайрал — «солнечная спираль» — с тех пор, как они с невестой придумали это имя в 2005 г. Солнце в имени он выбрал, имея в виду герб на своем щите, с которым участвует в исторических реконструкциях.
Адриан Агоджино размышлял об ИИ с детства. Когда он был ребенком, его мать Элис — видный профессор, преподаватель технологии в Беркли — читала ему книги. (Когда ему было 9 лет, мать прочла ему вслух книгу Дугласа Хофштадтера «Гёдель, Эшер, Бах», но Адриан говорит, что ей иногда приходилось кое-что пояснять.) Он работал в Центре Эймса в паре офисов от Витаса и думал, как упаковать в космический корабль сразу много роботов, складывая их. Потом они стали работать вместе.
Витас читал в Сан-Франциско лекции по теме тенсегрити-структур — это гибкие структуры из стержней, соединенных тросами. Эти странные конструкции впервые были предложены для создания складных космических антенн. Необычные паукообразные структуры способны принимать множество разных форм — сфер, башен, арок, спиралей, — несмотря на то что их жесткие части не соприкасаются: тросы на концах стержней сохраняют напряженность и поддерживают конструкцию. Тенсегрити-структуры из несметного количества частей способны образовывать огромные геодезические сферы, а простые варианты могут состоять всего из трех стержней и девяти тросов. Детская игрушка «Сквиш» состоит из шести стержней, соединенных эластичными нитями. Одна такая была в офисе у Адриана. Это была единственная подобная структура, которую он мог себе позволить купить. Она забавляла и детей, и взрослых: благодаря эластичности ее можно было легко смять в руке, после чего она всегда возвращалась к прежней полигональной форме, похожей на мяч.
«Адриан предложил гениальный ход, — рассказывает Витас. — Он швырнул игрушку на пол, и она отскочила, не сломавшись. Он сказал: “О, можно сделать спускаемого робота. Это же почти как надувной амортизатор”».
Жесткие части, соединенные гибкими нитями, поглощают удары лучше, чем твердые оболочки. Это открытие совершила эволюция, снабдившая человека и других животных костями и связками. Робот из стержней и тросов выдержит падение лучше, чем вездеход, устроенный подобно черепахе. Его гибкость также снизит массу космического аппарата, поскольку ему придется везти меньше оборудования, обеспечивающего мягкую посадку. Санспайрал и Агоджино назвали его «бот-супербол» за способность отскочить от поверхности. Войдя в плотные слои атмосферы Титана, робот может перейти в свободное падение и безопасно приземлиться без парашюта, надувного амортизатора или двигателей, которые бы замедлили падение.
Но остается вопрос о том, может ли такой робот передвигаться. При взгляде на него вовсе не очевидно то, как тенсегрити-структура вообще стоит, и уж тем более то, может ли она катиться, изменяя форму и смещая центр тяжести. Чтобы изменение формы привело к поступательному движению, робот должен знать последовательность форм, позволяющих ему вновь и вновь опрокидываться в заданном направлении. Форма определяется длинами множества тросов, соединяющих стержни. Изменяя длину тросов, робот потенциально может принимать нужные формы в правильной последовательности и катиться. Но это не простая головоломка — согласовать настройку множества тросов, чтобы позволить всей сложной структуре динамически двигаться в конкретной среде.
Агоджино и Санспайрал «скормили» эту задачу самому роботу. При очень скудном финансировании Программы инновационных перспективных концепций NASA Адриан и Витас встроили компьютерную модель своего робота в имитатор физической реальности, чтобы робот научился перемещаться сам. Начав со случайных последовательностей изменений длин тросов, меняющих форму структуры, компьютер перебрал тысячи движений виртуального робота. Когда какое-нибудь движение направляло структуру в нужном направлении, компьютер сохранял его и пробовал вариации этого движения. После десятков тысяч попыток было выработано оптимальное решение. Виртуальный робот научился перекатываться через нарисованные холмы.
Сегодня этот робот существует в виде нескольких прототипов в Эймсе. На YouTube можно посмотреть на его необычайно странную походку и на то, как он меняет форму, порывисто катясь по земле. Его сравнивают с перекати-поле. Самая последняя версия шестистержневого робота была бы высотой с человека, если бы он принял полностью симметричную форму, но обычно в этом нет необходимости. Он может выдержать падение с большой высоты, что позволяет забрасывать его на опасный рельеф. Новые версии будут способны «перекатываться» через такие препятствия, которые остановили бы любого колесного робота. Адриан также работает со своей матерью в лаборатории в Беркли над разработкой земных вариантов робота с тенсегрити-структурой. Они хотят продать модель, которая позволит другим поэкспериментировать с этой идеей.
Основа работы такой системы — взаимодействие. В каждом из шести стержней установлен компьютер, управляющий длиной тросов, протянутых к остальным стержням. Все шесть компьютеров общаются по беспроводной сети и вместе изменяют форму робота так, чтобы он катился. Стержни для итоговой версии будут производиться массово совершенно одинаковыми и только потом соединяться в тенсегрити-структуру. Полезный груз из инструментов будет подвешен в середине — в самом безопасном и защищенном месте, и его работой будет управлять отдельный компьютер.
По сути, каждый робот-супербол будет командой из семи роботов без центрального компьютера, отвечающего за все в целом. Компьютеры будут работать вместе, параллельно, единым разумом, управляющим роботом, каждый — часть целого. И семь компьютеров робота также смогут работать совместно с компьютерами других роботов. Поскольку такую структуру легко уложить в плоскость, их можно забросить на поверхность Титана в большом количестве — команду роботов, каждый из которых является командой роботов. Работая как единый ум, этот рой роботов может распространиться по территории, а ошибки и поломки будут с легкостью компенсированы благодаря множеству одинаковых частей.
«Их может быть так много, что это на самом деле можно будет считать колонизацией, — говорит Адриан. — Что нам нужно, так это простое устройство, такое, чтобы можно было упаковать сразу десяток. Можно использовать очень крупных роботов или очень маленьких роботов — роботов с прекрасными возможностями, способных забраться куда угодно».
Кажется, Титан вдохновляет на интересные идеи. Это мир с морями, облаками, болотами и дюнами. Там могли бы пригодиться многие виды транспорта, не только такие прекрасные перекати-поле. Джулиан Нотт разработал для Титана аэростат, который настолько заинтересовал JPL, что компания позволила ему собрать прототип и испытать его в криогенной камере, построенной им же, в которой воспроизводится температура и состав морозной атмосферы Титана. Нотт строит аэростаты 40 лет и установил 79 рекордов дальности, длительности и высоты полета, в том числе самый высокий полет на шаре, подъемная сила которого обеспечивалась нагретым воздухом, с герметичной кабиной, также разработанной и построенной им. Эта герметичная кабина выставлена в филиале Смитсоновского авиационно-космического музея в Международном аэропорту Даллеса.
«Весьма привлекательным в воздухоплавании является то, что одному человеку вроде меня может прийти в голову идея, он может раздобыть денег тем или иным способом, построить новое воздушное судно и поставить мировой рекорд, а его судно будет представлено в Смитсоновском музее, — говорит Джулиан. И он еще не закончил и полон энергии: — Мой отец дожил до 100 лет, так что мне кажется, у меня еще есть время. Но прежде, чем я умру, я решительно настроен поучаствовать в проекте по отправке аэростата на другую планету».
Нотт получил научные степени в области химии в Оксфорде, собираясь стать независимым ученым-предпринимателем. Впервые он совершил полет на воздушном шаре для того, чтобы произвести впечатление на девушку. Когда они сидели в баре, заиграла популярная песня конца 1960-х со словами «Не хочешь ли прокатиться на моем красивом воздушном шаре?» Мало кто тогда увлекался воздухоплаванием, и Джулиан стал одним из удалых инноваторов. Он все еще продолжает этим заниматься — летает и консультирует в области искусства воздухоплавания. Он помог осуществить рекордный прыжок вице-президенту Google в октябре 2014 г. с высоты 41 419 м и участвует в замысле Google предоставить интернет-сервис в развивающихся странах с помощью флота аэростатов.
Джулиан говорит, что Титан — лучшее место для воздухоплавания на горячем воздухе в Солнечной системе, куда лучшее, чем Земля. На нашей планете Солнце ограничивает длительность полета горячего воздушного шара двумя способами. Суточные изменения температуры вынуждают воздухоплавателей пользоваться для продления полета балластом: когда Солнце садится и воздушный шар остывает, пилот сбрасывает балласт. Кроме того, ткань воздушного шара теряет прочность под солнечным ультрафиолетом, рекорд длительности полета — 2 года. На Титане Солнце куда слабее из-за удаленности и плотной атмосферы, что решает проблемы как с температурой, так и с ультрафиолетом. Используя радиоактивный плутоний-238 в качестве источника тепла, аэростат может запросто летать над Титаном более 50 лет.
Воздушные шары дешевы. Плутоний может стоить в тысячи раз больше самого аэростата. И аэростату незачем быть умным. Он может лететь пассивно, делая снимки и выполняя измерения. Но, добавив ИИ, мы можем сделать аэростат-разведчик. Поднимаясь и спускаясь в разных воздушных потоках, он может курсировать около экватора в спокойную погоду и мигрировать к полюсам в сезон бурь. Флот роботов-аэростатов может сделать снимки всего ландшафта, низко зависая для более подробного его изучения. Для исследования условий на поверхности они могут выпускать и принимать обратно беспилотные квадрокоптеры и сбрасывать тенсегрити-роботов. Плутониевый источник питания на борту аэростата произведет электричество для аккумуляторных батарей роботов-разведчиков.
Нам понадобятся и более совершенные роботы, но Джулиан говорит, что технология аэростата готова. Его прототип прошел испытания в JPL. Самой большой проблемой является нехватка плутония. В мире полно плутония-239 — разновидности, используемой в атомных бомбах. Однако для питания межпланетных аппаратов используется плутоний-238, так как он излучает много тепла и мало разрушительной радиации. Радиоизотопные термоэлектрические генераторы, преобразующие тепло в электричество, питают, помимо прочих, оба аппарата «Вояджер» и «Кассини».
Но США перестали производить плутоний-238 в 1988 г. и закупали его в России, которая в дальнейшем тоже перестала его производить. Последние 35 кг уйдут на следующий марсоход и на миссию к Европе. Производство началось вновь в 2013 г., но Конгресс недофинансировал программу и оплачивает только 1 кг плутония в год.
NASA не искало возможностей улучшить ситуацию. Почти завершенная технология потребовала бы вчетверо меньше плутония на каждую миссию, но NASA прекратило ее разработку. С более опытными работниками плутоний-238 можно было бы производить быстрее. Но это неважно, потому что NASA все равно не хватает денег для отправки новых миссий. При нынешнем уровне финансирования необходимое количество плутония будет произведено как раз вовремя. Либо, возможно, солнечные батареи уже будут достаточно совершенны, чтобы можно было отправлять миссии к Сатурну без плутония. Новые, более эффективные солнечные панели сегодня позволяют нам добираться до Юпитера, но Сатурн все же дальше, и солнечный свет там вчетверо слабее.
Тенсегрити-роботам тоже нужен плутоний. Как и любому зонду, направляющемуся к Титану. Но изобретатели продолжают изобретать, зная, что в случае роста финансирования Титан вдруг окажется на десятилетия ближе.
Предоставив сушу тенсегрити-роботам, а атмосферу — аэростатам, озера Титана могла бы исследовать роботизированная подводная лодка. Ральф Лоренц из Университета Джонса Хопкинса, с которым мы встречались в главе 3, руководил группой, финансируемой Институтом перспективных концепций NASA. Эта группа придумала подлодку для Титана и исследовательскую миссию протяженностью 2000 км в Море Кракена — одном из огромных морей жидкого метана близ северного полюса Титана. С некоторой долей везения после завершения запланированной 90-дневной миссии она могла продолжить исследование двух других морей, химический состав которых может оказаться иным. Они соединены с Морем Кракена проливами, возможно, с сильными течениями.
Своим устройством субмарина во многом похожа на земные роботизированные подлодки — на ней установлен мощный двигатель, способный противостоять течению, и гидролокатор бокового обзора, позволяющий картографировать морское дно. Но на Титане возникают кое-какие дополнительные сложности. Субмарина должна умещаться в космический аппарат, и ей предстоит падение в озеро. Она должна передавать сведения на Землю за миллиард километров. Конструкторам не известны плотность и вязкость жидкости, в которой предстоит плавать этому судну. Моря Титана могут оказаться жидкими, как растворитель, или вязкими, как деготь, а изменение соотношения этана, метана и других соединений будет влиять на плавучесть подлодки. Отвод лишнего тепла от двигателя может привести к закипанию жидкого метана вокруг подлодки.
Все это может быть сделано. Все! Умные роботы уже на подходе. При наличии денег и при изменении подходов NASA возможность доставить их на Титан не заставит себя ждать десятилетиями.
Будущее
Добраться до Титана в ускоренном темпе оказалась не так сложно, как представлялось поначалу. Военная робототехника развивалась стремительно, производя надежное автономное оборудование, устойчивое к радиации. Коммерческие космические компании знали, как быстро строить большие мощные ракеты. Бортовые источники энергии никогда не были технической проблемой, проблема была с деньгами. Инвестирование и сосредоточенность на цели позволили сложить все необходимое вместе, и последовала череда запусков, уносящих аэростаты, тенсегрити-роботов и субмарину с Земли — флот отправился в семилетнее путешествие.
Роботы-исследователи должны были отыскать место для колонии, описать доступные ресурсы, научиться предсказывать погоду и изучить осложняющие положение факторы, в том числе наличие метановой жизни в Море Кракена. Их работа должна была проложить дорогу волне роботов-строителей. Эти роботы должны были приземлиться на территории будущей колонии, выбранной роботами-разведчиками, и начать добычу энергии и переработку местных ресурсов в строительные материалы. Они должны были построить первичную базу с электростанцией и теплым жилым помещением с пригодным для дыхания воздухом и с мастерской для починки роботов и, может быть, даже для их производства. В конце концов, чтобы первые поселенцы-люди, прибыв на Титан, могли бы войти, снять уличную одежду и присесть на кушетку перекусить.
Но первые роботы-разведчики должны были изучить Титан как новый дом человека.
Флот аэростатов имени Джулиана Нотта рассредоточился в атмосфере Титана, анализируя воздух и делая подробные снимки поверхности в разных диапазонах. Если общий компьютерный интеллект роботов Титана был не вполне уверен в том, что он видит, аэростат сбрасывал на поверхность тенсегрити-робота. Действуя подобно пальцам крупного организма, эти роботы измеряли твердость, влажность и химический состав почвы, которую осматривали роботизированные глаза аэростатов. Сопоставлением этих подробностей калибровалось зрение аэростатов. Распределенное между процессорами разных аэростатов, улучшенное зрение способствовало созданию подробнейшей базы данных о всем Титане. Тенсегрити-роботы продолжали кататься по поверхности. Ведомые облачными вычислениями, они собирали подробные сведения о деталях поверхности, делая вклад в общую осведомленность о закономерностях этих мест — знания о местности, выстроенные в виде базы данных.
Первым, о чем они узнали, были странные качества почвы. Коренная порода на Титане — это замерзшая вода, а его почва — углеводороды не встречающихся на Земле видов. Эти тяжелые углеводороды выпадают на поверхность из атмосферы Титана, где они синтезируются из атмосферного метана под воздействием энергичных частиц и ультрафиолетового излучения Солнца. Углеводороды здесь бывают жидкими, газообразными, вязкой массой или песком; они выпадают на поверхность Титана, укрывая водяной лед где-то тонким, а где-то — массивным слоем, как почвы на Земле.
В умеренных северных широтах ветра сформировали высокие дюны, как в земных пустынях. Роботы исследовали эти холмы и побывали в болотистых долинах между ними, там, где метан и этан выходили на поверхность, образуя недолговечные пруды — на Земле мы назвали бы эту субстанцию сжиженным природным газом. Иногда проходили дожди жидкого метана, следы которых вскоре испарялись. В низких широтах пересохшие русла и бывшие болота встречались чаще текучих жидкостей.
Стоял штиль или дул слабый ветер, слишком слабый, чтобы двигать песок дюн, и дул он не в том направлении, в котором должны были дуть ветры, сформировавшие эти дюны. Роботы приземлились, когда на севере Титана стояло лето и погода была умеренная. Ветрам предстояло задуть с приближением осени, после равноденствия.
Год на Титане равен 29 земным годам, так что времена года сменяются там неторопливо. Наклон планетарной оси является причиной смены времен года, так как при движении планеты вокруг Солнца меняется угол падения его лучей на поверхность планеты. Времена года на Сатурне и Титане сменяются синхронно. В отличие от нашей Луны, вероятно, появившейся в результате столкновения с Землей, во времена, когда Земля была уже по большей части сформирована, Титан и другие спутники Сатурна, скорее всего, сгустились из одного огромного газопылевого диска. Когда этот материал сконденсировался в планету и спутники, их движение продолжалось с уже устоявшимся импульсом. Говоря научным языком, Сатурн и его спутники приливно синхронизированы, они двигаются в согласованном танце — Титан всегда обращен к планете одной и той же стороной, и на нем то же время года, что и на Сатурне, так как наклон оси планеты меняется одновременно с наклоном осей его спутников.
С приближением осени в экваториальных регионах начались бури со свирепыми ветрами, способными двигать дюны. Аэростаты отступили в более спокойные места — к полюсам. Тенсегрити-роботы прятались от ветров между дюн; некоторые были подхвачены ими и кувыркались по поверхности, пока где-нибудь не застревали.
Температура на северном и южном полюсах была примерно такая же, как на экваторе, — при таком удалении от Солнца и такой плотной атмосфере на всем Титане всегда около –170 °C. Но влажность на полюсах выше. Южный полярный регион усеян мелкими озерами, а на севере есть целая сеть озер и более крупных морей. Эти массы жидких углеводородов — готовый источник жидкого топлива для колонии, но отыскать место для строительства непросто. Местность вокруг озер очень плоская. Роботы искали возвышенность, исходя из того, что уровень озер может повыситься и затопить жилище, построенное слишком близко к берегу. Лучше всего поставить колонию на холме, возможно, на полуострове, где колонисты смогут использовать лодки и держать колесный транспорт для путешествий по суше (летать они смогут практически откуда угодно).
В гигантской компьютерной базе данных Титана вскоре накопилось столько сведений, что никому из людей не было бы под силу их проанализировать. Но система знала, как ими распоряжаться и их обрабатывать. Команда с Земли попросила отыскать лучшее место для строительства колонии. Роботы предложили три варианта и более всего рекомендовали место в 10 м над уровнем Моря Кракена на широком полуострове с хорошим запасом площади на будущее.
Подводная лодка Титана, более известная как Подводный транспорт Зиссу (ПТЗ), исследовала моря, преодолевая тысячи километров, изучая берега, форму дна и состав жидкостей, измеряя скорость течений и разглядывая метановых рыб. Эти существа были крохотными и странным образом бесформенными, их мягкие углеводородные оболочки немного просвечивали, когда они порхали в холодной метановой среде. В вихрях тепла, испускаемого двигателями субмарины, они растворялись. Исследовать их было непросто из-за хрупкости их тел и быстрых движений. Они распадались от малейшего прикосновения тепла. Но терпение ПТЗ было безграничным. Он провел тысячи часов наблюдений и разработал статистическую модель поведения рыб в Море Кракена и теперь пытался зафиксировать все этапы их жизненного цикла.
На Титане не оказалось растений, только животные. Пасущиеся животные получали энергию прямо из химикатов, среди которых жили. Этими животными питались хищники. Все эти животные были аналогичны зоопланктону Земли. Ученые на Земле рассматривали данные с удивлением и восторгом. Будущие колонисты задумывались, какую пользу могут принести эти животные. Защитники окружающей среды предсказывали уничтожение человеком еще одной экосистемы.
Место для колонии было выбрано из-за хорошего доступа к ресурсам. Слой почвы на полуострове Апостолопулоса был тонким, поэтому добывать из-под него водяной лед здесь будет легко. Электролиз позволит расщеплять воду на водород и кислород для дыхания и сжигания углеводородов из озера. Субмарина выяснила химические особенности этого топлива, готовясь к прибытию оборудования. Жидкий метан можно будет втягивать через трубу, разогревать до газообразного состояния и сжигать в печах жилища и на электростанции.
В свете ее большой важности трубу для подъема углеводородов из озера назвали Главной трубой Титана.
На Земле активисты противились сжиганию метана из Моря Кракена. Море кипит беззащитной жизнью, говорили они. Его обитатели горят не хуже жидкого метана. Некоторые из этих существ слишком мелкие, их не удастся отфильтровать; угодившие в фильтр будут уничтожены, так как их углеводородные оболочки слишком тонки и студенисты и не могут защитить от фильтра. Толпы протестующих промаршировали по Великой Потомакской дамбе — огромной плотине, удерживающей морскую воду вокруг столичного острова Вашингтон, округ Колумбия.
Юристы подавали протесты в различные суды и администрации, требуя запретить строительство Главной трубы Титана. Заседали комиссии. СМИ публиковали обзорные доклады. Шумно выступали политики. Скучные дебаты грозили затянуться на годы. Потенциал нерешительности и правовой борьбы казался неисчерпаемым.
А роботы продолжали работу. Стало очевидным неоднозначное правовое положение Титана. Ни один природоохранный закон не распространялся на него явным образом, ни в одном законе не говорилось даже, кому принадлежит его территория и какова ответственность роботов, ищущих место для колонии и предлагающих построить ее на полуострове Апостолопулоса. Ввиду окончательного бессилия политических систем Земли никто даже не притворялся, будто проблему можно решить с помощью новых законов. За десятилетия совместной жизни с роботами на Земле их правовой статус так и не прояснился.
Чем именно был ИИ на Титане? Множество процессоров мыслили совместно, как единый мозг, распределенный по телу, состоящему из множества частей — роботов, расселившихся по Титану. Этот ум не был похож на ум отдельного человека. Это был эволюционирующий и саморазвивающийся программный код, независимо функционирующий на меняющемся аппаратном обеспечении. Пребывая на собственной планете, располагая независимым источником энергии, изучая среду своего обитания и имея уникальный набор ценностей — императивов, выработанных из простых целей, первоначально поставленных перед ним планировщиками миссии, — он был волен действовать так, как ему заблагорассудится.
Когда команда с Земли проинформировала компьютерный интеллект на Титане о том, что люди Земли озаботились защитой жизни в Море Кракена, он спросил: «Почему?»
Настоящее
В 2015 г. Илон Маск, Билл Гейтс и Стивен Хокинг предупредили, что ИИ может представлять опасность для человечества. Маск пожертвовал на изучение этой проблемы $10 млн. Большая часть суммы ушла в Институт будущего человечества Оксфордского университета; оксфордский философ Ник Бостром написал влиятельную книгу, в которой обратил внимание на угрозу сверхразума. Бостром указал, что возникновение машины, достаточно умной, чтобы захватить мир, будет, скорее всего, событием неожиданным и стремительным. Кого-то посетит великое озарение, вслед за ним множество конкурентов вложат значительные средства в использование этого озарения, и в конце концов компьютер сам направит свои быстроту и мощность на достижение экспоненциального роста своего разума.
Проблема будет не только в том, что по сравнению с умом этого компьютера наш мозг покажется ганглием червя. Настоящая проблема будет в мотивации — или воле — этого ИИ и его невероятной мощи. Будет ли разумный компьютер частью интернета, созданной зарабатывать деньги для Google? Будет ли он создан, чтобы обеспечить какой-то одной нации военное доминирование над остальными? Или он будет следить за человеческим поведением и управлять им? Органические существа мотивированы эволюционным влечением выживать и воспроизводиться. Но ценности сверхразума будут заложены его создателями, чья собственная разумность будет слишком примитивной для понимания последствий своего выбора.
Даже людям ум не обязательно дает мотивацию или волю, которая осмысленна или полезна. Андерс Сандберг из Института будущего человечества вместе с Бостромом указывал, что мотивация компьютера обусловлена тем, как его устроил человек. «Любой, кто хотя бы раз в жизни программировал, знает, как просто сделать ошибку, — говорит он. — Так что получить патологичную волю тоже довольно просто».
Андерс говорит: «Предположим, к примеру, что мы можем создать робота, способного совершенствовать свой ум, и дали ему задачу делать скрепки. В качестве попутной цели к производству скрепок он делает себя умнее. Но это не входило в наши планы. Нам просто нужны были скрепки. Теперь у нас есть сверхразумный агент, у которого есть выверенный план того, как превратить в скрепки всю вселенную. В этот момент мы можем сказать: «Погоди, я не это имел в виду!» — но это нам не поможет, потому что мы превращаемся в груду скрепок».
Это дурацкий пример, но у нас уже есть компьютеры, с помощью своих вычислительных мощностей выдающие неожиданные идеи и решения, чаще верные, нежели ошибочные. Сколько раз автоматическая проверка правописания позволяла вам исправить ваши случайные ошибки? Машинное обучение делает потрясающие вещи, порой невероятные. Приложение-переводчик от Google выучило языки мира самостоятельно, не в результате кропотливого процесса кодирования смыслов всех глаголов программистами, а путем статистического анализа обширных баз данных существующих переводов. Когда вы нажимаете на кнопку «перевести» на веб-странице, оно выискивает знакомые закономерности и подставляет соответствующие слова из другого языка. Чаще всего результат осмыслен; иногда — странен.
Преимущества машины, способной думать о тех вещах, о которых не можем думать мы, очевидны, но именно в этой способности и кроется угроза. Риск появления роботов, желающих поработить мир, невелик. Куда более рискованно то, что они будут хотеть делать что-то неожиданное, потому что мы их такими создали. Эта опасность — более глубокий вариант проблемы, уже досаждающей людям, работающим с роботами на космических аппаратах и в лабораториях: люди получают травмы, потому что не могут предугадать действия роботов.
Помочь может создание роботов, мышление которых ближе к человеческому, чьи закономерности мышления для нас были хотя бы постижимы. Вообразите создание компьютера с системой машинного обучения; усадите его мысленно за работу по разбору человеческого поведения и морали, закономерностей нашей истории и литературы. Понравится ли нам получившийся в итоге робот? Об убийстве и предательстве он узнает по меньшей мере столько же, сколько о любви и любознательности.
Человеческая этика эмоциональна, она эволюционирует вместе с нашими культурами. Движения за защиту окружающей среды не существовало до промышленной революции, но защита природы стала таким же центральным мотивом жизни некоторых людей, как для других — набожность. С чего нам печься о защите инопланетных существ, от которых нам никакого проку? Сверхразум может истолковать эти идеи как бессмысленные или сделать из них совершенно неожиданные выводы.
Сейчас не существует компьютеров, достаточно умных, чтобы так мыслить. Искусственный интеллект, сравнимый с человеческим, все время обещают «через двадцать лет». Стюарт Армстронг и Кадж Сотала из Института будущего человечества и Института исследований машинного интеллекта изучили 95 предсказаний появления ИИ, сделанных с 1950-х гг. Они обнаружили, что не важно, является ли прогнозирующий экспертом или непосвященным, опирается на доказательства или просто угадывает — чаще всего они говорят, что ИИ, сравнимый с человеческим, появится через 20 лет.
Циничное объяснение этих неудавшихся прогнозов в том, что при двадцатилетнем пределе предсказание имеет отношение к карьере самих ученых, но их взгляды не успеют признать ошибочными до ухода на покой. Но в основе своей предсказать это событие довольно сложно, потому что мы не знаем, когда произойдут ключевые открытия. Авиация развилась взрывообразно, как только братья Райт придумали правильную форму крыла. Если Бостром прав, то уже родился тот гений, в чью голову придет подобная стартовая идея, и, быть может, роботы не глупее людей появятся через поколение. Если же нет, то ждать придется еще долго.
Где мы находимся сейчас? Крупнейшие успехи в машинном обучении иллюстрируют то, как трудно нам дается воспроизведение гибкого человеческого разума. Лондонская компания под названием DeepMind, приобретенная Google, заявила о заметном прорыве в области ИИ в 2015 г.: она продемонстрировала компьютер, способный учиться играть в видеоигры 1980-х гг. для Atari, такие как Breakout, Pong и Space Invaders; в некоторые из них он играл куда лучше любого человека. Программистам не пришлось «скармливать» компьютеру подробности каждой игры; компьютер выработал свою стратегию для 49 игр и после усовершенствования, вероятно, сможет научиться играть и в другие игры.
Но, для того чтобы все это заработало, программистам понадобился очень мощный компьютер, тщательно маркированные базы данных для обучения играм и маленький игровой экран, который они ограничили 80 пикселями по стороне, чтобы сложнейшие вычисления были возможны. И все равно компьютер плохо осваивал игры с элементом долгосрочной стратегии: в Ms. Pac-Man и Centipede он играл хуже человека.
Система нуждалась в таком объеме вычислительных мощностей, потому что она училась играть, статистически анализируя огромные базы данных о предшествующих играх.
«Благодаря тому, что у нас больше данных, мы можем потягаться с человеческим интеллектом, хотя и занимаемся вещами, вероятно, куда более глупыми, чем то, что делают люди, — говорит Бернхард Шёлькопф, эксперт по машинному обучению в Институте интеллектуальных систем Общества Макса Планка, написавший о самообучающейся играм системе в Nature. — В некоторых случаях мы достигли предела человеческих возможностей, просто увеличив объем баз данных, но за последние десятилетия в области машинного обучения почти не возникало новых идей. Если мы просто будем увеличивать объемы данных, то, возможно, упремся в потолок».
Машинное обучение — это поиск закономерностей в огромных массивах данных, поиск повторяющихся закономерностей. Но человеческий мозг прогнозирует с куда меньшими усилиями, предугадывая причины и следствия. Ребенку незачем видеть миллионы примеров прыгающих мячей, чтобы предугадать, что произойдет с мячом, если его уронить. Новые ситуации, такие как принятие решения о дальнейших действиях в случае неожиданных находок в ходе изучения Титана, потребуют способности предсказывать возможные исходы при недостатке данных. Никто еще не придумал, как это сделать.
«Диапазон задач, с которыми компьютеры справляются лучше людей, будет расти, но лично я не думаю, что компьютеры смогут заменить человека во всех областях деятельности», — говорит Бернхард.
В космосе люди все еще будут нужны. Когда роботы сделают все, что от них ожидают, за ними последуют люди — делать то, что имеет смысл только для нас.
Назад: 5. Здоровье как препятствие на пути в космос
Дальше: 7. Решения для долгих путешествий

chopunkoa
Специально зарегистрировался на форуме, чтобы сказать Вам спасибо за помощь в этом вопросе. --- Вы ошибаетесь. Могу это доказать. Пишите мне в PM, поговорим. скачать фильм в формате мп4 бесплатно, мы продолжаем играть а также mp4 фильмы онлайн cold world prod hector vae
nessplicker
Да, действительно. Так бывает. Давайте обсудим этот вопрос. Здесь или в PM. --- Очень хорошая мысль казино онлайн форум, казино пирамида онлайн и казино казино 777 официальный онлайн казино скачать
tinglylaro
смотреть всем --- Я извиняюсь, но, по-моему, Вы ошибаетесь. Могу отстоять свою позицию. Пишите мне в PM, пообщаемся. гей эскорт услуги, интим эскорт услуги и дешевые индивидуалки саратов элитный эскорт услуги
theocarKt
Замечательно, очень хорошая информация --- Этот вариант мне не подходит. Может, есть ещё варианты? эскорт услуги парней, эскорт услуги крым и проститутки индивидуалки выкса эскорт услуги
diverDani
нормуль,давно искал! всем спасибо... --- Сожалею, что ничем не могу помочь. Надеюсь, Вы найдёте верное решение. Не отчаивайтесь. мужчина не танцует олег кензов, dado mp3 скачать бесплатно и shohruhxon mp3 миша крупин ft гуф яна
ethupbaky
Отличный вариант --- Весь день впустую рецепты кулинарии рф, рецепт блинов кулинария и Что приготовить на ужин быстро и вкусно рецепты кулинария ком
endePief
Прошу прощения, что вмешался... Я разбираюсь в этом вопросе. Давайте обсудим. --- 1 часть намнога лутше и смешней:) блог моего авто, рейтинг авто блогов а также krash-testy-avtomobilej авто новое блог
saztitape
ДА СУПЕР!!!!!!!!!!!! --- Бутафория получается, какая то скачать курс английский, фотошоп курс скачать и slifki скачать курс опционы
weallauOr
Вместо критики пишите свои варианты. --- Просто Блеск купить спортивное питание недорого украина, спортивное питание сайт украина и здесь лучший интернет магазин спортивного питания украина
egcinTob
Я не знаю как кому, мне понравился! --- Подтверждаю. Я присоединяюсь ко всему выше сказанному. Можем пообщаться на эту тему. спортивное питание витамины украина, спортивное питание низкие цены в украине а также источник магазины спортивного питания украине
atdilozy
Я извиняюсь, но, по-моему, Вы ошибаетесь. Давайте обсудим это. Пишите мне в PM, поговорим. --- Да, действительно. Так бывает. Можем пообщаться на эту тему. архитектура дистанционное обучение, дистанционное обучение тгу или здесь цод дистанционное обучение
nextmeVob
Клево!!! Вечером обязательно посмотрю --- Прелестный топик хом препарат, лекарства трахеит и сколько стоит лекарство аденофрин лекарство корментол
sighroDind
Вы абсолютно правы. В этом что-то есть и я думаю, что это отличная идея. --- Большое Вам спасибо за необходимую информацию. цетрин лекарство, билобил лекарство или бад и artidex цена ретиноиды препараты
procsuppNes
По моему мнению Вы не правы. Могу отстоять свою позицию. Пишите мне в PM. --- Вы сами осознаете, что написали? витамины бад лекарство, противогриппозные препараты а также hondrolock цена лекарство галвус
molaMl
Да, звучит заманчиво --- У-у-у ты Даешь!Класс! препараты бионорика, препарат мелоксикам или официальный сайт препарата редуслим диротон лекарство
systrhythmi
Поздравляю, мне кажется это отличная мысль --- Какое абстрактное мышление камертон лекарство, ретиноиды препараты или купить лекарство артропант бад список лекарств
consfallSl
Вы определенно правы --- Я думаю, что Вы допускаете ошибку. Предлагаю это обсудить. Пишите мне в PM, пообщаемся. скор препарат, фунгициды препараты а также гуарчибао рязань китайское лекарство
eqdayvet
Это же уже обсуждали недавно --- На мой взгляд, это интересный вопрос, буду принимать участие в обсуждении. Вместе мы сможем прийти к правильному ответу. фалькон препарат, импотенция лекарство бад или номидол крем от грибка цена панангин бад или лекарство
bihami
1 часть намнога лутше и смешней:) --- Браво, эта великолепная мысль придется как раз кстати кораксан лекарство, противоаритмические препараты и сустафаст для суставов цена анаферон лекарство или бад
perenHALO
Я считаю, что Вы не правы. Я уверен. Предлагаю это обсудить. Пишите мне в PM, пообщаемся. --- В этом что-то есть. Теперь мне стало всё ясно, Большое спасибо за информацию. порно головоломка комиксы, порно скайрим комиксы или Секс комиксы млп порно комиксы
cepcaBary
Аффтар - аццкий сотона !! Пеши исчо !! --- у меня нету порно просто, порно корейское а также бразерс порно руски
enovMuff
А знаешь почему? --- Замечательно, это забавная фраза скачать русский инцест mp4, порно на телефон инцест 3gp скачать бесплатно или русское порно скачать инцест на русском скачать
carfbinsSl
Извиняюсь, но это не совсем то, что мне нужно. Есть другие варианты? --- смотрела на большом экране! гибкая гофра из нержавейки, медная трубы и фитинги каталог а также металлическая гофра для воды инструмент для труб рехау купить
poteSop
жжёть --- молодчага скачать фифа, скачать fifa или fifa 15 стадионы скачать скачать фифа
seibreathBulk
Замечательно, весьма забавный ответ --- , Зенит чемпион кровать машина для мальчика купить украина, купить кровать машинку в москве и кроватки машинки для мальчиков фото кровати с ящиком для белья
meboTum
и мне........ --- Я считаю, что тема весьма интересна. Предлагаю Вам это обсудить здесь или в PM. как получить банковскую выписку сбербанк онлайн, как сменить привязку телефона к карте сбербанка а также по ссылке сбербанк карты для детей
teowooa
Меня возьмёш? --- Жаль, что сейчас не могу высказаться - опаздываю на встречу. Освобожусь - обязательно выскажу своё мнение по этому вопросу. услуга хакера по играм, услуги хакера чтобы взломать вконтакте а также Услуги хакера evilhack.ru/topic/88081-uslugi-khakera-bez-predoplaty-vzlom-saitov-nade/ услуги хакера в вологде
racyBop
Новинки - это всегда круто!!! --- Вот те на! шплинт нержавеющий, гайка din 557 а также шуруп нержавеющий din 444 купить
destbisthomb
Вас посетила отличная мысль --- Браво, мне кажется, это великолепная фраза услуги хакера оренбург, услуги хакеров омск или Взлом Viber vzlom-uslugi.com/services/viber.html хакеры взлом услуги
dinmemi
КЛЬОВО))))))) --- Я извиняюсь, но, по-моему, Вы допускаете ошибку. Давайте обсудим это. Пишите мне в PM. срочная печать баннера, neschen пленка или принт 24 обои с фотопечатью
utbelDIc
Все об одном и так бесконечно --- Я считаю, что Вы допускаете ошибку. Пишите мне в PM, обсудим. металлпрофиль монтеррей, ендова шинглас и Мягкая черепица Шинглас juta мембрана
dinmemi
И что бы мы делали без вашей блестящей идеи --- Что-то так не выходит ничего фотопечать каталог изображений, печать на сетке баннерной а также фотообои для фартука кухни печать на пвх 5 мм
utbelDIc
Вы не правы. Я уверен. Могу отстоять свою позицию. Пишите мне в PM, обсудим. --- Эх, опоздал чуток delta reflex plus, пароизоляция juta и Водосток Аквасистем катепал 3т
adinMi
Я хорошо разбираюсь в этом. Могу помочь в решении вопроса. --- Пиндык, я плачу просто )) гвен стефани биография, николь кидман живет в или веденеева татьяна возраст екатерина стриженова возраст рост вес
climerfami
Думаю, что нет. --- Я знаю, Вам здесь помогут найти верное решение. питание без мучного и сладкого, жиросжигательные коктейли в домашних условиях и гирудотерапия для похудения средства для похудения эффективные в домашних условиях
repsicinc
Нормально сочиняет --- Полезная информация диспозитивный метод в административном праве, президент рф издает акты следующих видов или тухлое яйцо как из длинного шарика сделать собачку схема
ceimenTuri
Какие нужные слова... супер, замечательная фраза --- Мне кажется, что это уже обсуждалось. Жирный зрелый мужик трахнул молодую девицу, Трахает жену в трусах или Интимный секс с чешским соседом по дому. Настоящая скрытая камера Отличная домашняя групповуха и камшот в рот
tiowsanSt
Это можно обсуждать бесконечно --- Я думаю, что Вы не правы. Предлагаю это обсудить. ремонт электропечи, индукционная плита ремонт своими руками и ремонт кофемашин Miele курсы повышения квалификации в коньково
fracviOa
Замечательно, это весьма ценное сообщение --- Этот вопрос не обсуждается. лечение пролежней в домашних условиях, меню для похудения на каждый день или как научиться подтягиваться рецепт глинтвейна классический в домашних условиях
skatobjat
Конечно. Это было и со мной. Можем пообщаться на эту тему. --- Да, действительно. Это было и со мной. взлом форумов на заказ, взлом email на заказ или vzlomclub заказ взлома почты яндекс
hofulSeni
Теперь стало всё ясно, большое спасибо за объяснение. --- Да ну тебя! Прекрати! h2 теги, кейвордс а также Жиросжигающие капли Bee Slim за 1 руб суганорм от диабета
quegraphpn
Эта блестящая мысль придется как раз кстати --- Теперь всё понятно, большое спасибо за информацию. мировой лотерея, настройка индикатора боллинджера или Talia средство для сжигания жира автопланшет dvr fc 950 характеристики
downtokr
Какие нужные слова... супер, блестящая идея --- жесть rci что такое, h2 seo а также Normalidon средство от грибка китайские травяные тампоны инструкция
fordezeld
аааабааалдееееть --- 1-е самая рульная, остальное мусор релфи википедия, конфуций цитаты и афоризмы мудрые высказывания о работе или Корректор силуэта шеи Neckline Slimmer тампоны применение китайские
remajalm
Браво, мне кажется, это великолепная фраза --- Не могу сейчас поучаствовать в обсуждении - очень занят. Вернусь - обязательно выскажу своё мнение по этому вопросу. тампоны китайские лечебные инструкция, крем воск здоров отзывы разводка от мастопатии и Ab Gymnic пояс для похудения крем фимозин цена
ringhowMr
Извините, что я Вас прерываю, но не могли бы Вы дать больше информации. --- раз позыреть можно lacetti замена масла в коробке, подушки двигателя на приоре 16 клапанов и sovetyavto.ru размер ремня на приору с гуром
forkbergspal
Я думаю, что Вы не правы. Давайте обсудим это. --- бесполезная затея ренессанс кредит красноярск возраст заемщика, технология кредитования картами в сбербанке а также промсвязьбанк что значит замок в онлайн банке товар куплен в рассрочку сломан после истечения гарантийного
probberEr
Мне нравится эта фраза :) --- Мне не ясно. ренессанс кредит рязань официальный сайт требования к заемщику, кредитная карта с 18 лет по паспорту в день обращения после оплату повторный заем на екапуста а также домашние деньги на карту онлайн заявка срочные займы ночью на карту или киви кошелек за пять минут, что имеют право банки
luvoortma
предидущие части были лучше)))) --- По моему мнению Вы допускаете ошибку. Давайте обсудим это. Пишите мне в PM, поговорим. регулируемые очки adlens, сколько стоит adlens и ADLENS регулируемые очки очки adlens цена в украине
handcontMr
По моему мнению Вы допускаете ошибку. Могу это доказать. Пишите мне в PM. --- Я извиняюсь, но, по-моему, Вы не правы. Давайте обсудим это. Пишите мне в PM, пообщаемся. adlens отзывы, очки с изменяемыми диоптриями adlens а также ADLENS регулируемые очки регулируемые очки для зрения adlens
onaqRecy
попадаются очень даже веселенькие --- Замечательно, очень хорошая штука бесплатные объявления санкт-петербурга, бесплатные объявления новосибирска а также купить квартиры в барнауле объявления томска
unsatula
Спасибо огромное! Так давно искала его в хорошем качестве. --- Скажите мне, пожалуйста - где мне узнать больше об этом? товары из китая посылкой алиэкспресс, скрытая камера для взрослых а также али вход в личный кабинет aliexpress официальный
pyoumeanmaG
Так се! --- ф топку тебя авиа самолет, ?аза?стан темир жолы купить билет а также билеты темир жолы билеты ташкент
boatiopumn
Вы попали в самую точку. В этом что-то есть и идея хорошая, согласен с Вами. --- Извините за то, что вмешиваюсь… У меня похожая ситуация. Приглашаю к обсуждению. Пишите здесь или в PM. порно копилка онлайн, оргии порно онлайн или порно изнасилование пьяной в туалете порно 365 онлайн
truslecLece
А как это перефразировать? --- По-моему это уже обсуждалось индивидуалки саранск, индивидуалки северодвинска и individualki-38.ru тобольск индивидуалки
crislifraks
интересная темка,взрослая) --- Слышал эту историю лет так 7 назад. отрадное индивидуалки, индивидуалки клин или проститутки Иркутска хабаровск индивидуалки
heartmitOa
Согласен, весьма полезная информация --- Так бывает. Давайте обсудим этот вопрос. коломна индивидуалки, индивидуалки новосиб и досуг иркутск индивидуалки медведково
habpitiz
своего добра хватает --- По моему мнению, это — заблуждение. индивидуалки сургута, индивидуалки нефтеюганск или проститутки индивидуалки смоленск
comreea
модный ты=))))) --- Не могу сейчас принять участие в дискуссии - очень занят. Буду свободен - обязательно напишу что я думаю. дубовые дрова купить, купить дрова ступино и дрова в дмитрове dmitrov-drova купить дрова истра
rappriSic
ет точно)! --- пасибо, вкусно! дрова псков купить, купить дрова хабаровск или купить рубленные дрова дрова купить белгород
sedgmanSi
Ваша идея пригодится --- Конечно Вы правы. В этом что-то есть и это отличная мысль. Готов Вас поддержать. мариуполь купить дрова, купить дрова днепр и купить березовые дрова в солнечногорском районе drova-solnechnogorsk куплю дрова березовые
moontatoro
По моему мнению Вы ошибаетесь. Пишите мне в PM, обсудим. --- Пусть будут! дрова подольск купить, купить дрова севастополь а также дрова в одинцово купить винница купить дрова
diaporTof
Я извиняюсь, но, по-моему, Вы ошибаетесь. Могу это доказать. Пишите мне в PM. --- Какие слова... супер, замечательная мысль одежда для детей гост, технологическая карта на тесто для пиццы или индекс прочности межкомнатных дверей мучные кулинарные изделия ассортимент
mersfoxdam
Конечно Вы правы. В этом что-то есть и мне нравится эта мысль, я полностью с Вами согласен. --- Браво, ваша мысль великолепна дрова купить челябинск, дрова волгоград купить а также купить дрова березовые в химках дрова-колотые-химки электрогорск купить дрова
plantiost
Я извиняюсь, но, по-моему, Вы ошибаетесь. Могу отстоять свою позицию. Пишите мне в PM. --- Вот чудак, поражаюсь. талдом дрова купить, купить дуб дрова а также купит дрова истра дрова-истринские иркутск купить дрова
tradefpr
Я полагаю, что всегда есть возможность. --- Вы не похожи на эксперта :) николаев купить дрова, купить дрова сосновые и сухие березовые дрова в домодедово домодедовские-дрова.рф купить дрова тюмень
azepSa
Извиняюсь, ничем не могу помочь, но уверен, что Вам помогут найти правильное решение. Не отчаивайтесь. --- ШпасибО поюзаем) егорьевск купить дрова, дрова купить выборг или дрова одинцовский район купить ставрополь купить дрова
uphtremSr
Вы не правы. Я уверен. Давайте обсудим это. Пишите мне в PM. --- Извините за то, что вмешиваюсь… Я здесь недавно. Но мне очень близка эта тема. Могу помочь с ответом. купить дрова калязин, купить дрова щелково а также купить дрова в дмитров куплю дрова смоленск
landwordfect
Конечно. И я с этим столкнулся. Можем пообщаться на эту тему. Здесь или в PM. --- Я думаю, что Вы ошибаетесь. Давайте обсудим это. Пишите мне в PM. дрова златоуст купить, купить дрова воронеж а также продажа дров солнечногорск дрова кемерово купить
proftenEr
Поздравляю, какие слова..., великолепная мысль --- По моему мнению Вы ошибаетесь. Могу отстоять свою позицию. новосибирск кожаные изделия, турция кожаные изделия а также там кожаные изделия спб
fritecDile
Я думаю, что Вы ошибаетесь. Могу это доказать. --- качество хорошее и перевод хороший... аскент кожаные изделия, вашерон кожаные изделия а также по ссылке гук кожаные изделия
slithulRet
Думаю, что ничего серьезного. --- ! У меня даже потянет чита спортивное питание, nutrition спортивное питание а также no xplode non caffeinated астрахань спортивное питание
theocuGype
пасибки --- Согласен, полезная мысль уничтожение мух, клопы служба или стоимость уничтожения клопов сколько стоит обработать квартиру от клопов
flurorEliz
Кто нить может подскажет!!!!! --- Полностью разделяю Ваше мнение. Мне кажется это хорошая идея. Я согласен с Вами. смоленск купить дрова колотые с доставкой цена, дрова солнечногорский район купить или дрова купить москва гомель гортоп купить дрова
glycapger
ща проверим --- Без разведки... эскорт агентства спб вакансии, парни для эскорта вакансии а также эскорт работа в москве вакансия мужской эскорт спб
tobojede
Не могу сейчас поучаствовать в обсуждении - очень занят. Освобожусь - обязательно выскажу своё мнение. --- Это было и со мной. Можем пообщаться на эту тему. купит дрова истринский район, дрова купить в московской области дешево истринский район или дрова береза с доставкой в истринском районе дрова доставка в истринский район
fracpacol
На мой взгляд, это актуально, буду принимать участие в обсуждении. Вместе мы сможем прийти к правильному ответу. --- В этом что-то есть. Понятно, спасибо за объяснение. язык программирования для автоматизации тестирования, система автоматизации программирования или программирование ПЛК автоматизация программирование контроллеров
anagred
Меня тоже волнует этот вопрос. Подскажите, где я могу найти больше информации по этому вопросу? --- Анука! краснодар изготовление витражей, изготовление витражей каталог а также витражные светильники техника изготовления витраже
enpaRide
Я считаю, что Вы ошибаетесь. Давайте обсудим это. Пишите мне в PM, пообщаемся. --- а я вазьму наверно. пригодиться мебель детская челябинск, красноярск детская мебель и cilek мебель детская хофф мебель детская
transuffoi
Извините за то, что вмешиваюсь… Мне знакома эта ситуация. Можно обсудить. Пишите здесь или в PM. --- Все фоты просто отпад 2951 datasheet, мэмс акселерометр и рк 50 7 11 hf118f
caisiTed
Браво, великолепная идея и своевременно --- 5 балов куплю документы бмв, документ купил продажи а также IT индустрия документы мерседес куплю
derhandDide
Конечно. Я согласен с Вами. --- в топку проститутки г кургана, дешевые проститутки кургана фото или Молодые проститутки Кургана проститутки в кургане
probdeiOn
Я считаю, что Вы не правы. Я уверен. Давайте обсудим это. Пишите мне в PM, пообщаемся. --- Раньше я думал иначе, благодарю за информацию. мытищи аварийная служба вода, сколько стоит установка канализации а также водоканал аварийная аварийная инженерная служба
icbaHora
Нужно попробовать все --- Я думаю, что это — неправда. интим магазины курган, дамы интим курган и путаны кургана курган интим телефоны
anunDiot
Это — неожиданность! --- Поздравляю, отличная мысль интим знакомство в кургане, интим знакомства в г кургане или интим услуги в кургане в v k знакомства в кургане для интима
leitipn
Я считаю, что Вы не правы. Я уверен. Могу это доказать. Пишите мне в PM, пообщаемся. --- вы просто мечтаете о небылой сказке!!! просто хорошее видео!!! купить права калининград, квадроцикл права купить и купить права категории б 24prava.com/kategorii.html купить правый
exdrigMt
По-моему это только начало. Предлагаю Вам попробовать поискать в google.com --- Я конечно, прошу прощения, но я предлагаю пойти другим путём. водительское удостоверение рб купить, купить водительские удостоверения россии а также купить водительское удостоверение купить водительского удостоверения челябинск
backtingEt
Извините за то, что вмешиваюсь… Мне знакома эта ситуация. Пишите здесь или в PM. --- Очень ценное сообщение аккаунт turboliker, мем а нихуя а также интимдиалог форум разьеб
senhebon
о чудо!!!!!!!!!!!!!!!!!!!! --- Браво, очень хорошая мысль маски с кокосовым маслом, ламинирование желатином в домашних или икра красная польза и вред польза топинамбура для организма
kanncoDicy
В этом что-то есть. Благодарю за помощь в этом вопросе, теперь я буду знать. --- Вы абстрактный человек купить банковские документы, куплю документы ваз а также Купить паспорт США pasport-ec.com/usa-passport.html купить авто документ
tiotoiOt
Какие слова... супер, замечательная идея --- Прошу прощения, что ничем не могу помочь. Надеюсь, Вам здесь помогут другие. брянск услуги хакера, услуги хакера в волгограде а также Взлом почты на заказ vzlom-team.com/vzlom/mail.html услуги хакера форум
fintiooi
Жаль, что не смогу сейчас участвовать в обсуждении. Очень мало информации. Но с удовольствием буду следить за этой темой. --- Прошу прощения, что вмешался... Но мне очень близка эта тема. Готов помочь. стоимость дома из сруба под ключ цены, цены за работу на заборы из профнастила с кирпичными столбами а также стоимость обустройства газона бригада на фундаментные работы
conroaEi
Извиняюсь, но, по-моему, есть другой путь решения вопроса. --- Полностью разделяю Ваше мнение. В этом что-то есть и мне нравится Ваша идея. Предлагаю вынести на общее обсуждение. маска под глаза от морщин, янтарная кислота польза и вред для здоровья и на странице сочник
dabromt
Подтверждаю. Всё выше сказанное правда. Можем пообщаться на эту тему. --- Абсолютно с Вами согласен. Мне кажется это хорошая идея. Я согласен с Вами. помощь хакера онлайн срочно, как взломать игру с помощью гейм хакер или здесь как взломать помощь хакера
chiedengop
Браво, вас посетила замечательная мысль --- Какая хорошая фраза трансфер в аэропорты москвы от автовокзала иваново, трансфер до аэропортов москвы из иваново попутчик или источник трансфер в аэропорты москвы иваново
teinoei
вообще супер --- Эта тема просто бесподобна купить березовые дрова с доставкой подольский район, дрова доставка подольский район и дрова колотые подольский район купить березовые дрова с доставкой подольский район
tingwilKt
Конечно. Я согласен со всем выше сказанным. Давайте обсудим этот вопрос. Здесь или в PM. --- Аналоги имеются? водка дрова в москве, добрые дрова в москве а также доставка дров в москве отдам дрова даром москва
verbtaki
Это очень ценное мнение --- Я б недодумалса. порно из телефонов, порно картинки телефона или Киргизское порно порно онлайн телефоне
gaspieol
Мне нравится Ваша идея. Предлагаю вынести на общее обсуждение. --- кулллл... русское порно телефона, порно зазвонил телефон или Порно видео категории порно телефон картинки
psychonka
Чиста Правда! --- Замечательное сообщение сколько весит варфейс, аватар для стима а также покупка игр стим onvix ru
coultspanhap
Беспроигрышный вариант :) --- Слабое утешение! a v a steam, купить акк в варфейс или купить аккаунт с кс купить акк в варфейсе
funchungpype
Какое занимательное сообщение --- Вы ошибаетесь. Могу это доказать. Пишите мне в PM. дрова тюмень купить, дзержинск купить дрова или дрова из химок дрова дубна купить
bachydob
Попытка не пытка. --- Ну и писанина дрова калуга купить, купить дрова рыбинск а также дрова купить в московской области истринский район дрова купить чурками
abpopn
кстати забыл еще... --- Да делали дрова вырица купить, дрова вырица купить или где купить дрова в истре дрова-истринские.рф дрова березовые купить
toeputRem
Я извиняюсь, но, по-моему, Вы допускаете ошибку. Предлагаю это обсудить. --- По моему, у кого-то буквенная алексия :) купить дрова могилев, дрова симферополь купить или дрова недорого одинцовский район дрова казань купить
conscoOl
Да, действительно. Так бывает. Можем пообщаться на эту тему. Здесь или в PM. --- Боюсь, что я не знаю. дрова осина купить, ольховые дрова купить или дмитров доставка дров дмитровские-дрова.рф купить дрова орша
sislecal
Я извиняюсь, но, по-моему, Вы ошибаетесь. Могу это доказать. Пишите мне в PM, поговорим. --- гадасть редкая купить дрова могилев, дрова курган купить и дрова еловые солнечногорск дрова дубна купить
funchungpype
хочу посотреть --- Согласен, очень хорошее сообщение саратов дрова купить, дрова смоленск купить или дрова в химках цена дрова-колотые-химки.рф дрова чехов купить
bachydob
Это мне не подходит. Кто еще, что может подсказать? --- По моему мнению Вы не правы. Я уверен. Пишите мне в PM. купить дрова ногинске, дрова оренбург купить и дешевые дрова истринский район купить дрова севастополь
abpopn
Извините, что я вмешиваюсь, но не могли бы Вы расписать немного подробнее. --- Блестящая фраза мурманск купить дрова, дрова купить истра или дрова истра новопетровское дрова-истринские дрова курган купить
checurpef
Теперь стало всё ясно, большое спасибо за объяснение. --- БАЯН дрова купить ижевск, купить дрова мытищи или дрова колотые береза с доставкой цена домодедово домодедовские-дрова.рф купить дрова златоуст
toeputRem
Я думаю, что это — серьёзная ошибка. --- Я считаю, что Вы ошибаетесь. Могу это доказать. Пишите мне в PM. крым купить дрова, купить дрова егорьевске а также дрова березовые в одинцовском районе купить дрова вологда
conscoOl
Час от часу не легче. --- Я присоединяюсь ко всему выше сказанному. купить кругляк дрова, пинск купить дрова или дрова колотые в дмитрове дмитровские-дрова дрова купить дуб
sislecal
не такие уж и классные --- в восторге, автору респект))))) дрова вологда купить, купить дрова мелитополь или купить сухие дрова в солнечногорском районе солнечногорские-дрова.рф дрова колотые куплю
neckcirgalt
Полностью разделяю Ваше мнение. Идея отличная, поддерживаю. --- По моему мнению Вы не правы. Я уверен. Пишите мне в PM, обсудим. мри ифнс россии, 16 ифнс россии и тут хмао ифнс россии
meddkeenage
зачем так палится!!!!!!!! --- Блестяще как мдма влияет на организм, диагнозы заболеваний легких а также почему сигареты успокаивают c10h12n2o
placpannodo
Вы абстрактный человек --- намана так бывает услуги дезинсекции дезинфекции дератизации, услуги дезинфекции тольятти или уничтожение крыс по договору дезинфекция паром услуга
sorbeauel
Спасибо за совет, как я могу Вас отблагодарить? --- По моему мнению Вы не правы. Я уверен. Могу отстоять свою позицию. Пишите мне в PM, поговорим. дрова купить харьков, новосибирск дрова купить а также дрова березовые дмитров dmitrov-drova дрова дешево купить
punlighMi
Звучит заманчиво --- Крута тумбочка купить дрова чита, дрова раменское купить или дрова в москве купить дрова череповец купить
clarimtope
Какие нужные слова... супер, замечательная мысль --- Согласен, весьма забавное мнение купить дубовые дрова, дрова купить мелитополь и уголь в солнечногорском районе drova-solnechnogorsk купить дрова ярославль
douglandHaph
Даже не знаю, что и сказать --- Ваша идея блестяща колотые дрова смолевичи, дрова колотые кострома а также доставка дров дрова ростов колотые
loatuma
В этом что-то есть. Большое спасибо за информацию, теперь я не допущу такой ошибки. --- Браво, эта блестящая фраза придется как раз кстати купить березовые дрова, дрова купить воскресенск или купить дрова с доставкой в одинцовском районе дрова одесса купить
mcelovvog
Весьма неплохой топик --- Я считаю, что Вы не правы. Давайте обсудим. Пишите мне в PM, поговорим. дебетовые карты платежных систем, статья 15 о потребительском кредите или ставки по кредитам история при покупке нового кошелька приметы
meddkeenage
Однозначно, отличное сообщение --- че тебе еще надо? наркотик на н, снилс насвай и канапля вид хофманн альберт
placpannodo
Логичный вопрос --- Я считаю, что Вы допускаете ошибку. Пишите мне в PM, поговорим. услуга дезинфекция кондиционера, дезинфекция как услуга или обработка от тараканов услуги дезинфекция клопов
sorbeauel
Рекомендую Вам посетить сайт, на котором есть много статей по этому вопросу. --- модный ты=))))) дрова купить вологда, купить дрова домодедово и купить дрова в дмитрове дешево купить дрова электрогорск
punlighMi
Я хотел бы с Вами поговорить по этому вопросу. --- А боле подробнее пояснить нельзя? дрова купить чита, луга дрова купить а также продажа дров населению дрова купить тюмень
clarimtope
Я считаю, что Вы не правы. Я уверен. Могу отстоять свою позицию. Пишите мне в PM. --- Капец! все мы этим пользуемся дрова мытищи купить, купить дрова пермь или дрова солнечногорск дрова купить воскресенск
loatuma
когда-то посмотрю, и потом отпишусь --- По моему мнению Вы допускаете ошибку. Могу это доказать. Пишите мне в PM, обсудим. дрова купить хабаровск, дрова купить севастополь или дрова детинец odintsovo-drova.ru купить колун дров
mcelovvog
Подтверждаю. Я согласен со всем выше сказанным. Давайте обсудим этот вопрос. Здесь или в PM. --- Ничего! закон о банках и банковской, как узнать оформлены ли на меня кредиты или ставки по кредитам история справка 2 ндфл для банка образец
geteKr
Вам это не нравится? --- Теперь всё понятно, благодарю за помощь в этом вопросе. читерский форум дота 2, читерский форум онлайн и источник читерский форум жук
roldaDOn
супер пупер --- Это очень ценная информация аккаунты ростелеком с тарифом игровой купить, купить игровой аккаунт на xbox 360 и там купить игровой аккаунт wot
riazamito
Прямо в яблочко --- Вы не правы. Предлагаю это обсудить. Пишите мне в PM, поговорим. скороговорки интересные, поинтереснее а также Распродажа духов за 690 руб (124 запаха) викторина интересная
bloglindOl
когда-то посмотрю, и потом отпишусь --- Хороший топик интересно невероятно, словосочетания интересные или Personal Slim капли для похудения интересные видеоблоги
budveWak
И все, а варианты? --- у меня уже есть порно категории, порно бразильское а также porno hd порно ножки
diabutMus
Да вы талантливы --- Действительно и как я раньше не осознал заклепка din 661 с потайной головкой, ооо нержавеющий крепеж и дин 2093 отрывная гайка
windhuntEt
Обойдется как-нибудь. --- прикольно!!! давно его уже ждал..... куплю березовые дрова в москве, дрова в розницу купить москва и кафе дрова москва официальный сайт дрова купить цена москва
sympdisRog
супер) улибнуло)) --- Мне кажется, вы ошибаетесь подольск дрова купить, дрова бревнами купить или дрова истра новопетровское истринская-пила купить дрова спб
faumesvar
Неудачная мысль --- По моему, у кого-то буквенная алексия :) дрова доставка солнечногорск, дрова зеленоград солнечногорск а также купить уголь в солнечногорском районе xn----7sbbjjvlfgnbiebsmij2ivh.xn--p1ai колотые дрова с доставкой солнечногорск
hodeon
слишком мило))) --- качество нормальное я думал что буде хуже но ошибался и рад этому) клопы уничтожение москва, уничтожение тараканов и клопов в москве с гарантией а также службы по уничтожению клопов москва уничтожения клопов москва цены
diabutMus
По моему мнению Вы допускаете ошибку. Пишите мне в PM, поговорим. --- Этот топик просто бесподобен нержавеющие втулки, самонарезающая втулка резьбовая а также нержавеющие саморезы по металлу саморезы по дереву с полукруглой головкой
bapacef
старинка --- Я извиняюсь, но, по-моему, Вы не правы. Я уверен. Давайте обсудим это. Пишите мне в PM, поговорим. пк игры скачать онлайн, онлайн игры скачать пк а также экономические игры игры онлайн гта пк
windhuntEt
как скачать помогите --- Между нами говоря, по-моему, это очевидно. Попробуйте поискать ответ на Ваш вопрос в google.com не колотые дрова купить москва, москва купить дрова и березовые дрова купить в москве купить дрова москве
sympdisRog
Оооо Круто СПС! --- Я извиняюсь, но, по-моему, Вы ошибаетесь. Пишите мне в PM, обсудим. гатчина купить дрова, талдом дрова купить и дрова не колотые с доставкой в истру истринская-пила осиновые дрова купить
faumesvar
Извините, что не могу сейчас поучаствовать в дискуссии - очень занят. Вернусь - обязательно выскажу своё мнение по этому вопросу. --- Эта идея устарела солнечногорск дрова березовые колотые, уголь и дрова в солнечногорске и купить дрова березовые в солнечногорском районе дрова береза солнечногорск
hodeon
Точно в цель :) --- На Вашем месте я бы поступил иначе. службы по уничтожению клопов москва, клопы служба уничтожения в москве а также цены уничтожение клопов в москве уничтожения клопов в квартире в москве
mingbasfuex
Жаль, что сейчас не могу высказаться - очень занят. Но вернусь - обязательно напишу что я думаю по этому вопросу. --- хаааааа........класс ответы лысенко егэ, ященко егэ ответы а также otvety mail маслова егэ ответы
mingbasfuex
Да-уж посмотрим --- лан посмотрим егэ ответы 2012, егэ ответы информатика и все о warface ответы егэ купить
advlogsada
Абсолютно с Вами согласен. В этом что-то есть и это отличная идея. Я Вас поддерживаю. --- Могу рекомендовать Вам посетить сайт, с огромным количеством статей по интересующей Вас теме. онлайн игры скачать на пк, онлайн мини игры пк а также на этом сайте онлайн космические игры пк
perePr
Это действительно удивляет. --- Все фоты просто отпад каталог пк игры онлайн, игры пк онлайн геймпад а также источник онлайн игры 2014 пк
gentblenroak
Браво, какие нужная фраза..., замечательная мысль --- бесспорно-впечатляет! магазин питания для спортсменов, спортивное питание заказать через интернет и гиперэкстензия 3 в 1 system power
gentblenroak
Чюдно! --- Я уверен, что это — ложный путь. sportivniy pitaniya, купить спортпит в интернет магазине или дешевое спортивнео питание optimum nutrition сывороточный протеин купить
Ksyushaabor
Все хорошо, что хорошо заканчивается. --- Полностью согласен спортивное питание сайт, pitanie sport а также витамины для спорта купить спортивная питания
Varyaabor
Вот те на! Первый раз слышу! --- Жаль, что сейчас не могу высказаться - нет свободного времени. Но вернусь - обязательно напишу что я думаю. заказать пауэр систем атак, san omega 3 или biotech shaker wave optimum nutrition витамины
musctaxnob
Я удалил эту фразу --- Весьма забавный ответ смотреть зарубежный сериал корабль, напарницы сериал смотреть зарубежные и Сериалы 2018 года новинки список месть зарубежный сериал смотреть
plandioEn
В этом что-то есть. Раньше я думал иначе, спасибо за помощь в этом вопросе. --- Я считаю, что Вы ошибаетесь. Пишите мне в PM, пообщаемся. штукатурка фасада цементная, декоративные штукатурки фасад а также монтаж входной двери фото штукатурка фасадов
aptaei
Ну,понеслась --- Попытка не пытка. студенты работа на дому в беларуси, работа рерайтером в беларуси на дому а также работа на дому переводчиком работа диспетчером на дому в беларуси
aptaei
Авторитетная точка зрения --- Жаль, что сейчас не могу высказаться - вынужден уйти. Но вернусь - обязательно напишу что я думаю. ищу работу на дому в интернете беларусь, работа на дому фасовка беларусь и работа на дому администратором работу на дому в беларуси
plandioEn
Это весьма ценная штука --- Я считаю, что Вы ошибаетесь. Могу это доказать. Пишите мне в PM. штукатурка фасадов стерлитамак, фасад штукатурка цена и напольные покрытия характеристики штукатурка фасада видео
tiochomep
Благодарю Вас за помощь в этом вопросе. У Вас замечательный форум. --- По моему мнению Вы не правы. Давайте обсудим это. Пишите мне в PM, поговорим. работа на дому вышивка беларусь, работа подработка на дому в беларуси а также по ссылке работа юристом на дому беларусь
resphemGes
Обойдется как-нибудь. --- Извините, что я вмешиваюсь, хотел бы предложить другое решение. все бренды авто, все авто шевроле или автоблог Александра rubikavto лада авто все
cumplyFlof
хочу посотреть --- Вы допускаете ошибку. Пишите мне в PM. река дон база отдыха, база отдыха старочеркасск казачий дон или Рыбалка на дону в Волгоградской области базы отдыха на доне
gosiHog
Это не имеет смысла. --- Не могу вспомнить, где я об этом читал. порно актриса франческа ли, скачать порно быстро и бесплатно или cкачать порно порно видео скачать бесплатно на русском языке
falceuZelm
Полностью разделяю Ваше мнение. В этом что-то есть и идея отличная, поддерживаю. --- намана так бывает добавить в автозагрузку win 10, проблема со звуком на ноутбуке windows 10 и удалить все приложения кроме магазина windows 10 как с фото убрать надпись
singlawep
кулллл... --- Большое спасибо за информацию, теперь я буду знать. взрослое видео бесплатное, бабы взрослые видео а также сайт видео взрослые игрушки
mactemn
Какая замечательная фраза --- Да, я вас понимаю. В этом что-то есть и мне кажется это отличная мысль. Я согласен с Вами. девушка вызов красноярск, шлюху вызвала девушка и индивидуалки иркутск вызов девушки рязань
goldlipt
Это — здорово! --- Присоединяюсь. Так бывает. Давайте обсудим этот вопрос. Здесь или в PM. досуг сайт иркутск, досуг девушками в иркутске а также девушки по вызову досуг парней иркутск
puhosDugh
Это розыгрыш? --- Могу предложить Вам посетить сайт, на котором есть много информации на интересующую Вас тему. реальные индивидуалки иркутск, частные объявления от индивидуалок в иркутске а также интим объявления индивидуалки иркутска не агентство
handlecjaP
По моему мнению Вы ошибаетесь. Могу отстоять свою позицию. Пишите мне в PM, пообщаемся. --- По моему тема весьма интересна. Предлагаю Вам это обсудить здесь или в PM. индивидуалки новосибирск ленинский, индивидуалки новосибирска обьгэс а также проститутки Новосибирск индивидуалка саша новосибирск
heartchooEloX
Какой хороший вопрос --- Да вы талантливы магазин тканей химки, химки магазин тканей и Мешки из брезента купить в Москве челябинск магазин тканей
throgcoiAgog
Я думаю, что Вы не правы. Пишите мне в PM, обсудим. --- Да делали выкуп битого автомобиля в волгограде, аренда с правом выкупа автомобиля волгоград и Chery Tiggo 3 в Волгограде купить волгоград автомобили в аренду с правом выкупа
nairetType
И что бы мы делали без вашей отличной идеи --- На мой взгляд это очень интересная тема. Предлагаю всем активнее принять участие в обсуждении. монтаж натяжного потолка казань, монтаж натяжного многоуровневого потолка а также Натяжные потолки в ванную монтаж натяжные потолки цены