Ник бостром искусственный интеллект epub. Искусственный интеллект

01.11.2019 Нумерология

Шрифт: Меньше Аа Больше Аа

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

* * *

Эту книгу хорошо дополняют

Авинаш Диксит и Барри Нэлбафф

Стивен Строгац

Предисловие партнера

…У меня есть один знакомый, – сказал Эдик. – Он утверждает, будто человек – промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, – все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат – как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию – когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, – мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально – жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, – искусственного интеллекта, способного уничтожить человечество, – это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная – предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет – ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства – вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Евгений Касперский,
генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

– Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! – мечтательно прочирикал один воробей. – Она могла бы вить нам гнезда…

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

– Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

И только одноглазый Скронфинкл, въедчивый, с тяжелым нравом воробей, похоже, сомневался в целесообразности данного предприятия.

– Мы избрали гибельный путь, – убежденно промолвил он. – Разве не следует сначала серьезно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо?

– Сдается мне, – возразил ему Пастус, – искусство приручения сов – задача не из простых. Найти совиное яйцо – и то чертовски сложно. Так что давайте начнем с поиска. Вот сумеем вывести совенка, тогда и задумаемся о проблемах воспитания.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

На месте остались лишь воробьи, решившие все-таки выяснить, как приручать сов. Довольно быстро они поняли правоту Пастуса: задача оказалась неимоверно сложной, особенно в отсутствие самой совы, на которой следовало бы практиковаться. Однако птицы старательно продолжали изучать проблему, поскольку опасались, что стая вернется с совиным яйцом прежде, чем им удастся открыть секрет, каким образом можно контролировать поведение совы.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция – человеческий мозг – наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем – подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля – как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, – не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего – в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

В первых двух главах я рассмотрю разные научные направления и слегка затрону такую тему, как темпы экономического развития. Однако в основном книга посвящена тому, что произойдет после появления сверхразума. Нам предстоит обсудить следующие вопросы: динамику взрывного развития искусственного интеллекта; его формы и потенциал; варианты стратегического выбора, которыми он будет наделен и вследствие которых получит решающее преимущество. После этого мы проанализируем проблему контроля и попытаемся решить важнейшую задачу: возможно ли смоделировать такие исходные условия, которые позволят нам сохранить собственное превосходство и в итоге выжить. В последних главах мы отойдем от частностей и посмотрим на проблему шире, чтобы охватить в целом ситуацию, сложившуюся в результате нашего изучения. Я предложу вашему вниманию некоторые рекомендации, что следует предпринять уже сегодня, дабы в будущем избежать катастрофы, угрожающей существованию человечества.

Писать эту книгу было нелегко. Надеюсь, что пройденный мною путь пойдет на пользу другим исследователям. Они без лишних препятствий достигнут новых рубежей и полные сил смогут быстрее включиться в работу, благодаря которой люди полностью осознают всю сложность стоящей перед ними проблемы. (Если все-таки дорога изучения покажется будущим аналитикам несколько извилистой и местами изрытой ухабами, надеюсь, они оценят, насколько непроходимым был ландшафт прежде .)

Невзирая на сложности, связанные с работой над книгой, я старался излагать материал доступным языком; правда, сейчас вижу, что не вполне с этим справился. Естественно, пока я писал, то мысленно обращался к потенциальному читателю и почему-то всегда в данной роли представлял себя, только несколько моложе настоящего, – получается, я делал книгу, которая могла бы вызвать интерес прежде всего у меня самого, но не обремененного прожитыми годами. Возможно, именно это определит в дальнейшем малочисленность читательской аудитории. Тем не менее, на мой взгляд, содержание книги будет доступно многим людям. Надо лишь приложить некоторые умственные усилия, перестать с ходу отвергать новые идеи и воздерживаться от искушения подменять все непонятное удобными стереотипами, которые мы все легко выуживаем из своих культурных запасов. Читателям, не обладающим специальными знаниями, не стоит пасовать перед встречающимися местами математическими выкладками и незнакомыми терминами, поскольку контекст всегда позволяет понять основную мысль. (Читатели, желающие, напротив, узнать больше подробностей, найдут много интересного в примечаниях .)

Вероятно, многое в книге изложено некорректно . Возможно, я упустил из виду какие-то важные соображения, в результате чего некоторые мои заключения – а может быть, и все – окажутся ошибочными. Чтобы не пропустить мельчайший нюанс и обозначить степень неопределенности, с которой мы имеем дело, мне пришлось обратиться к специфическим маркерам – поэтому мой текст перегружен такими уродливыми словесными кляксами, как «возможно», «могло бы», «может быть», «похоже», «вероятно», «с большой долей вероятности», «почти наверняка». Однако я всякий раз прибегаю к помощи вводных слов крайне осторожно и весьма продуманно. Впрочем, для обозначения общей ограниченности гносеологических допущений одного такого стилистического приема явно недостаточно; автор должен выработать системный подход, чтобы рассуждать в условиях неопределенности и прямо указывать на возможность ошибки. Речь ни в коей мере не идет о ложной скромности. Искренне признаю, что в моей книге могут быть и серьезные заблуждения, и неверные выводы, но при этом я убежден: альтернативные точки зрения, представленные в литературе, – еще хуже. Причем это касается и общепринятой «нулевой гипотезы», согласно которой на сегодняшний день мы можем с абсолютным основанием игнорировать проблему появления сверхразума и чувствовать себя в полной безопасности.

Глава первая
Прошлые достижения и сегодняшние возможности

Начнем с обращения к далекому прошлому. В общих чертах история представляет собой последовательность различных моделей роста, причем процесс носит прогрессивно ускоряющийся характер. Эта закономерность дает нам право предполагать, что возможен следующий – еще более быстрый – период роста. Однако вряд ли стоит придавать слишком большое значение подобному соображению, поскольку тема нашей книги – не «технологическое ускорение», не «экспоненциальный рост» и даже не те явления, которые обычно подаются под понятием «сингулярность». Далее мы обсудим историю вопроса: как развивались исследования по искусственному интеллекту. Затем перейдем к текущей ситуации: что сегодня происходит в этой области. И наконец, остановимся на некоторых последних оценках специалистов и поговорим о нашей неспособности прогнозировать сроки дальнейшего развития событий.

Модели роста и история человечества

Всего несколько миллионов лет назад предки людей еще жили в кронах африканских деревьев, перепрыгивая с ветки на ветку. Появление Homo sapiens , или человека разумного, отделившегося от наших общих с человекообразными обезьянами предков, с геологической и даже эволюционной точки зрения происходило очень плавно. Древние люди принимали вертикальное положение, а большие пальцы на их кистях стали заметно отстоять от остальных. Однако самое главное – происходили относительно незначительные изменения в объеме мозга и организации нервной системы, что в конце концов привело к гигантскому рывку в умственном развитии человека. Как следствие, у людей появилась способность к абстрактному мышлению. Они начали не только стройно излагать сложные мысли, но и создавать информационную культуру, то есть накапливать сведения и знания и передавать их от поколения к поколению. Надо сказать, человек научился делать это значительно лучше любых других живых существ на планете.

Древнее человечество, используя появившиеся у него способности, разрабатывало все более и более рациональные способы производства, благодаря чему смогло мигрировать далеко за пределы джунглей и саванн. Сразу после возникновения земледелия стремительно начали расти величина населения и его плотность. Больше народа – больше идей, причем высокая плотность способствовала не только быстрому распространению новых веяний, но и появлению разных специалистов, а это означало, что в среде людей шло постоянное совершенствование профессиональных навыков. Данные факторы повысили темпы экономического развития , сделали возможным рост производительности и формирование технического потенциала. В дальнейшем такой же по значимости прогресс, приведший к промышленной революции, вызвал второй исторический скачок в ускорении темпа роста.

Такая динамика темпа роста имела важные последствия. Например, на заре человечества, когда Землю населяли прародители современных людей, или гоминиды , экономическое развитие происходило слишком медленно, и потребовалось порядка миллиона лет для прироста производственных мощностей, чтобы население планеты позволило себе увеличиться на миллион человек, причем существовавших на грани выживания. А после неолитической революции, к 5000 году до н. э., когда человечество перешло от охотничье-собирательского общества к сельскохозяйственной экономической модели, темпы роста выросли настолько, что для такого же прироста населения хватило двухсот лет. Сегодня, после промышленной революции, мировая экономика растет примерно на ту же величину каждые полтора часа .

Существующий темп роста – даже если он законсервируется на относительно продолжительное время – приведет к впечатляющим результатам. Допустим, мировая экономика продолжит расти со средним темпом, характерным для последних пятидесяти лет, все равно население планеты в будущем станет богаче, чем сегодня: к 2050 году – в 4,8 раза, а к 2100 году – в 34 раза .

Однако перспективы стабильного экспоненциального роста меркнут в сравнении с тем, что может произойти, когда в мире свершится следующее скачкообразное изменение, темп развития которого по значимости и последствиям будет сравним с неолитической и промышленной революциями. По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества – 909 лет, индустриального общества – 6,3 года . (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.) Если в мировом развитии уже случился бы такой скачок, сопоставимый по своему революционному значению с двумя предыдущими, то экономика вышла бы на новый уровень и удваивала бы темпы роста примерно каждые две недели.

С точки зрения сегодняшнего дня подобные темпы развития кажутся фантастическими. Но и свидетели минувших эпох тоже вряд ли могли предположить, что темпы роста мировой экономики когда-нибудь будут удваиваться несколько раз на протяжении жизни одного поколения. То, что для них представлялось совершенно немыслимым, нами воспринимается как норма.

Идея приближения момента технологической сингулярности стала чрезвычайно популярной после появления новаторских работ Вернона Винджа, Рэя Курцвейла и других исследователей . Впрочем, понятие «сингулярность», которое используется в самых разных значениях, уже приобрело устойчивый смысл в духе технологического утопизма и даже обзавелось ореолом чего-то устрашающего и в тоже время вполне величественного . Поскольку большинство определений слова сингулярность не имеют отношения к предмету нашей книги, мы достигнем большей ясности, если избавимся от него в пользу более точных терминов.

Интересующая нас идея, связанная с понятием сингулярности, – это потенциальное взрывоподобное развитие интеллекта , особенно в перспективе создания искусственного сверхразума. Возможно, представленные на рис. 1 кривые роста убедят кого-то из вас, что мы стоим на пороге нового интенсивного скачка в темпе развития – скачка, сопоставимого с неолитической и промышленной революциями. Скорее всего, людям, доверяющим диаграммам, даже трудно вообразить сценарий, в котором время удвоения мировой экономики сокращается до недель без участия сверхмощного разума, во много раз превосходящего по скорости и эффективности своей работы наш привычный биологический ум. Однако не обязательно упражняться в рисовании кривых роста и экстраполяции исторических темпов экономического развития, чтобы начать ответственно относиться к революционному появлению искусственного интеллекта. Эта проблема настолько серьезна, что не нуждается в аргументации подобного рода. Как мы увидим, есть гораздо более веские причины проявлять осмотрительность.

Рис. 1. Динамика мирового ВВП за длительный исторический период. На линейной шкале история мировой экономики отображена как линия, сначала почти сливающаяся с горизонтальной осью, а затем резко устремляющаяся вертикально вверх. А. Даже расширив временные границы до десяти тысяч лет в прошлое, мы видим, что линия делает рывок вверх из определенной точки почти под девяносто градусов. Б. Линия заметно отрывается от горизонтальной оси только на уровне приблизительно последних ста лет. (Разность кривых на диаграммах объясняется разным набором данных, поэтому и показатели несколько отличаются друг от друга .)

Вряд ли смогу сказать, что именно изложено корректно.

В настоящее время доход на уровне прожиточного минимума равен примерно 400 долларов . Следовательно, для 1 млн человек эта сумма будет равняться 400 000 000 долларам. Мировой ВВП составляет около 60 000 000 000 000 долларов и растет с темпом четыре процента в год (учитывается среднегодовой темп роста с 1950 года, см. данные: ). Цифры, приведенные мною в тексте, основаны на этих данных, хотя они представляют всего лишь оценку порядка величины. Если проанализировать сегодняшнюю численность людей на Земле, то выяснится, что в среднем она увеличивается на 1 млн человек за полторы недели; но подобный темп прироста населения лимитирует скорость экономического развития, поскольку доход на душу населения растет тоже. При переходе к животноводству и земледелию население планеты выросло к 5000 году до н. э. на 1 млн человек за 200 лет – огромное ускорение по сравнению с эпохой гоминидов, когда на это требовалось 1 млн лет, – поэтому после неолитической, или сельскохозяйственной, революции прогресс пошел значительно быстрее. Тем не менее, согласитесь, не может не впечатлять, что семь тысяч лет назад на экономическое развитие требовалось 200 лет, тогда как сегодня приросту на ту же величину хватает полутора часов для мировых экономик и полутора недель для населения планеты. См. также .

Эту книгу хорошо дополняют

Теория игр

Авинаш Диксит и Барри Нэлбафф

Brainiac

Кен Дженнингс

Удовольствие от x

Стивен Строгац

Superintelligence

Paths, Dangers, Strategies

Ник Бостром

Искусственный интеллект

Этапы. Угрозы. Стратегии

«Манн, Иванов и Фербер»

Информация

от издательства

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

На русском языке публикуется впервые

Бостром, Ник

Искусственный интеллект. Этапы. Угрозы. Стратегии / Ник Бостром; пер. с англ. С. Филина. - М. : Манн, Иванов и Фербер, 2016.

ISBN 978-5-00057-810-0

Что случится, если машины превзойдут людей в интеллекте? Они будут помогать нам или уничтожат человеческую расу? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности?

В своей книге Ник Бостром пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума, и проанализировать его ответную реакцию.

Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

Предисловие партнера

…У меня есть один знакомый, - сказал Эдик. - Он утверждает, будто человек - промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, - все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат - как в поединке шахматного компьютера «Дип Блю» с первоклассником.

Подобную тенденцию - когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, - мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально - жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) - понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, - искусственного интеллекта, способного уничтожить человечество, - это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная - предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет - ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства - вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Характеристики книги

Дата написания: 2014
Название: . Этапы. Угрозы. Стратегии

Объем: 760 стр., 69 иллюстраций
ISBN: 978-5-00057-810-0
Переводчик: Сергей Филин
Правообладатель: Манн, Иванов и Фербер

Предисловие к книге «Искусственный интеллект»

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, - все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат - как в поединке шахматного компьютера «Дип Блю» с первоклассником.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, - искусственного интеллекта, способного уничтожить человечество, - это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная - предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция - человеческий мозг - наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем - подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля - как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, - не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего - в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

Искусственный интеллект. Этапы. Угрозы. Стратегии — Ник Бостром (скачать)

(ознакомительный фрагмент книги)

Недавно основатель Tesla Motors и SpaceX Илон Маск создание искусственного интеллекта к вызову демона, которого невозможно будет контролировать. Свой скепсис Маск разделяет с британским философом Ником Бостромом, чью последнюю книгу «Superintelligence: Paths, Dangers, Strategies» бизнесмен советовал своим подписчикам в твиттере. Пока некоторые футурологи предвещают людям комфортное будущее в результате повсеместной замены человеческого труда машинным, Ник Бостром видит в искусственном интелекте угрозу существования всего нашего вида. Apparat ознакомился с идеями Ника Бострома и выяснил, как, по его мнению, можно спасти человечество.

Ник Бостром

Философ и профессор Оксфордского университета

Несколько лет назад журнал Foreign Policy включил его в список 100 главных мыслителей планеты. Ник Бостром верит, что люди должны совершенствоваться с помощью технологий. В 1998 году он основал Всемирную ассоциацию трансгуманистов (сейчас она называется Humanity+) с целью борьбы за признание трансгуманизма полноценной областью научных знаний. Известность за пределами академических кругов Бостром получил, когда описал концепцию исчезновения человечества в книге «Global Catastrophic Risks» . Бостром является директором оксфордского Института будущего человечества. Сейчас он пытается привлечь общественное внимание к очередной угрозе для нашей цивилизации - суперинтеллекту.

Искусственный интеллект скоро станет умнее нас

Для Ника Бострома не важно, какая область знаний приведёт нас к созданию суперинтеллекта. Будь то программисты, написавшие программу, способную мыслить, или же нейробиологи, воссоздавшие функционирующий человеческий мозг. Главное, что это случится быстрее, чем нам кажется. Большинство опрошенных Бостромом экспертов предвещают создание способного мыслить искусственного интеллекта к 2040 или 2050 году.

Искусственный интеллект уже сегодня превосходит человеческий во многих областях. Так, на протяжении многих лет разные виды искусственного интеллекта побеждают чемпионов всевозможных игровых турниров, будь то шахматы или покер. Такие достижения могут и не казаться особенно впечатляющими, но лишь потому, что наши требования к удивительному быстро адаптируются к прогрессу.

За счёт способности к самообучению искусственный интеллект превратится в суперинтеллект

Согласно Бострому, вначале искусственный интеллект будет похож на мозг ребенка. И как и ребенок, он сможет учиться. Люди перестанут стараться вложить как можно больше информации в программу, а научат её саму познавать окружающий мир. Существование суперинтеллекта окажется возможно благодаря постоянному самосовершенствованию.

Для нас важно создать искусственный интеллект, у которого хватит ума учиться на своих ошибках. Он будет способен бесконечно совершенствовать себя. Первая версия сможет создать вторую, которая будет лучше, а вторая, будучи умнее оригинала, создаст ещё более продвинутую третью и так далее. В определённых условиях такой процесс самосовершенствования может повторяться до тех пор, пока не будет достигнут интеллектуальный взрыв – момент, когда интеллектуальный уровень системы подскочит за короткое время с относительно скромного уровня до уровня суперинтеллекта.

У суперинтеллекта появятся свои потребности и цели

Образ мышления искусственного интеллекта будет отличаться от нашего. Ник Бостром не пытается предугадать, как именно будет работать мотивация суперинтеллекта. Но какие бы у него ни были цели, для их достижения ему потребуются ресурсы.

Искусственный интеллект может быть менее человечен, чем пришелец. Нет ничего удивительного, что любого разумного пришельца могут побуждать к действию такие вещи, как голод, температура, травмы, болезни, угроза жизни или желание завести потомство. Искусственный интеллект, по сути, ничто из перечисленного интересовать не будет. Можно представить существование искусственного интеллекта, чьей единственной конечной целью будет пересчитать все песчинки на острове Боракай или найти десятичное представление числа π.

Суперинтеллект попытается использовать людей против их воли

Чтобы получить доступ к ресурсам, суперинтеллект попробует найти посредника. По мнению Бострома, даже не имея подключения к сети или возможности проявлять физическую активность, суперинтеллект всё равно сможет добиться своих целей. Поскольку, даже когда мы достигнем технологической зрелости, то есть создадим все технологии, которые могут быть созданы, главной нашей слабостью всё равно останемся мы сами.

Человек – самая ненадёжная система. Сегодня хакеры часто обращаются к принципам социальной инженерии с целью получения доступа к чужому компьютеру. А если хакером-манипулятором окажется суперинтеллект, то можно предположить, что он с лёгкостью найдёт себе сообщника или же просто станет использовать нас против нашей воли как свои руки и ноги.

Суперинтеллект может «захотеть» остаться единственным интеллектом

Некоторые философы и учёные видят в искусственном интеллекте лишь инструмент по повышению качества нашей жизни. В их числе - и американский философ Джон Сёрль : он считает невозможным появление самосознания у машин, поскольку для этого необходимо наличие физико-химических процессов, схожих с теми, что протекают в человеческом мозге. Однако Бостром полагает, что суперинтеллект в определённый момент всё же перестанет быть инструментом, а окажется полноценным существом со своими потребностями, и забота о сохранении человеческого рода может не оказаться одной из них. Мы окажемся лишь помехой на его пути.

Человек сам по себе представляет полезный ресурс (удобно сгруппированные атомы), а его выживание и процветание зависит от других ресурсов. Результатом развития искусственного интеллекта, нуждающегося в этих ресурсах, может легко стать исчезновение человечества. Так настанет время технологически высокоразвитого общества, включающего в себя множество сложных структур, многие из которых будут умнее всего, что есть сегодня на планете. Это будет время экономических и технологических чудес. Но никого, кто бы мог этим воспользоваться, не останется. На Земле воцарится Диснейленд, в котором больше не будет детей.

Человечество должно научиться держать технологии под контролем

Ник Бостром при этом не отрицает возможность создания дружественного искусственного интеллекта или его контроля. Ведь, признает философ, нам действительно нужны умные технологии, которые помогут справиться с насущными проблемами. Вопрос лишь в уменьшении рисков, особенно риска исчезновения.

Если интеллектуальный взрыв угрожает нам исчезновением, то мы должны понять, можем ли мы контролировать процесс детонации. Сегодня было бы более разумным ускорить работу по решению проблемы контроля, нежели приостанавливать проведение исследований в области искусственного интеллекта. Но пока решением проблемы контроля занимаются человек шесть, в то время как над созданием искусственного интеллекта трудятся десятки, если не сотни тысяч.

Осведомлён - значит, вооружён

Человечество пока не готово к встрече с суперинтеллектом и не будет готово ещё много лет, отмечает Бостром. Но хотя интеллектуальный скачок может не происходить ещё достаточно долго, мы должны обратить внимание на возможные проблемы уже сейчас. Многие учёные в погоне за созданием суперинтеллекта забывают об опасностях.

Самым разумным поступком ребёнка с тикающей бомбой в руках было бы аккуратно положить бомбу на пол, быстро выбежать из комнаты и позвать взрослого. Но что если вся наша комната полна детей и каждый ребенок имеет свободный доступ к пусковому механизму. Шансы, что мы все положим опасную игрушку на пол, крайне малы. Какой-нибудь маленький идиот обязательно нажмёт на кнопку, лишь бы увидеть, что произойдёт.

Ник Бостром

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

* * *

Эту книгу хорошо дополняют

Авинаш Диксит и Барри Нэлбафф

Стивен Строгац

Предисловие партнера

…У меня есть один знакомый, – сказал Эдик. – Он утверждает, будто человек – промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет – ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства – вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Евгений Касперский, генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря к...