Ник Бостром - шведский философ, профессор Оксфордского университета, сооснователь Всемирной ассоциации трансгуманистов и директор созданного в 2005 году в Оксфорде Института будущего человечества. Он пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума. Что случится, если машины превзойдут людей в интеллекте? Будут ли они помогать нам или уничтожат человечество? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности? Ник Бостром описывает сложные научные вопросы о будущем человечества доступным языком.

С разрешения издательства «Манн, Иванов и Фербер» «Лента.ру» публикует отрывок из книги Ника Бострома «Искусственный интеллект».

Сверхразум сможет обладать гигантскими возможностями, чтобы согласно своим целям менять будущее. Но каковы эти цели? Каковы устремления? Будет ли зависеть степень мотивации сверхразума от уровня его интеллекта?

Выдвинем два тезиса. Тезис об ортогональности гласит (с некоторыми исключениями), что можно комбинировать любой уровень интеллекта с любой целью, поскольку интеллект и конечные цели представляют собой ортогональные, то есть независимые, переменные. Тезис об инструментальной конвергенции гласит, что сверхразумные действующие силы, или агенты, - при самом широком разнообразии своих конечных целей - тем не менее будут преследовать сходные промежуточные цели, поскольку на это у всех агентов будут одинаковые инструментальные причины. Рассмотренные вместе, эти тезисы помогут нам яснее представить, каковы намерения сверхразумного актора.

Связь между интеллектом и мотивацией

В книге уже звучало предостережение от ошибки антропоморфизма: не следует проецировать человеческие качества на возможности сверхразумного агента. Мы повторим свое предупреждение, лишь заменив слово возможность на слово мотивация.

Прежде чем развивать дальше первый тезис, проведем небольшое предварительное расследование на тему безграничности всего спектра возможных умов. В этом абстрактном, почти космическом, пространстве возможного человеческий разум составляет ничтожно малый кластер.

Выберем двух представителей человеческого рода, которые согласно общему мнению являются диаметрально противоположными личностями. Пусть это будут Ханна Арендт и Бенни Хилл. Различие между ними мы, скорее всего, оценим как максимальное. Но сделаем так лишь потому, что наше восприятие целиком регулируется нашим же опытом, который, в свою очередь, полагается на существующие человеческие стереотипы (до известной степени мы находимся под влиянием и вымышленных персонажей, созданных опять-таки человеческой фантазией для удовлетворения все того же человеческого воображения).

Однако, изменив масштаб обзора и взглянув на проблему распределения разума сквозь призму безграничного пространства возможного, мы будем вынуждены признать, что эти две личности не более чем виртуальные клоны. Во всяком случае с точки зрения характеристики нервной системы Ханна Арендт и Бенни Хилл фактически идентичны.

Предположим, головной мозг и той и другого поместили бы рядом в тиши какого-нибудь музея, - увидев эту экспозицию, мы сразу скажем, что эти двое принадлежали одному и тому же виду. Более того, кто из нас смог бы определить, какой мозг Ханны Арендт, а какой - Бенни Хилла? Если нам удалось бы изучить морфологию и того и другого головного мозга, то мы окончательно убедились бы в их фундаментальном сходстве: одинаковая пластинчатая архитектоника коры; одни и те же отделы мозга; одинаковое строение нервной клетки мозга - нейрона с его нейромедиаторами одной и той же химической природы.

Вопреки тому, что разум человека практически сопоставим с неразличимой точкой, плавающей в безграничном космосе предполагаемых разумных жизней, сложилась тенденция проецировать человеческие свойства на самые разнообразные инопланетные сущности и искусственные разумные системы. Этот мотив великолепно прокомментировал Элиезер Юдковский все в той же работе «Искусственный интеллект как позитивный и негативный фактор глобального риска»:

«Во времена расцвета популярной научной фантастики, довольно дешевого свойства, обложки журналов пестрели картинками, на которых очередное инопланетное чудовище - в народе более известное как "пучеглазый монстр" - в очередной раз куда-то тащило очередную красотку в обязательно задранном платье - причем красотка была нашей, земной, женщиной.

Похоже, все художники уверовали, что негуманоидные пришельцы с совершенно иной эволюционной историей непременно должны испытывать сексуальное влечение к прекрасным представительницам человеческого рода. <...> Скорее всего, художники, изображавшие все это, даже не задавались вопросом, а будет ли вообще гигантский жук чувствителен к прелестям наших женщин. Ведь по их представлениям любая полуобнаженная женщина просто по определению сексуально привлекательна, то есть испытывать к ней желание являлось неотъемлемой чертой мужественных представителей человеческого рода.

Все художническое внимание было направлено на задранное или порванное платье, меньше всего их заботило, как устроено сознание гигантских насекомообразных. И это составляло главную ошибку художников. Не будь одежды изодраны, - думали они, - женщины выглядели бы не столь соблазнительно для пучеглазых монстров. Жаль только, сами пришельцы так и не взяли этого в толк».

Пожалуй, искусственный интеллект своими побудительными мотивами еще меньше будет напоминать человека, чем зеленый чешуйчатый пришелец из космоса. Инопланетяне - биологические создания (не более чем предположение), появившиеся в результате эволюционного процесса, в силу чего от них можно ожидать мотивации, в какой-то степени типичной для эволюционировавших существ.

Поэтому не будет ничего удивительного, если окажется, что мотивы поведения разумного пришельца продиктованы довольно простыми интересами: еда, воздух, температура, опасность телесных увечий или уже свершившиеся травмы, расстройства здоровья, хищничество, секс и выведение потомства. Если инопланетяне принадлежат какому-нибудь разумному социуму, у них могли бы развиться мотивы, связанные с сотрудничеством и конкуренцией. Подобно нам они проявляли бы преданность своему сообществу, возмущались бы тунеядцами и, кто знает, были бы не лишены тщеславия, беспокоясь о своей репутации и внешнем виде.

Думающим машинам по природе своей, в отличие от инопланетян, нет смысла заботиться о подобных вещах. Вряд ли вы сочтете парадоксальной ситуацию, если появится какой-нибудь ИИ, чьим единственным предназначением, например, будет: подсчитать песчинки на пляжах острова Боракай; заняться числом π и представить его, наконец, в виде обыкновенной десятичной дроби; определить максимальное количество канцелярских скрепок в световом конусе будущего.

На самом деле гораздо проще создать ИИ, перед которым будут стоять однозначные цели, а не навязывать ему нашу систему ценностей, наделяя машину человеческими свойствами и побуждениями. Сами решите, что сложнее: написать программу, измеряющую, сколько знаков после запятой в числе π уже посчитано и сохранено в памяти, или создать алгоритм, достоверно учитывающий степень достижения абсолютно значимой для человечества цели, скажем, такой, как мир всеобщего благоденствия и всеобщей справедливости?

Сколь ни печально, но человеку легче написать код упрощенного, лишенного всякого значения целенаправленного поведения машины и обучить ее, как выполнять поставленную задачу. Скорее всего, такую судьбу выберет для зародыша ИИ тот программист, который будет сосредоточен лишь на желании «заставить ИИ работать», причем как можно быстрее (программист, явно не озабоченный, чем именно придется заниматься ИИ, кроме того что демонстрировать сногсшибательное разумное поведение). Скоро мы вернемся к этой важной теме.

Интеллектуальный поиск инструментально оптимальных планов и стратегий возможен в случае любой цели. Интеллект и мотивация в некотором смысле ортогональны. Представим их в виде двух осей координат, задающих граф, в котором каждая точка представляет логически возможного интеллектуального агента. Правда, эта картинка потребует несколько уточнений.

Например, для системы, не наделенной разумом, было бы невозможно иметь слишком сложные мотивации. Чтобы мы могли с полным основанием говорить, что, мол, такой-то агент «имеет» такой-то набор мотиваций, - эти мотивации должны составлять функционально-интегрированную систему вместе с процессом принятия решений, который налагает определенные требования на память, вычислительную мощность и, возможно, уровень интеллекта.

У интеллекта, способного самопреобразовываться, скорее всего, будут наблюдаться ограничивающие динамические характеристики. И то сказать: если обучившаяся модифицировать самое себя думающая машина вдруг испытает острое желание стать глупой, то довольно быстро она перестанет быть интеллектуальной системой. Однако наши замечания никак не отменяют основной тезис об ортогональности интеллекта и мотивации. Представляю его на ваше рассмотрение.

Тезис об ортогональности

Интеллект и конечные цели ортогональны: более или менее любой уровень интеллекта может, в принципе, сочетаться с более или менее любой конечной целью.

Это положение может выглядеть спорным из-за своего кажущегося сходства с некоторыми постулатами, хотя и относящимися к классической философии, но до сих пор вызывающими много вопросов. Постарайтесь воспринять тезис об ортогональности в его более узком смысле - и тогда он покажется вполне достоверным.

Обратите внимание, тезис об ортогональности говорит не о рациональности или здравомыслии, но исключительно об интеллекте. Под интеллектом мы понимаем здесь навыки прогнозирования, планирования и сопоставления целей и средств в целом. Инструментальная когнитивная эффективность становится особенно важной чертой, когда мы начинаем разбираться в возможных последствиях появления искусственного сверхразума. Даже если использовать слово рациональный в таком смысле, который исключает признание рациональным сверхразумного агента, подсчитывающего максимальное количество скрепок, это ни в коем случае не исключает наличие у него выдающихся способностей к инструментальному мышлению, способностей, которые имели бы огромное влияние на наш мир.1. Предсказуемость за счет проектирования. Если мы можем предположить, что программисты способны разработать систему целеполагания сверхразумного агента так, что он будет последовательно стремиться достичь цели, заданной его создателями, тогда мы в состоянии сделать хотя бы один прогноз: этот агент будет добиваться своей цели. Причем чем более разумным будет агент, тем с большей интеллектуальной изобретательностью он начнет к ней стремиться. Поэтому еще до создания агента мы могли бы предсказать что-то о его поведении, если бы знали что-то о его создателях и целях, которые они собираются ему установить.

2. Предсказуемость за счет наследования. Если прототипом цифрового интеллекта непосредственно служит человеческий разум (что возможно при полной эмуляции головного мозга человека), тогда цифровому интеллекту могут быть присущи мотивы его человеческого прототипа. Такой агент мог бы сохранить некоторые из них даже после того, как его когнитивные способности разовьются настолько, что он станет сверхразумом. Но в таких случаях следует соблюдать осторожность. Цели агента легко могут быть искажены в процессе загрузки данных прототипа или в ходе их дальнейшей обработки и совершенствования - вероятность подобного развития зависит от организации самой процедуры эмуляции.

3. Предсказуемость за счет наличия конвергентных инструментальных причин. Даже не зная детально конечных целей агента, мы в состоянии сделать некоторые выводы о его более близких целях, анализируя инструментальные причины самых разнообразных возможных конечных целей при широком выборе ситуаций. Чем выше когнитивные способности агента, тем более полезным становится этот способ прогнозирования, поскольку чем более разумным является агент, тем больше вероятность, что он распознает истинные инструментальные причины своих действий и будет действовать так, чтобы при любой вероятной ситуации добиться своих целей. (Для правильного понимания следует заметить, что могут существовать недоступные нам сейчас инструментальные причины, которые сам агент обнаружит, лишь достигнув очень высокого уровня интеллекта, - это делает поведение сверхразумного агента менее предсказуемым.)

Недавно основатель Tesla Motors и SpaceX Илон Маск создание искусственного интеллекта к вызову демона, которого невозможно будет контролировать. Свой скепсис Маск разделяет с британским философом Ником Бостромом, чью последнюю книгу «Superintelligence: Paths, Dangers, Strategies» бизнесмен советовал своим подписчикам в твиттере. Пока некоторые футурологи предвещают людям комфортное будущее в результате повсеместной замены человеческого труда машинным, Ник Бостром видит в искусственном интелекте угрозу существования всего нашего вида. Apparat ознакомился с идеями Ника Бострома и выяснил, как, по его мнению, можно спасти человечество.

Ник Бостром

Несколько лет назад журнал Foreign Policy включил его в список 100 главных мыслителей планеты. Ник Бостром верит, что люди должны совершенствоваться с помощью технологий. В 1998 году он основал Всемирную ассоциацию трансгуманистов (сейчас она называется Humanity+) с целью борьбы за признание трансгуманизма полноценной областью научных знаний. Известность за пределами академических кругов Бостром получил, когда описал концепцию исчезновения человечества в книге «Global Catastrophic Risks» . Бостром является директором оксфордского Института будущего человечества. Сейчас он пытается привлечь общественное внимание к очередной угрозе для нашей цивилизации - суперинтеллекту.

Искусственный интеллект скоро станет умнее нас

Для Ника Бострома не важно, какая область знаний приведёт нас к созданию суперинтеллекта. Будь то программисты, написавшие программу, способную мыслить, или же нейробиологи, воссоздавшие функционирующий человеческий мозг. Главное, что это случится быстрее, чем нам кажется. Большинство опрошенных Бостромом экспертов предвещают создание способного мыслить искусственного интеллекта к 2040 или 2050 году.

Искусственный интеллект уже сегодня превосходит человеческий во многих областях. Так, на протяжении многих лет разные виды искусственного интеллекта побеждают чемпионов всевозможных игровых турниров, будь то шахматы или покер. Такие достижения могут и не казаться особенно впечатляющими, но лишь потому, что наши требования к удивительному быстро адаптируются к прогрессу.

За счёт способности к самообучению искусственный интеллект превратится в суперинтеллект

Согласно Бострому, вначале искусственный интеллект будет похож на мозг ребенка. И как и ребенок, он сможет учиться. Люди перестанут стараться вложить как можно больше информации в программу, а научат её саму познавать окружающий мир. Существование суперинтеллекта окажется возможно благодаря постоянному самосовершенствованию.

Для нас важно создать искусственный интеллект, у которого хватит ума учиться на своих ошибках. Он будет способен бесконечно совершенствовать себя. Первая версия сможет создать вторую, которая будет лучше, а вторая, будучи умнее оригинала, создаст ещё более продвинутую третью и так далее. В определённых условиях такой процесс самосовершенствования может повторяться до тех пор, пока не будет достигнут интеллектуальный взрыв – момент, когда интеллектуальный уровень системы подскочит за короткое время с относительно скромного уровня до уровня суперинтеллекта.

У суперинтеллекта появятся свои потребности и цели

Образ мышления искусственного интеллекта будет отличаться от нашего. Ник Бостром не пытается предугадать, как именно будет работать мотивация суперинтеллекта. Но какие бы у него ни были цели, для их достижения ему потребуются ресурсы.

Искусственный интеллект может быть менее человечен, чем пришелец. Нет ничего удивительного, что любого разумного пришельца могут побуждать к действию такие вещи, как голод, температура, травмы, болезни, угроза жизни или желание завести потомство. Искусственный интеллект, по сути, ничто из перечисленного интересовать не будет. Можно представить существование искусственного интеллекта, чьей единственной конечной целью будет пересчитать все песчинки на острове Боракай или найти десятичное представление числа π.

Суперинтеллект попытается использовать людей против их воли

Чтобы получить доступ к ресурсам, суперинтеллект попробует найти посредника. По мнению Бострома, даже не имея подключения к сети или возможности проявлять физическую активность, суперинтеллект всё равно сможет добиться своих целей. Поскольку, даже когда мы достигнем технологической зрелости, то есть создадим все технологии, которые могут быть созданы, главной нашей слабостью всё равно останемся мы сами.

Человек – самая ненадёжная система. Сегодня хакеры часто обращаются к принципам социальной инженерии с целью получения доступа к чужому компьютеру. А если хакером-манипулятором окажется суперинтеллект, то можно предположить, что он с лёгкостью найдёт себе сообщника или же просто станет использовать нас против нашей воли как свои руки и ноги.

Суперинтеллект может «захотеть» остаться единственным интеллектом

Некоторые философы и учёные видят в искусственном интеллекте лишь инструмент по повышению качества нашей жизни. В их числе - и американский философ Джон Сёрль : он считает невозможным появление самосознания у машин, поскольку для этого необходимо наличие физико-химических процессов, схожих с теми, что протекают в человеческом мозге. Однако Бостром полагает, что суперинтеллект в определённый момент всё же перестанет быть инструментом, а окажется полноценным существом со своими потребностями, и забота о сохранении человеческого рода может не оказаться одной из них. Мы окажемся лишь помехой на его пути.

Человек сам по себе представляет полезный ресурс (удобно сгруппированные атомы), а его выживание и процветание зависит от других ресурсов. Результатом развития искусственного интеллекта, нуждающегося в этих ресурсах, может легко стать исчезновение человечества. Так настанет время технологически высокоразвитого общества, включающего в себя множество сложных структур, многие из которых будут умнее всего, что есть сегодня на планете. Это будет время экономических и технологических чудес. Но никого, кто бы мог этим воспользоваться, не останется. На Земле воцарится Диснейленд, в котором больше не будет детей.

Человечество должно научиться держать технологии под контролем

Ник Бостром при этом не отрицает возможность создания дружественного искусственного интеллекта или его контроля. Ведь, признает философ, нам действительно нужны умные технологии, которые помогут справиться с насущными проблемами. Вопрос лишь в уменьшении рисков, особенно риска исчезновения.

Если интеллектуальный взрыв угрожает нам исчезновением, то мы должны понять, можем ли мы контролировать процесс детонации. Сегодня было бы более разумным ускорить работу по решению проблемы контроля, нежели приостанавливать проведение исследований в области искусственного интеллекта. Но пока решением проблемы контроля занимаются человек шесть, в то время как над созданием искусственного интеллекта трудятся десятки, если не сотни тысяч.

Осведомлён - значит, вооружён

Человечество пока не готово к встрече с суперинтеллектом и не будет готово ещё много лет, отмечает Бостром. Но хотя интеллектуальный скачок может не происходить ещё достаточно долго, мы должны обратить внимание на возможные проблемы уже сейчас. Многие учёные в погоне за созданием суперинтеллекта забывают об опасностях.

Самым разумным поступком ребёнка с тикающей бомбой в руках было бы аккуратно положить бомбу на пол, быстро выбежать из комнаты и позвать взрослого. Но что если вся наша комната полна детей и каждый ребенок имеет свободный доступ к пусковому механизму. Шансы, что мы все положим опасную игрушку на пол, крайне малы. Какой-нибудь маленький идиот обязательно нажмёт на кнопку, лишь бы увидеть, что произойдёт.

Что случится, если машины превзойдут людей в интеллекте? Они будут помогать нам или уничтожат человеческую расу? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности? В своей книге Ник Бостром пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума, и проанализировать его ответную реакцию. На русском языке публикуется впервые.

* * *

Приведённый ознакомительный фрагмент книги Искусственный интеллект. Этапы. Угрозы. Стратегии (Ник Бостром, 2014) предоставлен нашим книжным партнёром - компанией ЛитРес .

Глава вторая

Путь к сверхразуму

На сегодняшний день, если брать уровень общего интеллектуального развития, машины абсолютно уступают людям. Но однажды – по нашему предположению – разум машины превзойдет разум человека. Каков будет наш путь от нынешнего момента до того, который нас ожидает? В этой главе описаны несколько возможных технологических вариантов. Сначала мы рассмотрим такие темы, как искусственный интеллект, полная эмуляция головного мозга, усовершенствование когнитивных способностей человека, нейрокомпьютерный интерфейс, сети и организации. Затем оценим перечисленные аспекты с точки зрения вероятности, смогут ли они служить ступенями восхождения к сверхразуму. При нескольких вариантах пути шанс когда-нибудь достигнуть места назначения явно повышается.

Предварительно определим понятие сверхразума. Это любой интеллект, значительно превосходящий когнитивные возможности человека фактически в любых областях {87} . В следующей главе мы более подробно обсудим, что такое сверхразум, разложим его на составляющие и дифференцируем все возможные его воплощения. Но сейчас позволим себе ограничиться такой общей и поверхностной характеристикой. Заметьте, в данном описании не нашлось места ни претворению сверхразума в жизнь, ни его квалиа, то есть будет ли он наделен субъективными переживаниями и опытом сознания. А ведь в определенном смысле, особенно этическом, вопрос весьма немаловажный. Однако сейчас, оставив в стороне интеллектуальную метафизику{88} , мы уделим внимание двум вопросам: предпосылкам возникновения сверхразума и последствиям этого явления.

Согласно нашему определению, шахматная программа Deep Fritz не является сверхинтеллектуальной, поскольку «сильна» лишь в очень узкой – игра в шахматы – области. И тем не менее очень важно, чтобы сверхразум имел свои предметные специализации. Поэтому каждый раз, когда речь зайдет о том или ином сверхинтеллектуальном поведении, ограниченном предметной областью, я буду отдельно оговаривать его конкретную сферу деятельности. Например, искусственный интеллект, значительно превышающий умственные способности человека в сферах программирования и конструирования, получит название инженерного сверхинтеллекта. Но для обозначения систем, в целом превосходящих общий уровень человеческого интеллекта – если не указано иное, – остается термин сверхразум .

Как мы достигнем того времени, когда окажется возможным его появление? Какой путь выберем? Давайте рассмотрим некоторые возможные варианты.

Искусственный интеллект

Дорогой читатель, не стоит ожидать от этой главы концептуальной разработки вопроса, как создать универсальный, или сильный, искусственный интеллект. Проекта по его программированию просто не существует. Но даже будь я счастливым обладателем такого плана, то, безусловно, не стал бы обнародовать его в своей книге. (Если причины этого пока не очевидны, надеюсь, в последующих главах мне удастся недвусмысленно разъяснить собственную позицию.)

Однако уже сегодня можно распознать некоторые обязательные характеристики, присущие подобной интеллектуальной системе. Совершенно очевидно, что способность к обучению как неотъемлемое свойство ядра системы должна закладываться при проектировании, а не добавляться в качестве запоздалого соображения позднее в виде расширения. То же самое касается способности эффективно работать с неопределенной и вероятностной информациями. Скорее всего, среди основных модулей современного ИИ должны быть средства извлечения полезной информации из данных от внешних и внутренних датчиков и преобразования полученных концепций в гибкие комбинаторные представления для дальнейшего использования в мыслительных процессах, основанных на логике и интуиции.

Первые системы классического искусственного интеллекта по преимуществу не были нацелены на обучение, работу в условиях неопределенности и формирование концепций – вероятно, из-за того, что в те времена были недостаточно развиты соответствующие методы анализа. Нельзя сказать, что все базовые идеи ИИ являются принципиально новаторскими. Например, мысль использовать обучение как средство развития простой системы и доведения ее до человеческого уровня была высказана еще Аланом Тьюрингом в 1950 году в статье «Вычислительная техника и интеллект», где он изложил свою концепцию «машина-ребенок»:

Почему бы нам, вместо того чтобы пытаться создать программу, имитирующую ум взрослого, не попытаться создать программу, которая бы имитировала ум ребенка? Ведь если ум ребенка получает соответствующее воспитание, он становится умом взрослого человека{89} .

Тьюринг предвидел, что для создания «машины-ребенка» потребуется итеративный процесс:

Вряд ли нам удастся получить хорошую «машину-ребенка» с первой же попытки. Надо провести эксперимент по обучению какой-либо из машин такого рода и выяснить, как она поддается научению. Затем провести тот же эксперимент с другой машиной и установить, какая из двух машин лучше. Существует очевидная связь между этим процессом и эволюцией в живой природе…

Тем не менее можно надеяться, что этот процесс будет протекать быстрее, чем эволюция. Выживание наиболее приспособленных является слишком медленным способом оценки преимуществ. Экспериментатор, применяя силу интеллекта, может ускорить процесс оценки. В равной степени важно и то, что он не ограничен использованием только случайных мутаций. Если экспериментатор может проследить причину некоторого недостатка, он, вероятно, в состоянии придумать и такого рода мутацию, которая приведет к необходимому улучшению{90} .

Мы знаем, что слепые эволюционные процессы способны привести к появлению общего интеллекта человеческого уровня – по крайней мере один раз это уже случилось. Вследствие прогнозирования эволюционных процессов – то есть генетического программирования, когда алгоритмы разрабатываются и управляются разумным человеком-программистом, – мы должны получить аналогичные результаты с гораздо большей эффективностью. Именно на это положение опираются многие ученые, среди которых философ Дэвид Чалмерс и исследователь Ханс Моравек{91} , утверждающие, что ИИЧУ не только теоретически возможен, но и практически осуществим уже в XXI столетии. По их мнению, в деле создания интеллекта, оценивая относительные возможности эволюции и человеческой инженерной мысли, мы обнаружим, что последняя во многих областях значительно превосходит эволюцию и, скорее всего, довольно скоро обгонит ее в оставшихся. Таким образом, если в результате эволюционных процессов когда-то появился естественный интеллект, то из этого следует, что человеческие замыслы в области проектирования и разработок вскоре смогут привести нас к искусственному интеллекту. Например, Моравек писал еще в 1976 году:

Существование нескольких примеров интеллекта, появившегося в условиях такого рода ограничений, должно вселять в нас уверенность, что очень скоро мы сможем достичь того же. Ситуация аналогична истории создания машин, которые могут летать, хотя они тяжелее воздуха: птицы, летучие мыши и насекомые продемонстрировали эту возможность явно задолго до того, как человек сделал летательные аппараты{92} .

Впрочем, следует быть осторожнее с выводами, построенными на подобной цепочке рассуждений. Конечно, нет сомнений, что полет нечеловеческих живых существ, которые тяжелее воздуха, стал возможен в результате эволюции намного раньше того, как в этом преуспели люди – правда, преуспели при помощи механизмов. В поддержку этого можно вспомнить и другие примеры: гидролокационные системы; магнитометрические системы навигации; химические средства ведения войны; фотодатчики и прочие приспособления, обладающие механическими и кинетическими характеристиками эффективности. Однако с таким же успехом мы перечислим области, в которых результативность человеческих усилий еще очень далека от эффективности эволюционных процессов: морфогенез; механизмы самовосстановления; иммунная защита. Таким образом, аргументация Моравека все-таки не «вселяет в нас уверенность», что ИИУЧ будет создан «очень скоро». В лучшем случае верхним пределом сложности создания интеллекта может служить эволюция разумной жизни на Земле. Но этот уровень пока недосягаем для нынешних технологических возможностей человечества.

Еще один довод в пользу развития искусственного интеллекта по модели эволюционного процесса – это возможность запускать генетические алгоритмы на довольно мощных процессорах и в итоге добиться результатов, соизмеримых с теми, которые получились в ходе биологической эволюции. Таким образом, эта версия аргументации предполагает усовершенствовать ИИ посредством определенного метода.

Насколько справедливо утверждение, что довольно скоро в нашем распоряжении окажутся вычислительные ресурсы, достаточные для воспроизведения соответствующих эволюционных процессов, вследствие которых образовался человеческий интеллект? Ответ зависит от следующих условий: во-первых, будет ли в течение следующих десятилетий достигнут значимый прогресс компьютерных технологий; во-вторых, какая потребуется вычислительная мощность, чтобы механизмы запуска генетических алгоритмов были аналогичны естественному отбору, приведшему к появлению человека. Надо сказать, что выводы, к которым мы приходим по цепочке наших рассуждений, крайне неопределенны; но, несмотря на такой обескураживающий факт, все-таки представляется уместным попробовать дать хотя бы приблизительную оценку этой версии (см. врезку 3). За неимением других возможностей даже ориентировочные расчеты привлекут внимание к некоторым любопытным неизвестным величинам.

Суть в том, что вычислительная мощность, требуемая лишь для воспроизведения нужных эволюционных процессов, приведших к появлению человеческого интеллекта, практически недостижима и надолго останется таковой, даже если закон Мура будет действовать еще целое столетие (см. рис. 3 ниже). Однако существует вполне приемлемый выход: мы очень сильно повлияем на эффективность, когда вместо прямолинейного повторения естественных эволюционных процессов разработаем поисковый механизм, ориентированный на создание интеллекта, задействуя самые разные очевидные преимущества по сравнению с естественным отбором. Безусловно, оценить количественно полученный выигрыш в эффективности сейчас очень трудно. Мы даже не знаем, о каких порядках величины идет речь – пяти или двадцати пяти. Следовательно, если построенная на эволюционной модели аргументация не будет разработана должным образом, мы не сможем удовлетворить свои ожидания и никогда не узнаем, насколько сложны дороги к искусственному интеллекту человеческого уровня и как долго нам ожидать его появления.

Врезка 3. Оценка усилий по воспроизведению эволюционного процесса

Не все достижения антропогенеза, имеющие отношение к человеческому разуму, имеют ценность для современных специалистов, работающих над проблемой эволюционного развития искусственного интеллекта. В дело идет лишь незначительная часть того, что получилось в итоге естественного отбора на Земле. Например, проблемы, которые люди не могут не принимать во внимание, являются результатом лишь незначительных эволюционных усилий. В частности, поскольку мы можем питать наши компьютеры электричеством, у нас нет необходимости заново изобретать молекулы системы клеточной энергетической экономики для создания разумных машин – а ведь на молекулярную эволюцию метаболического механизма, вполне возможно, потребовалась значительная часть общего расхода мощности естественного отбора, находившейся в распоряжении эволюции на протяжении истории Земли{93} .

Существует концепция, что ключом к созданию ИИ является структура нервной системы, появившаяся меньше миллиарда лет назад{94} . Если мы примем данное положение, количество «экспериментов», необходимых для эволюции, значительно сократится. Сегодня в мире существует приблизительно (4–6) × 1030 прокариотов, но лишь 1019 насекомых и меньше 1010 представителей человеческого рода (кстати, численность населения накануне неолитической революции была на порядки меньше){95} . Согласитесь, эти цифры не столь пугающи.

Однако для эволюционных алгоритмов требуется не только разнообразие вариантов, но и оценка приспособленности каждого из вариантов – обычно наиболее затратный компонент с точки зрения вычислительных ресурсов. В случае эволюции искусственного интеллекта для оценки приспособленности требуется, по всей видимости, моделирование нейронного развития, а также способности к обучению и познанию. Поэтому лучше не смотреть на общее число организмов со сложной нервной системой, а оценить количество нейронов в биологических организмах, которые нам, возможно, придется моделировать для расчета целевой функции эволюции. Грубую оценку можно сделать, обратившись к насекомым, которые доминируют в наземной биомассе (на долю одних только муравьев приходится 15–20 %){96} . Объем головного мозга насекомых зависит от многих факторов. Чем насекомое крупнее и социальнее (то есть ведет общественный образ жизни), тем больше его мозг; например, у пчелы чуть меньше 106 нейронов, у дрозофилы – 105 нейронов, муравей со своими 250 тысячами нейронов находится между ними{97} . Мозг большинства более мелких насекомых содержит всего несколько тысяч нейронов. Предлагаю с предельной осторожностью остановиться на усредненном значении (105) и приравнять к дрозофилам всех насекомых (которых всего в мире – 1019), тогда суммарное число их нейронов составит 1024. Добавим еще порядок величины за счет ракообразных, птиц, рептилий, млекопитающих и т. д. – и получим 1025. (Сравним это с тем, что до возникновения сельского хозяйства на планете было меньше 107 человек, причем на каждого приходилось примерно 1011 нейронов – то есть в общей сложности сумма всех нейронов составляла меньше чем 1018, хотя человеческий мозг содержал – и содержит – намного больше синапсов.)

Вычислительные затраты на моделирование одного нейрона зависят от необходимой степени детализации модели. Для крайне простой модели нейрона, работающей в режиме реального времени, требуется примерно 1000 операций с плавающей запятой в секунду (далее – FLOPS). Для электро- и физиологически реалистичной модели Ходжкина – Хаксли нужно 1 200 000 FLOPS. Более сложная мультикомпонентная модель нейрона добавила бы два-три порядка величины, а модель более высокого уровня, оперирующая системами нейронов, требует на два-три порядка меньше операций на один нейрон, чем простые модели{98} . Если нам нужно смоделировать 1025 нейронов на протяжении миллиарда лет эволюции (это больше, чем срок существования нервных систем в их нынешнем виде) и мы позволим компьютерам работать над этой задачей в течение года, то требования к их вычислительной мощности попадут в диапазон 1031–1044 FLOPS. Для сравнения, самый сверхмощный компьютер в мире китайский Tianhe-2 (на сентябрь 2013 года) способен выдавать всего 3,39 × 1016 FLOPS. В последние десятилетия обычные компьютеры увеличивали свою производительность на порядок примерно раз в 6,7 года. Даже если вычислительная мощность станет расти по закону Мура в течение целого столетия, то это окажется недостаточным, чтобы преодолеть существующий разрыв. Использование более специализированных вычислительных систем или увеличение времени вычислений способны снизить требования к мощности всего на несколько порядков.

Вполне вероятно, что устранение такого рода неэффективности поможет сэкономить несколько порядков требуемой мощности в 1031–1044 FLOPS, рассчитанной ранее. К сожалению, трудно сказать, сколько именно. Трудно дать даже приблизительную оценку – можно только гадать, будет ли это пять порядков, десять или двадцать пять{101} .

Рис. 3. Производительность сверхмощных компьютеров. В прямом смысле то, что называют «закон Мура», – это наблюдение, согласно которому количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается примерно каждые два года. Однако часто закон обобщают, считая, что так же по экспоненте растут и другие показатели производительности компьютеров. На нашем графике показано изменение во времени пиковой скорости наиболее сверхмощных компьютеров в мире (по логарифмической вертикальной шкале). В последние годы скорость последовательных вычислений расти перестала, но за счет распространения параллельных вычислений общее количество операций продолжает увеличиваться с прежним темпом{102} .

Есть еще одно осложнение, связанное с эволюционными факторами, выдвигаемыми в качестве последнего аргумента. Проблема заключается в том, что мы не в состоянии вычислить – даже очень приблизительно – верхнюю границу трудности получения интеллекта эволюционным путем. Да, на Земле когда-то появилась разумная жизнь, но из этого факта еще не следует, будто процессы эволюции с высокой степенью вероятности приводят к возникновению интеллекта. Подобное заключение было бы в корне ошибочным, поскольку не учитывается так называемый эффект наблюдения при отборе, подразумевающий, что все наблюдатели находятся на планете, где зародилась разумная жизнь, независимо от того, насколько вероятно или невероятно такое событие на любой другой планете. Предположим, для появления разумной жизни, помимо систематических погрешностей естественного отбора, требуется огромное количество удачных совпадений – настолько большое, что разумная жизнь появилась всего лишь на одной из 1030 планет, где существуют простые гены-репликаторы. В таком случае исследователи, запуская генетические алгоритмы в попытке воспроизвести созданное эволюцией, могут столкнуться с тем, что понадобится сделать примерно 1030 итераций, прежде чем они найдут комбинацию, в которой все элементы сложатся правильно. Кажется, это вполне согласуется с нашим наблюдением, что жизнь зародилась и развивалась здесь, на Земле. Обойти данный гносеологический барьер отчасти можно путем тщательных и до некоторой степени громоздких логических ходов – анализируя случаи конвергентной эволюции характеристик, имеющих отношение к интеллекту, и принимая во внимание эффект наблюдения при отборе. Если ученые не возьмут на себя труд провести такой анализ, то в дальнейшем уже никому из них не придется оценивать максимальное значение и выяснить, насколько предполагаемая верхняя граница необходимой вычислительной мощности для воспроизведения эволюции интеллекта (см. врезку 3) может оказаться ниже тридцатого порядка (или какой-то другой столь же большой величины){103} .

Перейдем к следующему варианту достижения нашей цели: аргументом в пользу осуществимости эволюции искусственного интеллекта служит деятельность головного мозга человека, на которую ссылаются как на базовую модель для ИИ. Различные версии такого подхода отличаются лишь степенью воспроизведения – насколько точно предлагается имитировать функции биологического мозга. На одном полюсе, представляющем собой своеобразную «игру в имитацию», мы имеем концепцию полной эмуляции мозга , то есть полномасштабного имитационного моделирования головного мозга (к этому мы вернемся немного позже). На другом полюсе находятся технологии, в соответствии с которыми функциональность мозга служит лишь стартовой точкой, но разработка низкоуровневого моделирования не планируется. В конечном счете мы приблизимся к пониманию общей идеи деятельности мозга, чему способствуют успехи в нейробиологии и когнитивной психологии, а также постоянное совершенствование инструментальных и аппаратных средств. Новые знания, несомненно, станут ориентиром в дальнейшей работе с ИИ. Нам уже известен пример ИИ, появившегося в результате моделирования работы мозга, – это нейронные сети. Еще одна идея, взятая из нейробиологии и перенесенная на машинное обучение, – иерархическая организация восприятия. Изучение обучения с подкреплением было обусловлено (по крайней мере частично) той важной ролью, которую эта тема играет в психологических теориях, описывающих поведение и мышление животных, а также техники обучения с подкреплением (например, TD-алгоритм). Сегодня обучение с подкреплением широко применяется в системах ИИ{104} . В будущем подобных примеров, безусловно, будет больше. Поскольку набор базовых механизмов функционирования мозга весьма ограничен – на самом деле их очень небольшое количество, – все эти механизмы рано или поздно будут открыты благодаря постоянным успехам нейробиологии. Однако возможен вариант, что еще раньше придет к финишу некий гибридный подход, сочетающий модели, разработанные, с одной стороны, на основе деятельности головного мозга человека, с другой – исключительно на основе технологий искусственного интеллекта. Совсем не обязательно, что полученная в результате система должна во всем напоминать головной мозг, даже если при ее создании и будут использованы некоторые принципы его деятельности.

Деятельность головного мозга человека в качестве базовой модели представляет собой сильный аргумент в пользу осуществимости создания и дальнейшего развития искусственного интеллекта. Однако ни один даже самый мощный довод не приблизит нас к пониманию будущих сроков, поскольку трудно предсказать, когда произойдет то или иное открытие в нейробиологии. Можно сказать только одно: чем глубже в будущее мы заглядываем, тем больше вероятность, что секреты функционирования мозга будут раскрыты достаточно полно для воплощения систем искусственного интеллекта.

Исследователи, работающие в области искусственного интеллекта, придерживаются разных точек зрения относительно того, насколько многообещающим является нейроморфный подход сравнительно с технологиями, основанными на полностью композиционных подходах. Полет птиц демонстрировал физическую возможность появления летающих механизмов тяжелее воздуха, что в итоге привело к строительству летательных аппаратов. Однако даже первые поднявшиеся в воздух аэропланы не взмахивали крыльями. По какому пути пойдет разработка искусственного интеллекта? Вопрос остается открытым: по принципу ли закона аэродинамики, удерживающего в воздухе тяжелые железные механизмы, – то есть учась у живой природы, но не подражая ей напрямую; по принципу ли устройства двигателя внутреннего сгорания – то есть непосредственно копируя действия природных сил.

Концепция Тьюринга о разработке программы, получающей бо льшую часть знаний за счет обучения, а не в результате задания исходных данных, применима и к созданию искусственного интеллекта – как к нейроморфному, так и композиционному подходам.

Вариацией тьюринговой концепции «машины-ребенка» стала идея зародыша ИИ{105} . Однако если «машине-ребенку», как это представлял Тьюринг, полагалось иметь относительно фиксированную архитектуру и развивать свой потенциал за счет накопления контента , зародыш ИИ будет более сложной системой, самосовершенствующей собственную архитектуру . На ранних стадиях существования зародыш ИИ развивается в основном за счет сбора информации, действуя методом проб и ошибок не без помощи программиста. «Повзрослев», он должен научиться самостоятельно разбираться в принципах своей работы, чтобы уметь проектировать новые алгоритмы и вычислительные структуры, повышающие его когнитивную эффективность. Требуемое понимание возможно лишь в тех случаях, когда зародыш ИИ или во многих областях достиг довольно высокого общего уровня интеллектуального развития, или в отдельных предметных областях – скажем, кибернетике и математике – преодолел некий интеллектуальный порог.

Это подводит нас к еще одной важной концепции, получившей название «рекурсивное самосовершенствование». Успешный зародыш ИИ должен быть способен к постоянному саморазвитию: первая версия создает улучшенную версию самой себя, которая намного умнее оригинальной; улучшенная версия, в свою очередь, трудится над еще более улучшенной версией и так далее{106} . При некоторых условиях процесс рекурсивного самосовершенствования может продолжаться довольно долго и в конце концов привести к взрывному развитию искусственного интеллекта. Имеется в виду событие, в ходе которого за короткий период времени общий интеллект системы вырастает со сравнительно скромного уровня (возможно, во многих аспектах, кроме программирования и исследований в области ИИ, даже ниже человеческого) до сверхразумного, радикально превосходящего уровень человека. В четвертой главе мы вернемся к этой перспективе, весьма важной по своему значению, и подробнее проанализируем динамику развития событий.

Обратите внимание, что такая модель развития предполагает возможность сюрпризов. Попытки создать универсальный искусственный интеллект могут, с одной стороны, закончиться полной неудачей, а с другой – привести к последнему недостающему критическому элементу – после чего зародыш ИИ станет способен на устойчивое рекурсивное самосовершенствование.

Прежде чем закончить этот раздел главы, хотелось бы подчеркнуть еще одну вещь: совсем не обязательно, чтобы искусственный интеллект был уподоблен человеческому разуму. Вполне допускаю, что ИИ станет совершенно «чужим» – скорее всего, так и случится. Можно ожидать, что когнитивная архитектура ИИ будет резко отличаться от когнитивной системы человека; например, на ранних стадиях когнитивная архитектура будет иметь совсем другие сильные и слабые признаки (хотя, как мы увидим далее, ИИ удастся преодолеть исходные недостатки). Помимо всего, целеустремленные системы ИИ могут не иметь ничего общего с системой целеустремлений человечества. Нет оснований утверждать, что ИИ среднего уровня начнет руководствоваться человеческими чувствами, такими как любовь, ненависть, гордость, – для такой сложной адаптации потребуется огромный объем дорогостоящих работ, более того, к появлению подобной возможности у ИИ следует отнестись очень осмотрительно. Это одновременно и большая проблема, и большие возможности. Мы вернемся к мотивации ИИ в дальнейших главах, но эта идея настолько важна для книги, что ее стоит держать в голове постоянно.

Полная эмуляция головного мозга человека

В процессе полномасштабного имитационного моделирования головного мозга, который мы называем «полная эмуляция мозга» или «загрузка разума», искусственный интеллект создается путем сканирования и точного воспроизведения вычислительной структуры биологического мозга. Таким образом, приходится всецело черпать вдохновение у природы – крайний случай неприкрытого плагиата. Чтобы полная эмуляция мозга прошла успешно, требуется выполнить ряд определенных шагов.

Первый этап. Делается довольно подробное сканирование человеческого мозга. Это может включать фиксацию мозга умершего человека методом витрификации, или стеклования (в результате ткани становятся твердыми, как стекло). Затем одним аппаратом с ткани делаются тонкие срезы, которые пропускают через другой аппарат для сканирования, возможно, при помощи электронных микроскопов. На этой стадии применяется окраска материала специальными красителями, чтобы выявить его структурные и химические свойства. При этом параллельно работают множество сканирующих аппаратов, одновременно обрабатывающих различные срезы ткани.

Второй этап. Исходные данные со сканеров загружают в компьютер для автоматической обработки изображений, чтобы реконструировать трехмерную нейронную сеть, отвечающую за познание в биологическом мозгу. Дабы сократить количество снимков в высоком разрешении, которые необходимо хранить в буфере, этот этап может выполняться одновременно с первым. Полученную карту комбинируют с библиотекой нейровычислительных моделей на нейронах разного типа или на различных нейронных элементах (например, могут отличаться синапсы). Некоторые результаты сканирования и обработки изображений с применением современной технологии показаны на рис. 4.

Конец ознакомительного фрагмента.

О книге

Но у нас есть одно существенное преимущество: первый шаг за нами. Возможно ли зародить искусственный интеллект, сделав этот процесс контролируемым и безопасным? В этой книге сложнейшие...

О книге
Книга № 1 о будущем искусственного интеллекта и его опасностях.

Что произойдет, когда машины превзойдут людей в интеллекте? Будут ли они помогать нам или уничтожат человеческую расу? Ник Бостром в своей книге ставит эти вопросы и рассказывает о будущем человечества и разумной жизни.

Человеческий разум имеет некоторые способности, которых нет у других животных. Именно им мы можем быть благодарны за то, что наш вид занимает столь доминирующее положение. Если машины превзойдут наш человеческий мозг по уровню интеллекта, они могут стать очень сильными - и даже выйти из-под нашего контроля. Существование современных горилл, например, зависит от человека больше, чем от самих горилл, - то же самое может произойти с человеком и новым машинным суперинтеллектом.

Но у нас есть одно существенное преимущество: первый шаг за нами. Возможно ли зародить искусственный интеллект, сделав этот процесс контролируемым и безопасным? В этой книге сложнейшие научные вопросы о будущем человечества и искусственного интеллекта описаны доступным языком.

Для кого эта книга
Для всех, кому интересен искусственный интеллект и будущее человечества.

Об авторе
Ник Бостром - профессор факультета философии Оксфордского университета, основатель и директор Института будущего человечества - междисциплинарного исследовательского центра, изучающего влияние технологий на возможность будущей глобальной катастрофы. Члены института - лучшие математики, философы и ученые.

Помимо философии Бостром специализируется на нейробиологии, математической логике и физике. Он автор более 200 научных публикаций и лауреат премии Eugene R. Gannon Award, которая каждый год вручается одному ученому в мире за достижения в области философии, математики и естественных наук.

Ник Бостром является самым молодым представителем топ-15 списка ведущих мыслителей мира по версии журнала Prospect. Его работы переведены на 22 языка.

Текущая страница: 1 (всего у книги 40 страниц) [доступный отрывок для чтения: 8 страниц]

Эту книгу хорошо дополняют

Теория игр

Авинаш Диксит и Барри Нэлбафф

Brainiac

Кен Дженнингс

Удовольствие от x

Стивен Строгац

Superintelligence

Paths, Dangers, Strategies

Ник Бостром

Искусственный интеллект

Этапы. Угрозы. Стратегии

«Манн, Иванов и Фербер»

Информация

от издательства

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

На русском языке публикуется впервые

Бостром, Ник

Искусственный интеллект. Этапы. Угрозы. Стратегии / Ник Бостром; пер. с англ. С. Филина. – М. : Манн, Иванов и Фербер, 2016.

ISBN 978-5-00057-810-0

Что случится, если машины превзойдут людей в интеллекте? Они будут помогать нам или уничтожат человеческую расу? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности?

В своей книге Ник Бостром пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума, и проанализировать его ответную реакцию.

Все права защищены.

Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

© Nick Bostrom, 2014

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2016

Предисловие партнера

…У меня есть один знакомый, – сказал Эдик. – Он утверждает, будто человек – промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, – все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат – как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию – когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, – мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально – жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) – понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, – искусственного интеллекта, способного уничтожить человечество, – это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная – предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет – ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства – вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Евгений Касперский,

генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

– Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! – мечтательно прочирикал один воробей. – Она могла бы вить нам гнезда…

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

– Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

И только одноглазый Скронфинкл, въедчивый, с тяжелым нравом воробей, похоже, сомневался в целесообразности данного предприятия.

– Мы избрали гибельный путь, – убежденно промолвил он. – Разве не следует сначала серьезно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо?

– Сдается мне, – возразил ему Пастус, – искусство приручения сов – задача не из простых. Найти совиное яйцо – и то чертовски сложно. Так что давайте начнем с поиска. Вот сумеем вывести совенка, тогда и задумаемся о проблемах воспитания.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

На месте остались лишь воробьи, решившие все-таки выяснить, как приручать сов. Довольно быстро они поняли правоту Пастуса: задача оказалась неимоверно сложной, особенно в отсутствие самой совы, на которой следовало бы практиковаться. Однако птицы старательно продолжали изучать проблему, поскольку опасались, что стая вернется с совиным яйцом прежде, чем им удастся открыть секрет, каким образом можно контролировать поведение совы.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция – человеческий мозг – наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем – подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля – как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, – не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего – в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

В первых двух главах я рассмотрю разные научные направления и слегка затрону такую тему, как темпы экономического развития. Однако в основном книга посвящена тому, что произойдет после появления сверхразума. Нам предстоит обсудить следующие вопросы: динамику взрывного развития искусственного интеллекта; его формы и потенциал; варианты стратегического выбора, которыми он будет наделен и вследствие которых получит решающее преимущество. После этого мы проанализируем проблему контроля и попытаемся решить важнейшую задачу: возможно ли смоделировать такие исходные условия, которые позволят нам сохранить собственное превосходство и в итоге выжить. В последних главах мы отойдем от частностей и посмотрим на проблему шире, чтобы охватить в целом ситуацию, сложившуюся в результате нашего изучения. Я предложу вашему вниманию некоторые рекомендации, что следует предпринять уже сегодня, дабы в будущем избежать катастрофы, угрожающей существованию человечества.

Писать эту книгу было нелегко. Надеюсь, что пройденный мною путь пойдет на пользу другим исследователям. Они без лишних препятствий достигнут новых рубежей и полные сил смогут быстрее включиться в работу, благодаря которой люди полностью осознают всю сложность стоящей перед ними проблемы. (Если все-таки дорога изучения покажется будущим аналитикам несколько извилистой и местами изрытой ухабами, надеюсь, они оценят, насколько непроходимым был ландшафт прежде .)

Невзирая на сложности, связанные с работой над книгой, я старался излагать материал доступным языком; правда, сейчас вижу, что не вполне с этим справился. Естественно, пока я писал, то мысленно обращался к потенциальному читателю и почему-то всегда в данной роли представлял себя, только несколько моложе настоящего, – получается, я делал книгу, которая могла бы вызвать интерес прежде всего у меня самого, но не обремененного прожитыми годами. Возможно, именно это определит в дальнейшем малочисленность читательской аудитории. Тем не менее, на мой взгляд, содержание книги будет доступно многим людям. Надо лишь приложить некоторые умственные усилия, перестать с ходу отвергать новые идеи и воздерживаться от искушения подменять все непонятное удобными стереотипами, которые мы все легко выуживаем из своих культурных запасов. Читателям, не обладающим специальными знаниями, не стоит пасовать перед встречающимися местами математическими выкладками и незнакомыми терминами, поскольку контекст всегда позволяет понять основную мысль. (Читатели, желающие, напротив, узнать больше подробностей, найдут много интересного в примечаниях1.)

Вероятно, многое в книге изложено некорректно2. Возможно, я упустил из виду какие-то важные соображения, в результате чего некоторые мои заключения – а может быть, и все – окажутся ошибочными. Чтобы не пропустить мельчайший нюанс и обозначить степень неопределенности, с которой мы имеем дело, мне пришлось обратиться к специфическим маркерам – поэтому мой текст перегружен такими уродливыми словесными кляксами, как «возможно», «могло бы», «может быть», «похоже», «вероятно», «с большой долей вероятности», «почти наверняка». Однако я всякий раз прибегаю к помощи вводных слов крайне осторожно и весьма продуманно. Впрочем, для обозначения общей ограниченности гносеологических допущений одного такого стилистического приема явно недостаточно; автор должен выработать системный подход, чтобы рассуждать в условиях неопределенности и прямо указывать на возможность ошибки. Речь ни в коей мере не идет о ложной скромности. Искренне признаю, что в моей книге могут быть и серьезные заблуждения, и неверные выводы, но при этом я убежден: альтернативные точки зрения, представленные в литературе, – еще хуже. Причем это касается и общепринятой «нулевой гипотезы», согласно которой на сегодняшний день мы можем с абсолютным основанием игнорировать проблему появления сверхразума и чувствовать себя в полной безопасности.

Глава первая

Прошлые достижения и сегодняшние возможности

Начнем с обращения к далекому прошлому. В общих чертах история представляет собой последовательность различных моделей роста, причем процесс носит прогрессивно ускоряющийся характер. Эта закономерность дает нам право предполагать, что возможен следующий – еще более быстрый – период роста. Однако вряд ли стоит придавать слишком большое значение подобному соображению, поскольку тема нашей книги – не «технологическое ускорение», не «экспоненциальный рост» и даже не те явления, которые обычно подаются под понятием «сингулярность». Далее мы обсудим историю вопроса: как развивались исследования по искусственному интеллекту. Затем перейдем к текущей ситуации: что сегодня происходит в этой области. И наконец, остановимся на некоторых последних оценках специалистов и поговорим о нашей неспособности прогнозировать сроки дальнейшего развития событий.

Модели роста и история человечества

Всего несколько миллионов лет назад предки людей еще жили в кронах африканских деревьев, перепрыгивая с ветки на ветку. Появление Homo sapiens , или человека разумного, отделившегося от наших общих с человекообразными обезьянами предков, с геологической и даже эволюционной точки зрения происходило очень плавно. Древние люди принимали вертикальное положение, а большие пальцы на их кистях стали заметно отстоять от остальных. Однако самое главное – происходили относительно незначительные изменения в объеме мозга и организации нервной системы, что в конце концов привело к гигантскому рывку в умственном развитии человека. Как следствие, у людей появилась способность к абстрактному мышлению. Они начали не только стройно излагать сложные мысли, но и создавать информационную культуру, то есть накапливать сведения и знания и передавать их от поколения к поколению. Надо сказать, человек научился делать это значительно лучше любых других живых существ на планете.

Древнее человечество, используя появившиеся у него способности, разрабатывало все более и более рациональные способы производства, благодаря чему смогло мигрировать далеко за пределы джунглей и саванн. Сразу после возникновения земледелия стремительно начали расти величина населения и его плотность. Больше народа – больше идей, причем высокая плотность способствовала не только быстрому распространению новых веяний, но и появлению разных специалистов, а это означало, что в среде людей шло постоянное совершенствование профессиональных навыков. Данные факторы повысили темпы экономического развития , сделали возможным рост производительности и формирование технического потенциала. В дальнейшем такой же по значимости прогресс, приведший к промышленной революции, вызвал второй исторический скачок в ускорении темпа роста.

Такая динамика темпа роста имела важные последствия. Например, на заре человечества, когда Землю населяли прародители современных людей, или гоминиды, экономическое развитие происходило слишком медленно, и потребовалось порядка миллиона лет для прироста производственных мощностей, чтобы население планеты позволило себе увеличиться на миллион человек, причем существовавших на грани выживания. А после неолитической революции, к 5000 году до н. э., когда человечество перешло от охотничье-собирательского общества к сельскохозяйственной экономической модели, темпы роста выросли настолько, что для такого же прироста населения хватило двухсот лет. Сегодня, после промышленной революции, мировая экономика растет примерно на ту же величину каждые полтора часа1.

Существующий темп роста – даже если он законсервируется на относительно продолжительное время – приведет к впечатляющим результатам. Допустим, мировая экономика продолжит расти со средним темпом, характерным для последних пятидесяти лет, все равно население планеты в будущем станет богаче, чем сегодня: к 2050 году – в 4,8 раза, а к 2100 году – в 34 раза2.

Однако перспективы стабильного экспоненциального роста меркнут в сравнении с тем, что может произойти, когда в мире свершится следующее скачкообразное изменение, темп развития которого по значимости и последствиям будет сравним с неолитической и промышленной революциями. По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества – 909 лет, индустриального общества – 6,3 года3. (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.) Если в мировом развитии уже случился бы такой скачок, сопоставимый по своему революционному значению с двумя предыдущими, то экономика вышла бы на новый уровень и удваивала бы темпы роста примерно каждые две недели.

С точки зрения сегодняшнего дня подобные темпы развития кажутся фантастическими. Но и свидетели минувших эпох тоже вряд ли могли предположить, что темпы роста мировой экономики когда-нибудь будут удваиваться несколько раз на протяжении жизни одного поколения. То, что для них представлялось совершенно немыслимым, нами воспринимается как норма.

Идея приближения момента технологической сингулярности стала чрезвычайно популярной после появления новаторских работ Вернона Винджа, Рэя Курцвейла и других исследователей4. Впрочем, понятие «сингулярность», которое используется в самых разных значениях, уже приобрело устойчивый смысл в духе технологического утопизма и даже обзавелось ореолом чего-то устрашающего и в тоже время вполне величественного5. Поскольку большинство определений слова сингулярность не имеют отношения к предмету нашей книги, мы достигнем большей ясности, если избавимся от него в пользу более точных терминов.

Интересующая нас идея, связанная с понятием сингулярности, – это потенциальное взрывоподобное развитие интеллекта , особенно в перспективе создания искусственного сверхразума. Возможно, представленные на рис. 1 кривые роста убедят кого-то из вас, что мы стоим на пороге нового интенсивного скачка в темпе развития – скачка, сопоставимого с неолитической и промышленной революциями. Скорее всего, людям, доверяющим диаграммам, даже трудно вообразить сценарий, в котором время удвоения мировой экономики сокращается до недель без участия сверхмощного разума, во много раз превосходящего по скорости и эффективности своей работы наш привычный биологический ум. Однако не обязательно упражняться в рисовании кривых роста и экстраполяции исторических темпов экономического развития, чтобы начать ответственно относиться к революционному появлению искусственного интеллекта. Эта проблема настолько серьезна, что не нуждается в аргументации подобного рода. Как мы увидим, есть гораздо более веские причины проявлять осмотрительность.

Рис. 1. Динамика мирового ВВП за длительный исторический период. На линейной шкале история мировой экономики отображена как линия, сначала почти сливающаяся с горизонтальной осью, а затем резко устремляющаяся вертикально вверх. А. Даже расширив временные границы до десяти тысяч лет в прошлое, мы видим, что линия делает рывок вверх из определенной точки почти под девяносто градусов. Б. Линия заметно отрывается от горизонтальной оси только на уровне приблизительно последних ста лет. (Разность кривых на диаграммах объясняется разным набором данных, поэтому и показатели несколько отличаются друг от друга6.)

Завышенные ожидания

С момента изобретения в 1940-х годах первых электронно-вычислительных машин люди не перестают прогнозировать появление компьютера, уровень интеллекта которого будет сравним с человеческим. Имеется в виду разумная техническая система, наделенная здравым смыслом, обладающая способностью к обучению и размышлению, умеющая планировать и комплексно обрабатывать информацию, собранную по самым разным источникам – реальным и теоретическим. В те времена многие ожидали, что такие машины станут реальностью уже лет через двадцать7. С тех пор сроки сдвигаются со скоростью одного года в год, то есть сегодня футурологи, убежденные в вероятности создания искусственного интеллекта, продолжают верить, что «умные машины» появятся через пару десятков лет8.

Срок в двадцать лет любим всеми предсказателями коренных перемен. С одной стороны, это не слишком долго – и потому предмет обсуждения привлекает к себе широкое внимание; с другой стороны, это не так быстро, что дает возможность помечтать о целом ряде важнейших научных открытий – правда, представления о них на момент прогнозирования весьма расплывчаты, но их реализация практически не вызывает сомнения. Сопоставим это с более короткими прогностическими сроками, установленными для разных технологий, которым суждено оказать значительное влияние на мир: от пяти до десяти лет – на момент прогнозирования большинство технических решений уже частично применяются; пятнадцать лет – на момент прогнозирования эти технологии уже существуют в виде лабораторных версий. Кроме того, двадцатилетний срок чаще всего близок к средней продолжительности оставшейся профессиональной деятельности прогнозиста, что уменьшает репутационный риск, связанный с его дерзким предсказанием.

Впрочем, из-за слишком завышенных и несбывшихся ожиданий прошлых лет не следует сразу делать вывод, что создание искусственного интеллекта невозможно в принципе и что никто никогда не будет его разрабатывать9. Основная причина, почему прогресс шел медленнее, чем предполагалось, связана с техническими проблемами, возникавшими при разработке разумных машин. Первопроходцы не предусмотрели всех трудностей, с которыми им пришлось столкнуться. Причем вопросы: велика ли степень серьезности этих препятствий и насколько мы далеки от их преодоления – до сих пор остаются открытыми. Порою задачи, первоначально кажущиеся безнадежно сложными, имеют удивительно простое решение (хотя чаще, пожалуй, бывает наоборот).

Мы рассмотрим пути, которые могут привести к появлению искусственного интеллекта, не уступающего человеческому, в следующей главе. Но уже сейчас хотелось бы обратить ваше внимание на один важный аспект. Нас ожидает много остановок между нынешним отправным пунктом и тем будущим, когда появится искусственный интеллект, но этот момент – отнюдь не конечная станция назначения. Довольно близкой от нее следующей остановкой будет станция «Сверхразум» – осуществление искусственного интеллекта такого уровня, который не просто равен человеческому уму, а значительно превосходит его. После последней остановки наш поезд разгонится до такой степени, что у станции «Человек» не сможет не только остановиться, но даже замедлить ход. Скорее всего, он со свистом промчится мимо. Британский математик Ирвинг Джон Гуд, работавший во времена Второй мировой войны шифровальщиком в команде Алана Тьюринга, скорее всего, был первым, кто изложил важнейшие подробности этого сценария. В своей часто цитируемой статье 1965 года о первых сверхразумных машинах он писал:

Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека. Поскольку создание таких машин является результатом умственной деятельности человека, то машина, наделенная сверхразумом, будет способна разрабатывать еще более совершенные машины; вследствие этого, бесспорно, случится такой «интеллектуальный взрыв», что человеческий разум окажется отброшенным далеко назад. Таким образом, первая сверхразумная машина станет последним достижением человеческого ума – правда, лишь в том случае, если она не обнаружит достаточную сговорчивость и сама не объяснит нам, как держать ее под контролем10.

Взрывное развитие искусственного интеллекта может повлечь за собой один из главных экзистенциальных рисков – в наши дни такое положение вещей воспринимается как тривиальное; следовательно, перспективы подобного роста должны оцениваться с крайней серьезностью, даже если было бы заведомо известно (но это не так), что вероятность угрозы относительно низка. Однако пионеры в области искусственного интеллекта, несмотря на всю убежденность в неминуемом появлении искусственного интеллекта, не уступающего человеческому, в массе своей отрицали возможность появления сверхразума, превосходящего человеческий ум. Создается впечатление, что их воображение – в попытках постичь предельную возможность будущих машин, сравнимых по своим мыслительным способностям с человеком, – просто иссякло, и они легко прошли мимо неизбежного вывода: дальнейшим шагом станет рождение сверхразумных машин.

Большинство первопроходцев не поддерживали зарождавшееся в обществе беспокойство, считая полной ерундой, будто их проекты несут в себе определенный риск для человечества11. Никто из них ни на словах, ни на деле – ни одного серьезного исследования на эту тему – не пытался осмыслить ни тревогу по поводу безопасности, ни этические сомнения, связанные с созданием искусственного интеллекта и потенциального доминирования компьютеров; данный факт вызывает удивление даже на фоне характерных для той эпохи не слишком высоких стандартов оценки новых технологий12. Остается только надеяться, что ко времени, когда их смелый замысел в итоге воплотится в жизнь, мы не только сумеем достичь достойного научно-технического опыта, чтобы нейтрализовать взрывное развитие искусственного интеллекта, но и поднимемся на высочайший уровень профессионализма, которое совсем не помешает, если человечество хочет пережить пришествие сверхразумных машин в свой мир.

Но прежде чем обратить свой взор в будущее, было бы полезно коротко напомнить историю создания машинного интеллекта.

Путь надежды и отчаяния