Font: Mai puțin AaMai Mult Aa

Nick bostrom

Superintelligence

Căi, pericole, strategii

Redactorii științifici M. S. Burtsev, E. D. Kazimirova, A. B. Lavrent'ev

Publicat cu permisiunea Agenției Alexander Korzhenevski

Asistența juridică a editurii este asigurată de firma de avocatură „Vegas-Lex”

Această carte a fost publicată inițial în engleză în 2014. Această traducere este publicată prin acord cu Oxford University Press. Editura este responsabilă exclusiv de această traducere din lucrarea inițială, iar Oxford University Press nu va răspunde pentru erori, omisiuni sau inexactități sau ambiguități în această traducere sau pentru orice pierderi cauzate de încrederea acestora.

© Nick Bostrom, 2014

© Traducere în rusă, ediție în rusă, design. SRL „Mann, Ivanov și Ferber”, 2016

* * *

Această carte este completată de

Avinash Dixit și Barry Nalbuff

Stephen Strogatz

Partener Prefață

... Am un singur prieten, - a spus Edik. - El susține că omul este o verigă intermediară de care natura are nevoie pentru a crea coroana creației: un pahar de coniac cu o felie de lămâie.

Arkady și Boris Strugatsky. Luni începe sâmbătă

Autorul consideră că amenințarea mortală este asociată cu posibilitatea creării de inteligență artificială care depășește mintea umană. O catastrofă poate izbucni atât la sfârșitul secolului XXI, cât și în următoarele decenii. Întreaga istorie a omenirii arată: atunci când are loc o coliziune a unui reprezentant al speciei noastre, Homo sapiens, și oricine altcineva care locuiește pe planeta noastră, cel care este mai inteligent câștigă. Până acum, eram cei mai deștepți, dar nu avem garanții că acest lucru va dura pentru totdeauna.

Nick Bostrom scrie că dacă algoritmii de calculatoare inteligente învață să creeze algoritmi și mai deștepți pe cont propriu, iar ei, la rândul lor, sunt și mai deștepți, va exista o creștere explozivă a inteligenței artificiale, în comparație cu care oamenii vor arăta ceva ca furnicile alături de oameni, în sens intelectual, desigur. Pe lume va apărea o specie nouă, deși artificială, dar superinteligentă. Nu contează ce „îi vine în minte”, încercarea de a face toți oamenii fericiți sau decizia de a opri poluarea antropică a oceanelor din cel mai eficient mod, adică distrugând umanitatea, oamenii nu vor putea rezista la acest lucru. Nici o șansă de confruntare în stil Terminator, nu există lovituri cu cyborguri de fier. Șah și checkmate ne așteaptă - ca într-un duel între computerul de șah Deep Blue și primul grader.

În ultimele sute sau doi ani, realizările științei au trezit în unele speranțe pentru o soluție la toate problemele omenirii, în altele pe care le-au provocat și încă provoacă frică neîncetată. În același timp, trebuie să spun, ambele puncte de vedere arată destul de justificate. Datorită științei, boli teribile au fost înfrânate, umanitatea este capabilă să hrănească un număr fără precedent de oameni astăzi, iar dintr-un punct de pe glob poți ajunge la cel opus în mai puțin de o zi. Cu toate acestea, prin harul aceleiași științe, oamenii, folosind cele mai noi tehnologii militare, se distrug reciproc cu viteză și eficiență monstruoase.

O tendință similară - când dezvoltarea rapidă a tehnologiilor nu numai că duce la formarea de noi oportunități, dar creează și amenințări fără precedent - observăm în domeniul securității informațiilor. Întreaga noastră industrie a apărut și există doar pentru că crearea și distribuția în masă a unor astfel de lucruri minunate precum computerele și internetul au creat probleme care ar fi fost imposibil de imaginat în era pre-calculatoare. Ca urmare a apariției tehnologiei informației, a existat o revoluție în comunicarea umană. Inclusiv a fost folosit de diverși criminali. Și abia acum omenirea începe treptat să-și realizeze noi riscuri: tot mai multe obiecte ale lumii fizice sunt controlate de computere și software, adesea imperfecte, scurgeri și vulnerabile; toate mai Mult astfel de obiecte sunt conectate la Internet, iar amenințările pacii cibernetice devin rapid o problemă de securitate fizică și, eventual, viața și moartea.

Acesta este motivul pentru care cartea lui Nick Bostrom pare atât de interesantă. Primul pas pentru a preveni scenariile de coșmar (pentru o singură rețea de calculatoare sau pentru întreaga umanitate) este să înțelegem ce ar putea fi. Bostrom face o mulțime de rezerve cu care crearea inteligenței artificiale, comparabilă cu mintea umană sau inteligența superioară, artificială, capabilă să distrugă umanitatea, este doar un scenariu probabil care nu poate fi realizat. Desigur, există multe opțiuni, iar dezvoltarea tehnologiei computerizate poate să nu distrugă umanitatea, dar ne va da un răspuns la „întrebarea principală a vieții, Universul și toate acestea” (poate se dovedește cu adevărat numărul 42, ca în romanul „Ghidul autostopului pentru galaxie”) ... Există speranță, dar pericolul este foarte grav - ne avertizează Bostrom. În opinia mea, dacă există probabilitatea unei astfel de amenințări existențiale pentru umanitate, atunci trebuie tratată în consecință, iar pentru a o preveni și a ne proteja de aceasta, eforturile comune ar trebui făcute la scară globală.

Aș dori să închei introducerea mea cu un citat din cartea „Omul în sistem” al lui Mikhail Weller:

Când ficțiunea, adică gândirea umană încadrată în imagini și comploturi, repetă ceva timp îndelungat și în detaliu - ei bine, nu există fum fără foc. Filmele de acțiune banale de la Hollywood despre războaiele dintre oameni și civilizația roboților poartă un grau amar de adevăr sub coada unui spectacol comercial.

Când programul transmis de instincte este încorporat în roboți, iar satisfacția acestor instincte este încorporată ca o nevoie necondiționată și de bază, iar acest lucru va trece la nivelul autoreproducerii - atunci, băieți, nu mai luptați cu fumatul și alcoolul, deoarece va fi timpul să bea și să fumeze în fața hana pentru noi toti.

Evgeny Kaspersky,

directorul general al Kaspersky Lab

Povestea neterminată a vrăbilor

Odată, în mijlocul cuibului, vrăbii, obosiți de multe zile de muncă asiduă, s-au așezat să se odihnească la apusul soarelui și să înșire despre asta și asta.

„Suntem atât de mici, atât de slabi. Imaginați-vă cât de ușor ar fi să trăim dacă am păstra o bufniță ca ajutoarele noastre! O vrabie țipă visător. - Ar putea construi cuiburile noastre ...

- Aha! A fost de acord cu alta. - Și, de asemenea, să avem grijă de bătrânii și puii noștri ...

„Și instruiți-ne și protejați-ne de pisica vecinului”, a adăugat un al treilea.

Apoi, Pastus, cea mai veche vrabie, a sugerat:

- Lăsați cercetașii să zboare în direcții diferite în căutarea unei bufnițe care a căzut din cuib. Cu toate acestea, va face un ou de bufniță, o ciobă mică și chiar un pui de nevăstuică. Această descoperire se va dovedi a fi cel mai mare noroc pentru pachetul nostru! Ca și cel pe care l-am găsit în curtea unei surse de cereale care nu se termină niciodată.

Încântați cu seriozitate, vrăbii s-au ciripit cât au putut.

Și numai Skronfinkle cu un ochi, o vrabie caustică, cu minte grea, părea să se îndoiască de oportunitatea acestei întreprinderi.

„Am ales o cale dezastruoasă”, a spus el cu convingere. „Nu ar trebui să considerăm mai întâi serios îmblânzirea și domesticirea bufnițelor înainte de a permite o creatură periculoasă în mediul nostru?

- Mi se pare, a obiectat Pastus, „arta îmblânzirii bufnițelor nu este o sarcină ușoară. Găsirea unui ou de bufniță este al naibii de greu. Deci, să începem prin a căuta. Acum vom putea scoate o bufnita, apoi ne vom gândi la problemele educației.

- Un plan vicios! Scronfinkle tresări nervos.

Dar nimeni nu l-a ascultat. În direcția Pastus, turma vrabiei a decolat și a pornit.

Doar vrăbii au rămas pe loc, hotărând totuși să-și dea seama cum să îmblânzească bufnițele. Destul de repede, și-au dat seama că Pastus avea dreptate: sarcina s-a dovedit incredibil de dificilă, mai ales în absența bufniței în sine pe care trebuie să o exerseze. Cu toate acestea, păsările au continuat să studieze problema, pentru că se temeau că turma va reveni cu un ou de bufniță înainte de a putea descoperi secretul modului de a controla comportamentul bufniței.

Introducere

Există o substanță în craniul nostru, datorită căreia putem, de exemplu, să citim. Această substanță - creierul uman - este înzestrată cu capacități care nu se găsesc la alte mamifere. De fapt, oamenii își datorează poziția dominantă pe planetă tocmai acestor trăsături caracteristice. Unele animale se remarcă prin mușchii cei mai puternici și cei mai ascuțiți, dar nici o creatură vie, cu excepția oamenilor, nu este înzestrată cu o minte atât de perfectă. Datorită nivelului intelectual mai ridicat, am reușit să creăm instrumente precum limbajul, tehnologia și organizarea socială complexă. De-a lungul timpului, avantajul nostru s-a consolidat și s-a extins, întrucât fiecare nouă generație, bazându-se pe realizările predecesorilor săi, a mers mai departe.

Dacă se dezvoltă vreodată o inteligență artificială care depășește nivelul general de dezvoltare a minții umane, atunci în lume va apărea o inteligență super-puternică. Și atunci soarta speciei noastre va depinde direct de acțiunile acestor sisteme tehnice inteligente - la fel cum soarta actuală a gorilelor este determinată în mare parte nu de primate în sine, ci de intențiile umane.

Cu toate acestea, umanitatea are un avantaj incontestabil, deoarece creează sisteme tehnice inteligente. În principiu, cine te oprește să vină cu o astfel de superinteligență care ar lua valorile umane universale sub protecția sa? Desigur, avem motive foarte bune pentru a ne proteja. ÎN din punct de vedere practic va trebui să ne ocupăm de cea mai dificilă problemă de control - cum să controlăm proiectele și acțiunile superinteligenței. Mai mult, oamenii vor putea folosi o singură șansă. De îndată ce se naște o inteligență artificială neprietenoasă (AI), începe imediat să interfereze cu eforturile noastre de a scăpa de ea sau de a-și regla setările. Și atunci soarta umanității va fi pecetluită.

În cartea mea, încerc să înțeleg problema cu care se confruntă oamenii cu perspectiva de superinteligență și să le analizez răspunsurile. Poate cea mai serioasă și înspăimântătoare agendă pe care a primit-o omenirea vreodată. Și indiferent dacă câștigăm sau pierdem, este posibil ca această provocare să fie ultima noastră. Nu dau aici niciun argument în favoarea acestei sau acelei versiuni: suntem pe punctul de a depăși o mare descoperire în crearea inteligenței artificiale; este posibil să se prezice cu o anumită precizie când va avea loc vreun eveniment revoluționar? Cel mai probabil - în acest secol. Aproape nimeni nu va numi o dată mai specifică.

În primele două capitole, voi analiza direcții științifice diferite și voi aborda un subiect precum rata de dezvoltare economică. Totuși, cea mai mare parte a cărții este despre ce se întâmplă după ce apare supermindul. Trebuie să discutăm întrebările următoare: dinamica dezvoltării explozive a inteligenței artificiale; forma și potențialul său; alegeri strategice cu care va fi înzestrat și în urma căruia va primi un avantaj decisiv. După aceea, vom analiza problema de control și vom încerca să rezolvăm cea mai importantă problemă: este posibil să simulăm astfel de condiții inițiale care să ne permită să ne menținem propria superioritate și, în final, să supraviețuim. În ultimele capitole, ne vom îndepărta de detalii și vom analiza mai pe larg problema, pentru a acoperi întreaga situație care s-a dezvoltat ca urmare a studiului nostru. Vă voi oferi câteva recomandări care ar trebui luate astăzi pentru a evita o catastrofă care să amenințe existența umanității în viitor.

Această carte nu a fost ușor de scris. Sper ca calea pe care am parcurs-o să beneficieze alți cercetători. Vor atinge noi frontiere fără obstacole inutile și se vor putea implica rapid în muncă, datorită căreia oamenii sunt pe deplin conștienți de complexitatea problemei cu care se confruntă. (Dacă, cu toate acestea, drumul de studiu pare viitorilor analiști oarecum șerpuși și în locuri pline de denivelări, sper că vor aprecia cât de impasibil a fost peisajul inainte de.)

În ciuda dificultăților asociate lucrărilor la carte, am încercat să prezint materialul într-un limbaj accesibil; cu toate acestea, acum văd că nu m-am confruntat destul. În mod firesc, în timp ce scriam, m-am orientat mental către un potențial cititor și, din anumite motive, mi-am imaginat întotdeauna în acest rol, doar puțin mai tânăr decât prezentul - se dovedește că făceam o carte care ar putea să trezească în primul rând interesul pentru mine, dar nu împovărat de trecut. pentru ani. Poate că acest lucru va determina în viitor numărul mic de cititori. Cu toate acestea, în opinia mea, conținutul cărții va fi disponibil pentru mulți oameni. Trebuie doar să depuneți eforturi mentale, să nu mai respingă ideile noi din zbor și să vă abțineți de la tentația de a înlocui totul de neînțeles cu stereotipuri convenabile pe care cu toții le ieșim cu ușurință din rezervațiile noastre culturale. Cititorii care nu au cunoștințe speciale nu ar trebui să renunțe la calcule matematice și termeni necunoscuți care apar în locuri, deoarece contextul vă permite întotdeauna să înțelegeți ideea principală. (Cititorii care doresc mai multe detalii vor găsi o mulțime de lucruri interesante în note.)

Probabil, multe din carte sunt prezentate incorect. Poate că am trecut cu vederea câteva considerații importante, în urma cărora unele dintre concluziile mele - poate toate - se vor dovedi greșite. Pentru a nu rata cea mai mică nuanță și pentru a indica gradul de incertitudine cu care avem de-a face, a trebuit să apelez la markeri specifici - de aceea textul meu este supraîncărcat cu greșeli verbale atât de urâte precum „poate”, „poate”, „poate”, „pare” , „Probabil”, „cu un grad ridicat de probabilitate”, „aproape sigur”. Totuși, de fiecare dată când folosesc cuvinte introductive, sunt extrem de atent și foarte atent. Cu toate acestea, pentru a indica limitarea generală a ipotezelor epistemologice, un astfel de dispozitiv stilistic nu este în mod clar suficient; autorul trebuie să dezvolte o abordare sistematică pentru a raționa în condiții de incertitudine și a indica direct posibilitatea de eroare. Acesta nu este în niciun caz despre falsa modestie. Recunosc sincer că în cartea mea pot exista erori grave și concluzii incorecte, dar, în același timp, sunt convins că punctele de vedere alternative prezentate în literatură sunt și mai grave. Mai mult, aceasta se aplică și „ipotezei nule” general acceptate, conform căreia astăzi, cu motive absolute, putem ignora problema apariției unei superinteligențe și să ne simțim complet în siguranță.

Capitolul întâi
Realizări anterioare și oportunități actuale

Să începem prin a privi trecutul îndepărtat. În termeni generali, istoria este o succesiune de modele de creștere diferite, cu un proces de accelerare progresivă. Acest model ne dă dreptul să presupunem că este posibilă următoarea - chiar mai rapidă - perioadă de creștere. Cu toate acestea, este greu de acordat o importanță prea mare unei asemenea considerații, întrucât subiectul cărții noastre nu este „accelerarea tehnologică”, nici „creșterea exponențială” sau chiar acele fenomene care sunt prezentate de obicei sub conceptul de „singularitate”. În continuare, vom discuta istoria problemei: cum s-au dezvoltat cercetările privind inteligența artificială. Atunci să trecem la situația actuală: ce se întâmplă în acest domeniu astăzi. În cele din urmă, să ne bazăm pe unele dintre cele mai recente evaluări ale experților și să vorbim despre incapacitatea noastră de a prezice calendarul evoluțiilor ulterioare.

Modele de creștere și istoria umană

În urmă cu doar câteva milioane de ani, strămoșii oamenilor încă trăiau în coroanele copacilor africani, sărind de pe ramură în ramură. apariție Homo sapienssau Homo sapiens, despărțiți de strămoșii noștri comuni cu maimuțele maimuțe, din punct de vedere geologic și chiar evolutiv, s-a întâmplat foarte bine. Oamenii antici și-au asumat o poziție verticală, iar degetele de pe mâini au început să se distingă vizibil de restul. Cu toate acestea, cel mai important, au existat modificări relativ minore în volumul creierului și în organizarea sistemului nervos, ceea ce a dus la un salt uriaș în dezvoltarea mentală umană. Drept urmare, oamenii au dezvoltat capacitatea de a gândire abstractă... Au început nu numai să exprime armonios gânduri complexe, ci și să creeze o cultură a informației, adică să acumuleze informații și cunoștințe și să le transmită din generație în generație. Trebuie să spun că omul a învățat să facă asta mult mai bine decât oricare alte viețuitoare de pe planetă.

Omenirea antică, folosind abilitățile care apăreau în ea, a dezvoltat metode de producție din ce în ce mai raționale, datorită cărora a putut să migreze mult dincolo de junglă și savană. Imediat după apariția agriculturii, dimensiunea populației și densitatea acesteia au început să crească rapid. Mai mulți oameni - mai multe idei și densitatea ridicată au contribuit nu numai la răspândirea rapidă a noilor tendințe, dar și la apariția diferiților specialiști, ceea ce a însemnat că în rândul oamenilor a existat o îmbunătățire constantă a competențelor profesionale. Acești factori au crescut ritmul dezvoltării economice, a făcut posibilă creșterea productivității și crearea capacității tehnice. După aceea, un progres semnificativ similar care a dus la Revoluția industrială a declanșat un al doilea salt istoric în accelerarea creșterii.

Această dinamică a ratei de creștere a avut implicații importante. De exemplu, în zorii umanității, când Pământul a fost locuit de strămoși oameni modernisau hominizi, dezvoltarea economică a fost prea lentă și a fost nevoie de aproximativ un milion de ani pentru creșterea capacității de producție a populației planetei pentru a-și permite creșterea cu un milion de oameni, pe de altă parte, care au existat în pragul supraviețuirii. Și după Revoluția Neolitică, prin 5000 î.Hr. BC, când omenirea a trecut de la o societate de vânătoare-culegător la un model economic agricol, rata de creștere a crescut atât de mult, încât două sute de ani au fost suficiente pentru aceeași creștere a populației. Astăzi, după revoluția industrială, economia mondială crește cu aproximativ aceeași sumă la fiecare oră și jumătate.

Rata actuală de creștere - chiar dacă este molipsită pentru o perioadă relativ lungă de timp - va da rezultate impresionante. Să presupunem că economia mondială continuă să crească cu o rată medie caracteristică ultimilor cincizeci de ani, dar populația lumii în viitor va deveni mai bogată decât este astăzi: până în 2050 - de 4,8 ori și până la 2100 - 34 de ori.

Cu toate acestea, perspectivele unei creșteri exponențiale stabile se palidă în comparație cu ceea ce s-ar putea întâmpla atunci când va avea loc următoarea schimbare în lume, ritmul de dezvoltare al acesteia fiind comparabil ca importanță și consecințe cu revoluțiile neolitice și industriale. Conform estimărilor economistului Robin Hanson, pe baza datelor istorice privind activitatea economică și populația, dublarea timpului economiilor societății de vânătoare-culegătoare din epoca pleistocenului a fost de 224 de mii de ani, societatea agrară - 909 de ani. societatea industrială - 6,3 ani. (În conformitate cu paradigma lui Hanson, modelul economic modern, care are o structură agro-industrială mixtă, nu se dezvoltă încă la un ritm dublat la fiecare 6,3 ani.) Dacă un astfel de salt a avut deja loc în dezvoltarea mondială, comparabil în semnificația sa revoluționară cu cele două anterioare, atunci economia ar trece la un nou nivel și își va dubla rata de creștere aproximativ la două săptămâni.

Din punctul de vedere de astăzi, astfel de rate de dezvoltare par fantastice. Dar martorii perioadelor trecute ar fi putut cu greu să presupună că ratele de creștere ale economiei mondiale s-ar dubla vreodată de mai multe ori pe parcursul unei generații. Ceea ce li s-a părut complet de neconceput este perceput de noi ca fiind norma.

Ideea abordării momentului singularității tehnologice a devenit extrem de populară după lucrarea de pionierat a lui Vernon Winge, Ray Kurzweil și alți cercetători. Cu toate acestea, conceptul de „singularitate”, care este folosit în cel mai mult sensuri diferite, a dobândit deja un sens stabil în spiritul utopianismului tehnologic și chiar a dobândit o aură de ceva înspăimântător și în același timp destul de maiestuos. Deoarece majoritatea definițiilor cuvântului singularitate sunt irelevante pentru subiectul cărții noastre, vom obține o claritate mai mare dacă vom scăpa de ea în favoarea unor termeni mai exacti.

Ideea de interes pentru noi legată de conceptul de singularitate este un potențial dezvoltarea explozivă a inteligenței, mai ales în perspectiva creării unei superinteligențe artificiale. Posibil prezentat în Fig. 1 curbe de creștere vă vor convinge pe unii dintre voi că suntem pe punctul de a face un salt nou intens în ritmul dezvoltării - un salt comparabil cu revoluțiile neolitice și industriale. Cel mai probabil, persoanelor care au încredere în diagrame le este dificil să-și imagineze chiar un scenariu în care dublarea timpului economiei mondiale este redusă la săptămâni fără participarea unei minți super-puternice, de multe ori mai rapide și mai eficiente decât mintea noastră obișnuită biologică. Cu toate acestea, nu este necesar să se exerseze curbele de creștere și extrapolarea ratelor istorice de dezvoltare economică pentru a deveni responsabil pentru apariția revoluționară a inteligenței artificiale. Această problemă este atât de gravă încât nu are nevoie de acest tip de argumentare. După cum vom vedea, există motive mult mai convingătoare pentru exercitarea discreției.

Figura: 1. Dinamica PIB-ului mondial pe o lungă perioadă istorică. La scară liniară, istoria economiei mondiale este afișată ca o linie, la început aproape fuzionându-se cu axa orizontală, iar apoi accentuând brusc vertical în sus. ȘI. Chiar extinzând limitele de timp până la zece mii de ani în trecut, vedem că linia face o înălțare ascendentă dintr-un anumit punct la aproape nouăzeci de grade. B. Linia este detașată vizibil de axa orizontală doar la nivelul aproximativ din ultima sută de ani. (Diferența dintre curbele din diagrame este explicată de un set de date diferite, prin urmare, indicatorii sunt ușor diferiți unul de celălalt.)

Cu greu pot spune ce este precizat corect.

În prezent, venitul din salariul de viață este de aproximativ 400 USD. Prin urmare, pentru 1 milion de oameni, această sumă va fi egală cu 400 de milioane de dolari. PIB-ul mondial este de aproximativ 60.000.000.000.000 USD și crește cu o rată de patru la sută pe an (ținând cont de rata medie anuală de creștere din 1950, a se vedea datele :). Cifrele pe care le-am dat în text se bazează pe aceste date, deși nu reprezintă decât un ordin de magnitudine estimat. Dacă analizăm numărul actual de oameni pe Pământ, se dovedește că, în medie, acesta crește cu 1 milion de oameni într-o săptămână și jumătate; dar această rată a creșterii populației limitează rata de dezvoltare economică, deoarece venitul pe cap de locuitor crește și el. Odată cu trecerea la zootehnie și agricultură, populația planetei a crescut cu 5000 î.Hr. e. de 1 milion de oameni în 200 de ani - o accelerare uriașă în comparație cu epoca hominidelor, când a durat 1 milion de ani - deci după revoluția neolitică sau agricolă, progresul a mers mult mai repede. Cu toate acestea, trebuie să recunoașteți, nu poate să nu impresionați că acum șapte mii de ani, dezvoltarea economică a durat 200 de ani, în timp ce astăzi o creștere a aceleiași sume este suficientă pentru o oră și jumătate pentru economiile mondiale și o săptămână și jumătate pentru populația lumii. Vezi si .

Această carte este bine completată de

Teoria jocului

Avinash Dixit și Barry Nalbuff

Brainiac

Ken Jennings

Plăcerea lui x

Stephen Strogatz

Superintelligence

Căi, pericole, strategii

Nick Bostrom

Inteligență artificială

Etape. Amenințări. Strategie

„Mann, Ivanov și Ferber”

informație

de la editor

Redactorii științifici M. S. Burtsev, E. D. Kazimirova, A. B. Lavrent'ev

Publicat cu permisiunea Agenției Alexander Korzhenevski

Publicat în limba rusă pentru prima dată

Bostrom, Nick

Inteligență artificială. Etape. Amenințări. Strategii / Nick Bostrom; pe. din engleza. S. Filina. - M.: Mann, Ivanov și Ferber, 2016.

ISBN 978-5-00057-810-0

Ce se întâmplă dacă mașinile depășesc oamenii în inteligență? Ne vor ajuta sau vor distruge rasa umană? Putem ignora astăzi problema dezvoltării inteligenței artificiale și să ne simțim complet în siguranță?

În cartea sa, Nick Bostrom încearcă să înțeleagă problema cu care se confruntă umanitatea în legătură cu perspectiva unei superinteligențe și să-și analizeze răspunsul.

Toate drepturile rezervate.

Nicio parte a acestei cărți nu poate fi reprodusă sub nicio formă, fără permisiunea scrisă a deținătorilor de drepturi de autor.

Asistența juridică a editurii este asigurată de firma de avocatură „Vegas-Lex”

Această carte a fost publicată inițial în engleză în 2014. Această traducere este publicată prin acord cu Oxford University Press. Editura este responsabilă exclusiv de această traducere din lucrarea inițială, iar Oxford University Press nu va răspunde pentru erori, omisiuni sau inexactități sau ambiguități în această traducere sau pentru orice pierderi cauzate de încrederea acestora.

© Nick Bostrom, 2014

© Traducere în rusă, ediție în rusă, design. SRL „Mann, Ivanov și Ferber”, 2016

Partener Prefață

... Am un singur prieten, - a spus Edik. - El susține că omul este o verigă intermediară de care natura are nevoie pentru a crea coroana creației: un pahar de coniac cu o felie de lămâie.

Arkady și Boris Strugatsky. Luni începe sâmbătă

Autorul consideră că amenințarea mortală este asociată cu posibilitatea creării de inteligență artificială care depășește mintea umană. O catastrofă poate izbucni atât la sfârșitul secolului XXI, cât și în următoarele decenii. Întreaga istorie a omenirii arată: atunci când are loc o coliziune a unui reprezentant al speciei noastre, Homo sapiens, și oricine altcineva care locuiește pe planeta noastră, cel care este mai inteligent câștigă. Până acum, eram cei mai deștepți, dar nu avem garanții că acest lucru va dura pentru totdeauna.

Nick Bostrom scrie că dacă algoritmii de calculatoare inteligente învață să creeze în mod independent algoritmi și mai deștepți, iar ei, la rândul lor, sunt și mai deștepți, va exista o creștere explozivă a inteligenței artificiale, în comparație cu care oamenii vor arăta ceva ca furnicile alături de oameni, în sens intelectual, desigur. Pe lume va apărea o specie nouă, deși artificială, dar superinteligentă. Nu contează ce „îi vine în minte”, o încercare de a face toți oamenii fericiți sau decizia de a opri poluarea antropică a oceanelor din cel mai eficient mod, adică prin distrugerea umanității, oamenii nu vor putea rezista la acest lucru. Nici o șansă de confruntare în stil Terminator, nu există lovituri cu cyborguri de fier. Șahul și șahirul ne așteaptă - ca într-un duel între computerul de șah Deep Blue și un prim grad.

În ultimele sute sau doi ani, realizările științei au trezit în unele speranțe pentru o soluție la toate problemele omenirii, în altele pe care le-au provocat și încă provoacă frică neîncetată. În același timp, trebuie să spun, ambele puncte de vedere arată destul de justificate. Datorită științei, boli teribile au fost înfrânate, umanitatea este capabilă să hrănească un număr fără precedent de oameni astăzi, iar dintr-un punct de pe glob poți ajunge la cel opus în mai puțin de o zi. Cu toate acestea, prin harul aceleiași științe, oamenii, folosind cele mai noi tehnologii militare, se distrug reciproc cu viteză și eficiență monstruoase.

O tendință similară - când dezvoltarea rapidă a tehnologiilor nu numai că duce la formarea de noi oportunități, dar creează și amenințări fără precedent - observăm în domeniul securității informațiilor. Întreaga noastră industrie a apărut și există doar pentru că crearea și distribuția în masă a unor astfel de lucruri minunate precum computerele și internetul au creat probleme care ar fi fost imposibil de imaginat în era pre-calculatoare. Ca urmare a apariției tehnologiei informației, a existat o revoluție în comunicarea umană. Inclusiv a fost folosit de diverși cibernetici. Și abia acum omenirea începe treptat să realizeze noi riscuri: tot mai multe obiecte ale lumii fizice sunt controlate de computere și software, adesea imperfecte, scurgeri și vulnerabile; un număr din ce în ce mai mare de astfel de site-uri sunt conectate la internet, iar amenințările din pacea cibernetică devin rapid o problemă de securitate fizică și, eventual, viața și moartea.

Acesta este motivul pentru care cartea lui Nick Bostrom pare atât de interesantă. Primul pas în prevenirea scenariilor de coșmar (pentru o singură rețea de calculatoare sau pentru întreaga umanitate) este să înțelegem ce ar putea fi. Bostrom face multe rezerve conform cărora crearea unei inteligențe artificiale comparabile sau superioare cu mintea umană - o inteligență artificială capabilă să distrugă umanitatea - este doar un scenariu probabil care nu poate fi realizat. Desigur, există multe opțiuni, iar dezvoltarea tehnologiei computerizate poate să nu distrugă umanitatea, dar ne va da un răspuns la „întrebarea principală a vieții, Universul și toate acestea” (poate se dovedește cu adevărat numărul 42, ca în romanul „Ghidul autostopului pentru galaxie”) ... Există speranță, dar pericolul este foarte grav - ne avertizează Bostrom. În opinia mea, dacă există probabilitatea unei astfel de amenințări existențiale pentru umanitate, atunci trebuie tratată în consecință, iar pentru a o preveni și a ne proteja de noi, eforturile comune ar trebui făcute la scară globală.

Aș dori să închei introducerea mea cu un citat din cartea „Omul în sistem” al lui Mikhail Weller:

Când ficțiunea, adică gândirea umană încadrată în imagini și comploturi, repetă ceva timp îndelungat și în detaliu - ei bine, nu există fum fără foc. Filmele de acțiune banale de la Hollywood despre războaiele dintre oameni și civilizația roboților poartă un grau amar de adevăr sub coada unui spectacol comercial.

Când programul transmis de instincte este încorporat în roboți, iar satisfacția acestor instincte este încorporată ca o nevoie necondiționată și de bază, iar acest lucru va trece la nivelul autoreproductiei - atunci, băieți, nu mai luptați cu fumatul și alcoolul, deoarece va fi timpul să bea și să fumeze în fața hana pentru noi toti.

Ce se întâmplă dacă mașinile depășesc oamenii în inteligență? Ne vor ajuta sau vor distruge rasa umană? Putem ignora astăzi problema dezvoltării inteligenței artificiale și să ne simțim complet în siguranță?

În cartea sa, Nick Bostrom încearcă să înțeleagă problema cu care se confruntă umanitatea în legătură cu perspectiva unei superinteligențe și să-și analizeze răspunsul.

Caracteristicile cărții

Data redactării: 2014
Nume:. Etape. Amenințări. Strategie

Volum: 760 pagini, 69 ilustrații
ISBN: 978-5-00057-810-0
Traducător: Sergey Filin
Credit: Mann, Ivanov și Ferber

Cuvânt înainte al cărții „Inteligență artificială”

Autorul consideră că amenințarea mortală este asociată cu posibilitatea creării de inteligență artificială care depășește mintea umană. O catastrofă poate izbucni atât la sfârșitul secolului XXI, cât și în următoarele decenii. Întreaga istorie a omenirii arată: atunci când are loc o coliziune a unui reprezentant al speciei noastre, Homo sapiens, și oricine altcineva care locuiește pe planeta noastră, cel care este mai inteligent câștigă. Până acum, eram cei mai deștepți, dar nu avem garanții că acest lucru va dura pentru totdeauna.

Nick Bostrom scrie că dacă algoritmii de calculatoare inteligente învață să creeze în mod independent algoritmi și mai deștepți, iar ei, la rândul lor, sunt și mai deștepți, va exista o creștere explozivă a inteligenței artificiale, în comparație cu care oamenii vor arăta ceva ca furnicile alături de oameni, în sens intelectual, desigur. Pe lume va apărea o specie nouă, deși artificială, dar superinteligentă. Nu contează ce „îi vine în minte”, o încercare de a face toți oamenii fericiți sau decizia de a opri poluarea antropică a oceanelor din cel mai eficient mod, adică prin distrugerea umanității, oamenii nu vor putea rezista la acest lucru. Nici o șansă de confruntare în stil Terminator, nu există lovituri cu cyborguri de fier. Șahul și șahirul ne așteaptă - ca într-un duel între computerul de șah Deep Blue și un prim grad.

În ultimele sute sau doi ani, realizările științei au trezit în unele speranțe pentru o soluție la toate problemele omenirii, în altele pe care le-au provocat și încă provoacă frică neîncetată. În același timp, trebuie să spun, ambele puncte de vedere arată destul de justificate. Datorită științei, boli teribile au fost înfrânate, umanitatea este capabilă să hrănească un număr fără precedent de oameni astăzi, iar dintr-un punct de pe glob poți ajunge la cel opus în mai puțin de o zi. Cu toate acestea, prin harul aceleiași științe, oamenii, folosind cele mai noi tehnologii militare, se distrug reciproc cu viteză și eficiență monstruoase.

O tendință similară - când dezvoltarea rapidă a tehnologiilor nu numai că duce la formarea de noi oportunități, dar creează și amenințări fără precedent - observăm în domeniul securității informațiilor. Întreaga noastră industrie a apărut și există doar pentru că crearea și distribuția în masă a unor astfel de lucruri minunate precum computerele și internetul au creat probleme care ar fi fost imposibil de imaginat în era pre-calculatoare. Ca urmare a apariției tehnologiei informației, a existat o revoluție în comunicarea umană. Inclusiv a fost folosit de diverși cibernetici. Și abia acum omenirea începe treptat să realizeze noi riscuri: din ce în ce mai multe obiecte ale lumii fizice sunt controlate de computere și software, adesea imperfecte, scurgeri și vulnerabile; un număr din ce în ce mai mare de astfel de site-uri sunt conectate la Internet, iar amenințările provocate de pacea cibernetică devin rapid probleme de securitate fizică și potențial viață și moarte.

Acesta este motivul pentru care cartea lui Nick Bostrom pare atât de interesantă. Primul pas pentru a preveni scenariile de coșmar (pentru o singură rețea de calculatoare sau pentru întreaga umanitate) este să înțelegem ce ar putea fi. Bostrom face multe rezerve conform cărora crearea unei inteligențe artificiale comparabile sau superioare cu mintea umană - o inteligență artificială capabilă să distrugă umanitatea - este doar un scenariu probabil, care poate să nu fie realizat. Desigur, există multe opțiuni, iar dezvoltarea tehnologiei computerizate poate să nu distrugă umanitatea, dar ne va da un răspuns la „întrebarea principală a vieții, Universul și toate acestea” (poate se dovedește cu adevărat numărul 42, ca în romanul „Ghidul autostopului pentru galaxie”) ... Există speranță, dar pericolul este foarte grav - ne avertizează Bostrom. În opinia mea, dacă există probabilitatea unei astfel de amenințări existențiale pentru umanitate, atunci trebuie tratată în consecință, iar pentru a o preveni și a ne proteja de noi, eforturile comune ar trebui făcute la scară globală.

Introducere

Există o substanță în craniul nostru, datorită căreia putem, de exemplu, să citim. Această substanță - creierul uman - este înzestrată cu capacități care nu se găsesc la alte mamifere. De fapt, oamenii își datorează poziția dominantă pe planetă tocmai acestor trăsături caracteristice. Unele animale se remarcă prin mușchii cei mai puternici și cei mai ascuțiți, dar nici o creatură vie, cu excepția oamenilor, nu este înzestrată cu o minte atât de perfectă. Datorită nivelului intelectual mai ridicat, am reușit să creăm instrumente precum limbajul, tehnologia și organizarea socială complexă. De-a lungul timpului, avantajul nostru s-a consolidat și s-a extins, întrucât fiecare nouă generație, bazându-se pe realizările predecesorilor săi, a mers mai departe.

Dacă se dezvoltă vreodată o inteligență artificială care depășește nivelul general de dezvoltare a minții umane, atunci în lume va apărea o inteligență super-puternică. Și atunci soarta speciei noastre va depinde direct de acțiunile acestor sisteme tehnice inteligente - la fel cum soarta astăzi a gorilelor este determinată în mare parte nu de primate în sine, ci de intențiile umane.

Cu toate acestea, umanitatea are un avantaj incontestabil, deoarece creează sisteme tehnice inteligente. În principiu, cine te împiedică să vii cu o astfel de superinteligență care ar lua valorile umane universale sub protecția sa? Desigur, avem motive foarte bune pentru a ne proteja. În termeni practice, trebuie să abordăm cea mai dificilă problemă de control - cum să controlăm proiectele și acțiunile superinteligenței. Mai mult, oamenii vor putea folosi o singură șansă. De îndată ce se va naște o inteligență artificială neprietenoasă (AI), aceasta va începe imediat să interfereze cu eforturile noastre de a scăpa de ea sau, cel puțin, a-i regla setările. Și atunci soarta umanității va fi pecetluită.

În cartea mea, încerc să înțeleg problema cu care se confruntă oamenii cu perspectiva de superinteligență și să analizez răspunsul lor. Poate cea mai serioasă și înspăimântătoare agendă pe care a primit-o omenirea vreodată. Și indiferent dacă câștigăm sau pierdem, este posibil ca această provocare să fie ultima noastră. Nu dau aici niciun argument în favoarea acestei sau acelei versiuni: suntem pe punctul de a depăși o mare descoperire în crearea inteligenței artificiale; este posibil să se prezice cu o anumită precizie când va avea loc vreun eveniment revoluționar? Cel mai probabil - în acest secol. Aproape nimeni nu va numi o dată mai specifică.

Inteligență artificială. Etape. Amenințări. Strategies - Nick Bostrom (descărcare)

(fragment introductiv al cărții)

Recent, fondatorul Tesla Motors și SpaceX, Elon Musk, a creat inteligența artificială pentru a chema un demon care nu poate fi controlat. Musk împărtășește scepticismul său cu filozoful britanic Nick Bostrom, a cărui ultimă carte „Superinteligența: căi, pericole, strategii”, afaceristul i-a sfătuit pe urmașii săi Twitter. În timp ce unii futuristi prezic un viitor confortabil pentru oameni ca urmare a înlocuirii pe scară largă a muncii umane cu manopera, Nick Bostrom consideră inteligența artificială ca o amenințare la existența întregii noastre specii. Aparat a făcut cunoștință cu ideile lui Nick Bostrom și a aflat cum, în opinia sa, umanitatea poate fi salvată.

Nick Bostrom

Cu câțiva ani în urmă, revista Politică externă l-a listat drept unul dintre cei 100 de cei mai buni gânditori de pe planetă. Nick Bostrom consideră că oamenii trebuie să se îmbunătățească cu ajutorul tehnologiei. În 1998, a fondat Asociația Mondială a Transhumaniștilor (acum numită Humanity +) cu scopul de a lupta pentru a recunoaște transhumanismul ca domeniu cu drepturi depline. cunoștințe științifice... Bostrom a câștigat notorietate în afara academiei când a descris conceptul de dispariție umană în cartea sa Global Catastrophic Risks. Bostrom este directorul Institutului Oxford pentru Viitorul Umanității. Acum încearcă să atragă atenția publicului asupra următoarei amenințări la adresa civilizației noastre - superinteligența.

Inteligența artificială va fi în curând mai inteligentă decât noi

Pentru Nick Bostrom, nu contează ce domeniu de cunoaștere ne conduce la crearea superinteligenței. Fie că este vorba de programatori care au scris un program care poate gândi, sau de neuroștiințieni, recreat un creier uman funcțional. Principalul lucru este că se va întâmpla mai repede decât credem. Cei mai mulți experți chestionați de Bostrom prevăd crearea inteligenței artificiale inteligente până în 2040 sau 2050.

Inteligența artificială este deja superioară inteligenței umane în multe domenii. Așadar, de-a lungul anilor, diferite tipuri de informații artificiale au câștigat campionii tuturor tipurilor de turnee de jocuri, fie că este vorba de șah sau de poker. Astfel de realizări pot să nu pară deosebit de impresionante, ci doar pentru că cererile noastre de uimire se adaptează rapid la progres.

Inteligența artificială se va transforma în superinteligență datorită capacității de auto-învățare

Potrivit lui Bostrom, la început, inteligența artificială va fi ca creierul unui copil. Și ca un copil, va putea învăța. Oamenii vor înceta să încerce să pună cât mai multe informații în program, dar îl vor învăța să învețe ea însăși lumea... Existența superinteligenței va fi posibilă datorită unei perfecționări constante de sine.

Este important pentru noi să creăm o inteligență artificială suficient de inteligentă pentru a învăța din greșelile sale. El se va putea perfecționa la nesfârșit. Prima versiune va putea crea a doua, care va fi mai bună, iar a doua, fiind mai inteligentă decât originalul, va crea o treime și mai avansată, etc. În anumite condiții, un astfel de proces de auto-îmbunătățire poate fi repetat până când se ajunge la o explozie intelectuală - momentul în care nivelul intelectual al sistemului crește într-un timp scurt de la un nivel relativ modest până la nivelul de superinteligență.

Superinteligența va avea propriile sale nevoi și obiective

Modul de a gândi inteligența artificială va fi diferit de al nostru. Nick Bostrom nu încearcă să prezice exact cum va funcționa motivația superinteligenței. Dar oricare ar fi obiectivele sale, el va avea nevoie de resurse pentru a le atinge.

Inteligența artificială poate fi mai puțin umană decât un extraterestru. Nu este surprinzător faptul că orice străin inteligent poate fi îndemnat să acționeze prin lucruri cum ar fi foame, febră, vătămare, boală, pericol de viață sau dorința de a avea urmași. Inteligența artificială, de fapt, nu va fi interesată de niciuna dintre cele de mai sus. Se poate imagina existența unei inteligențe artificiale al cărei singur obiectiv final ar fi să numărați toate boabele de nisip de pe insula Boracay sau să găsiți reprezentarea zecimală a π.

Superinteligența va încerca să folosească oamenii împotriva voinței lor

Pentru a avea acces la resurse, superinteligența va încerca să găsească un intermediar. Potrivit lui Bostrom, chiar și fără a fi conectat la rețea sau a fi capabil să exercite activitate fizică, superinteligența va fi în continuare în măsură să își atingă obiectivele. Deoarece chiar și atunci când ajungem la maturitatea tehnologică, adică creăm toate tehnologiile care pot fi create, principala noastră slăbiciune va rămâne în continuare noi înșine.

Omul este cel mai nesigur sistem. Astăzi hackerii apelează adesea la principiile ingineriei sociale pentru a avea acces la computerul altcuiva. Și dacă o superinteligență se dovedește a fi un hacker manipulator, atunci putem presupune că va găsi cu ușurință un complice pentru sine, sau pur și simplu ne va folosi împotriva voinței noastre ca mâini și picioare.

Superinteligența poate dori să rămână singurul intelect

Unii filosofi și oameni de știință văd inteligența artificială doar ca un instrument de îmbunătățire a calității vieții noastre. Printre ei se află filozoful american John Searle: consideră imposibilă apariția conștiinței de sine în mașini, deoarece acest lucru necesită prezența proceselor fizico-chimice, similare cu cele care apar în creierul uman. Cu toate acestea, Bostrom consideră că, la un moment dat, superinteligența va înceta să fie o unealtă, dar se va dovedi a fi o ființă cu drepturi depline, cu propriile nevoi, iar grija pentru păstrarea rasei umane poate să nu fie una dintre ele. Vom fi doar o piedică în calea lui.

Omul însuși este o resursă utilă (atomi grupați convenabil), iar supraviețuirea și prosperitatea lui depind de alte resurse. Dezvoltarea inteligenței artificiale care are nevoie de aceste resurse poate duce cu ușurință la dispariția umanității. Așadar, va veni vremea unei societăți puternic dezvoltate din punct de vedere tehnologic, care include multe structuri complexe, multe dintre ele urmând a fi mai inteligente decât orice pe planeta. Va fi o perioadă de minuni economice și tehnologice. Dar nu va mai rămâne nimeni care să poată profita de acest lucru. Disneyland va domni pe Pământ, în care nu vor mai fi copii.

Umanitatea trebuie să învețe să țină tehnologia sub control

În același timp, Nick Bostrom nu neagă posibilitatea creării inteligenței artificiale prietenoase sau a controlului acesteia. La urma urmei, recunoaște filozoful, avem într-adevăr nevoie de tehnologii inteligente care să ajute să facă față problemelor presante. Singura întrebare este reducerea riscurilor, în special riscul de dispariție.

Dacă o explozie intelectuală ne amenință cu dispariția, atunci trebuie să înțelegem dacă putem controla procesul de detonare. Astăzi, ar avea mai mult sens să accelerăm activitatea de soluționare a problemei de control decât să suspendăm cercetarea în domeniul inteligenței artificiale. Însă până în prezent, aproximativ șase persoane sunt angajate în rezolvarea problemei de control, în timp ce zeci, dacă nu chiar sute de mii, lucrează la crearea inteligenței artificiale.

Cunoscut înseamnă armat

Umanitatea nu este încă pregătită să se întâlnească cu superinteligența și nu va fi pregătită mulți ani, notează Bostrom. Dar, în timp ce saltul intelectual poate să nu dureze suficient, trebuie să fim atenți probleme posibile acum. Mulți oameni de știință care urmăresc superinteligența uită de pericole.

Cel mai înțelept lucru de făcut pentru un copil cu o bombă care bifează în mâini ar fi să așezi ușor bomba pe podea, să fugi repede din cameră și să suni un adult. Dar dacă întreaga noastră cameră este plină de copii și fiecare copil are acces gratuit la declanșator. Șansele ca noi toți să punem o jucărie periculoasă pe podea sunt extrem de slabe. Un mic idiot va apăsa un buton pentru a vedea ce se întâmplă.

Nick Bostrom

Nick bostrom

Superintelligence

Căi, pericole, strategii

Redactorii științifici M. S. Burtsev, E. D. Kazimirova, A. B. Lavrent'ev

Publicat cu permisiunea Agenției Alexander Korzhenevski

Asistența juridică a editurii este asigurată de firma de avocatură "Vegas-Lex"

Această carte a fost publicată inițial în engleză în 2014. Această traducere este publicată prin acord cu Oxford University Press. Editura este responsabilă exclusiv de această traducere din lucrarea inițială, iar Oxford University Press nu va răspunde pentru erori, omisiuni sau inexactități sau ambiguități în această traducere sau pentru orice pierderi cauzate de încrederea acestora.

© Nick Bostrom, 2014

© Traducere în rusă, ediție în rusă, design. SRL „Mann, Ivanov și Ferber”, 2016

Această carte este completată de

Avinash Dixit și Barry Nalbuff

Stephen Strogatz

Partener Prefață

... Am un singur prieten, - a spus Edik. - El susține că omul este o verigă intermediară de care natura are nevoie pentru a crea coroana creației: un pahar de coniac cu o felie de lămâie.

Arkady și Boris Strugatsky. Luni începe sâmbătă

Autorul consideră că amenințarea mortală este asociată cu posibilitatea creării de inteligență artificială care depășește mintea umană. O catastrofă poate izbucni atât la sfârșitul secolului XXI, cât și în următoarele decenii. Întreaga istorie a omenirii arată: atunci când are loc o coliziune a unui reprezentant al speciei noastre, Homo sapiens, și oricine altcineva care locuiește pe planeta noastră, cel care este mai inteligent câștigă. Până acum, eram cei mai deștepți, dar nu avem garanții că acest lucru va dura pentru totdeauna.

Nick Bostrom scrie că dacă algoritmii de calculatoare inteligente învață să creeze algoritmi și mai deștepți pe cont propriu, iar ei, la rândul lor, sunt și mai deștepți, va exista o creștere explozivă a inteligenței artificiale, în comparație cu care oamenii vor arăta ceva ca furnicile alături de oameni, în sens intelectual, desigur. Pe lume va apărea o specie nouă, deși artificială, dar superinteligentă. Nu contează ce „îi vine în minte”, încercarea de a face toți oamenii fericiți sau decizia de a opri poluarea antropică a oceanelor din cel mai eficient mod, adică distrugând umanitatea, oamenii nu vor putea rezista la acest lucru. Nici o șansă de confruntare în stil Terminator, nu există lovituri cu cyborguri de fier. Șah și checkmate ne așteaptă - ca într-un duel între computerul de șah Deep Blue și primul grader.

În ultimele sute sau doi ani, realizările științei au trezit în unele speranțe pentru o soluție la toate problemele omenirii, în altele pe care le-au provocat și încă provoacă frică neîncetată. În același timp, trebuie să spun, ambele puncte de vedere arată destul de justificate. Datorită științei, boli teribile au fost înfrânate, umanitatea este capabilă să hrănească un număr fără precedent de oameni astăzi, iar dintr-un punct de pe glob poți ajunge la cel opus în mai puțin de o zi. Cu toate acestea, prin harul aceleiași științe, oamenii, folosind cele mai noi tehnologii militare, se distrug reciproc cu viteză și eficiență monstruoase.

O tendință similară - când dezvoltarea rapidă a tehnologiilor nu numai că duce la formarea de noi oportunități, dar creează și amenințări fără precedent - observăm în domeniul securității informațiilor. Întreaga noastră industrie a apărut și există doar pentru că crearea și distribuția în masă a unor astfel de lucruri minunate precum computerele și internetul au creat probleme care ar fi fost imposibil de imaginat în era pre-calculatoare. Ca urmare a apariției tehnologiei informației, a existat o revoluție în comunicarea umană. Inclusiv a fost folosit de diverși cibernetici. Și abia acum omenirea începe treptat să realizeze noi riscuri: din ce în ce mai multe obiecte ale lumii fizice sunt controlate de computere și software, adesea imperfecte, scurgeri și vulnerabile; un număr din ce în ce mai mare de astfel de site-uri sunt conectate la internet, iar amenințările din pacea cibernetică devin rapid o problemă de securitate fizică și, eventual, viața și moartea.

Acesta este motivul pentru care cartea lui Nick Bostrom pare atât de interesantă. Primul pas în prevenirea scenariilor de coșmar (pentru o singură rețea de calculatoare sau pentru întreaga umanitate) este să înțelegem ce ar putea fi. Bostrom face multe rezerve conform cărora crearea unei inteligențe artificiale comparabile sau superioare cu mintea umană - o inteligență artificială capabilă să distrugă umanitatea - este doar un scenariu probabil care nu poate fi realizat. Desigur, există multe opțiuni, iar dezvoltarea tehnologiei computerizate poate să nu distrugă umanitatea, dar ne va da un răspuns la „întrebarea principală a vieții, Universul și toate acestea” (poate se dovedește cu adevărat numărul 42, ca în romanul „Ghidul autostopului pentru galaxie”) ... Există speranță, dar pericolul este foarte grav - ne avertizează Bostrom. În opinia mea, dacă există probabilitatea unei astfel de amenințări existențiale pentru umanitate, atunci trebuie tratată în consecință, iar pentru a o preveni și a ne proteja de noi, eforturile comune ar trebui făcute la scară globală.

Aș dori să închei introducerea mea cu un citat din cartea „Omul în sistem” al lui Mikhail Weller:

Când ficțiunea, adică gândirea umană încadrată în imagini și comploturi, repetă ceva timp îndelungat și în detaliu - ei bine, nu există fum fără foc. Filmele de acțiune banale de la Hollywood despre războaiele dintre oameni și civilizația roboților poartă un grau amar de adevăr sub coada unui spectacol comercial.

Când programul transmis de instincte este încorporat în roboți, iar satisfacția acestor instincte este încorporată ca o nevoie necondiționată și de bază, iar acest lucru va trece la nivelul autoreproducerii - atunci, băieți, nu mai luptați cu fumatul și alcoolul, deoarece va fi timpul să bea și să fumeze în fața hana pentru noi toti.

Evgeny Kaspersky, directorul general al Kaspersky Lab

Povestea neterminată a vrăbilor

Odată, în mijlocul cuibului, vrăbii, obosiți de multe zile de muncă asiduă, s-au așezat să se odihnească la apusul soarelui și să înșire despre asta și asta.

„Suntem atât de mici, atât de slabi. Imaginați-vă cât de ușor ar fi să trăim dacă am păstra o bufniță ca ajutoarele noastre! O vrabie țipă visător. - Ar putea construi cuiburile noastre ...

- Aha! A fost de acord cu alta. - Și, de asemenea, să avem grijă de bătrânii și puii noștri ...

„Și instruiți-ne și protejați-ne de pisica vecinului”, a adăugat un al treilea.

Apoi, Pastus, cea mai veche vrabie, a sugerat:

- Lăsați cercetașii să zboare în direcții diferite în căutarea unei bufnițe care a căzut din cuib. Cu toate acestea, va face un ou de bufniță, o ciobă mică și chiar un pui de nevăstuică. Această descoperire se va dovedi a fi cel mai mare noroc pentru pachetul nostru! Ca și cel pe care l-am găsit în curtea unei surse de cereale care nu se termină niciodată.

Încântați cu seriozitate, vrăbii s-au ciripit cât au putut.

Și numai Skronfinkle cu un ochi, o vrabie caustică, cu minte grea, părea să se îndoiască de oportunitatea acestei întreprinderi.

„Am ales o cale dezastruoasă”, a spus el cu convingere. „Nu ar trebui să considerăm mai întâi serios îmblânzirea și domesticirea bufnițelor înainte de a permite o creatură periculoasă în mediul nostru?

- Mi se pare, a obiectat Pastus, „arta îmblânzirii bufnițelor nu este o sarcină ușoară. Găsirea unui ou de bufniță este al naibii de greu. Deci, să începem prin a căuta. Acum vom putea scoate o bufnita, apoi ne vom gândi la problemele educației.

- Un plan vicios! Scronfinkle tresări nervos.

Dar nimeni nu l-a ascultat. În direcția Pastus, turma vrabiei a decolat și a pornit.

Doar vrăbii au rămas pe loc, hotărând totuși să-și dea seama cum să îmblânzească bufnițele. Destul de repede, și-au dat seama că Pastus avea dreptate: sarcina s-a dovedit incredibil de dificilă, mai ales în absența bufniței în sine pe care trebuie să o exerseze. Cu toate acestea, păsările au continuat să studieze problema, pentru că se temeau că turma va reveni cu un ou de bufniță înainte de a putea descoperi secretul modului de a controla comportamentul bufniței.

Introducere

O anumită substanță este localizată în craniul nostru, datorită ...