Exdiplomat Peter Van Buren v American Conservative: Zabije nás reálne všetkých umelá inteligencia?

Prežil som svoj život pod neustálou hrozbou vyhynutia ľudstva.

Takže som trochu skeptický voči novým varovaniam ohľadom umelej inteligencie. Ale to sa mení.

Ako dieťa sme nebezpečenstvom boli termonukleárne vojny so Sovietmi. Na základnej škole sme si nacvičovali schovávanie sa pod našimi chatrnými drevenými lavicami alebo chodenie na chodbu a naťahovanie si kabátov cez hlavu proti očakávanému záblesku. Naši učitelia rozprávali hrozné príbehy o poškodení žiarením, o našich rodičoch, ktorí nám umierali pred očami, dokonca ukazovali na školské parkovisko a vysvetľovali, ako presné boli červené rakety, že mohli zacieliť auto nášho riaditeľa. Cítil som, že by bol zázrak, keby som sa dožil svojich 10. narodenín.

V 80. rokoch nám menej hovorili o tom, čo spôsobia okamžité výbuchy, a viac o tom, čo by mohlo prísť potom: jadrová zima, udalosť na úrovni vyhynutia, ktorú podporovali takí renomovaní vedci ako Carl Sagan. Táto hypotéza naznačovala, že termonukleárna výmena by spôsobila dlhé obdobie extrémneho globálneho ochladenia a tmy. Vojna by zapálila obrovské požiare, ktoré by spálili mestské oblasti, lesy a priemyselné zariadenia. Sadze z týchto požiarov by dosiahli stratosféru a zablokovali slnko. Znížené slnečné svetlo a nízke teploty by zničili poľnohospodárstvo, spôsobili by masívny globálny hladomor a všetci by sme zomreli jeden druhému v krku v boji o poslednú mrkvu.

Po skončení studenej vojny nás mala vyhladiť zmena klímy, za predpokladu, že by neexistovali žiadne jadrové nehody, teroristi ako zloduchovia z Bondov s biologickými zbraňami alebo podobne. Pred dvadsiatimi rokmi by nás mala vyhladiť o 10, potom pred desiatimi rokmi by nás mala vyhladiť o 20. Zdalo sa to tak pravdepodobné; každý február v Ohiu, keď sme mali tie dva dni skorej jari pred ďalšou snehovou búrkou, všetci hovorili o globálnom otepľovaní. Cítili sme sa šťastní, pretože Ohio bolo dostatočne ďaleko vo vnútrozemí, mohli by sme prežiť počiatočné topenie polárnych ľadovcov. Mohli by sme byť jedni z tých šťastlivcov, na vyšších miestach, ktorí by sledovali, ako sa okolo nás miliardy ľudí snažia prežiť vo svete, ktorého jedlo, voda, počasie a geografia sa menia rýchlejšie, ako sa spoločnosti dokážu prispôsobiť.

Skúsenosti ma naučili rozlišovať medzi skutočným nebezpečenstvom a apokalyptickou rétorikou. Takže mi odpustite, ak som trochu skeptický, že umelá inteligencia, ako teraz varuje najnovšia skupina vedcov predpovedajúcich záhubu, vyhladí ľudskú rasu do desiatich rokov. Uvedomujem si však, že nie som expert na umelú inteligenciu. Preto som urobil to, čo by urobil ktokoľvek: Priamo som sa umelej inteligencie opýtal: „Ako by mohla umelá inteligencia vierohodne spôsobiť vyhynutie ľudstva?“

Stroj mal niekoľko desivo pravdepodobných nápadov – takých, ktoré sa zdajú byť oveľa pravdepodobnejšie, že naša civilizácia skončí, než emisie z áut.

Najextrémnejšie scenáre vyhynutia umelej inteligencie si vyžadujú dva vývojové trendy: vylepšenie umelej inteligencie na niečo oveľa inteligentnejšie ako ľudia a naučenie sa, ako vytvárať nové, ešte inteligentnejšie verzie seba samej bez ľudského zapojenia, spätnú väzbu udržiavanú samoriadeným výskumom („rekurzívne sebazdokonaľovanie“, nazývajú to). Hneď ako ľudstvo prestane byť najinteligentnejšou vecou na tejto planéte, môžeme stratiť kontrolu nad naším kolektívnym osudom. Dá sa predstaviť, že umelá inteligencia sa stane podstatne lepšou ako ľudia vo vede, inžinierstve, kybernetických operáciách, presviedčaní a strategickom plánovaní. Ak by boli jeho počiatočné ciele zle špecifikované a systém by si vzal alebo dostal autonómiu na sledovanie iných cieľov, mohol by prijať oba ciele a prostriedky, ktoré sú nezlučiteľné s ľudským prežitím. Nie je to tak, že by nás stroje nenávideli, len by sme im boli v ceste – takzvaná analógia s mraveniskom. Predstavte si stavebnú četu pracujúcu na mrakodrape, ktorá nájde mravenisko v oblasti, kde chce stavať. Váhali by ho zbúrať a pokračovať v skutočnej práci?

V veľmi zjednodušenom príklade si predstavte superinteligentnú umelú inteligenciu, ktorej je povedané, aby urobila čokoľvek, čo je potrebné na zastavenie vojny medzi ľuďmi, a ktorá reaguje prevzatím kontroly nad biolaboratóriami alebo inými zbraňami súdneho dňa a snaží sa o koniec samotného ľudstva ako bezchybné riešenie: žiadni ľudia, žiadna vojna. Cestou dochádza k tomu, čo vedci nazývajú inštrumentálnou konvergenciou, teda k možnosti, že dostatočne schopný systém by mohol považovať zdroje, sebazáchovu a kontrolu nad inými systémami za užitočné medziciele pri plnení svojej pridelenej úlohy. Teraz nemusíme poznať všetky konkrétne detaily; koniec koncov, nie sme superinteligentnou entitou, ktorá to plánuje. Odborníci na danú problematiku neustále podceňujú, ako rýchlo dokáže umelá inteligencia zvládnuť ich oblasti a prekonať ich, pretože, slovami ekonóma a odborníka Noaha Smitha, „mýlia si ľudské ťažkosti s univerzálnymi ťažkosťami“. Nikto v skutočnosti nechápe, ako fungujú rozsiahle jazykové modely – ale fungujú.

Alebo si predstavme scenár, ktorý nastane skôr náhodou: situáciu, v ktorej sa umelá inteligencia postupne stane v každej podstatnej činnosti schopnejšou než ľudia. Mohlo by nás to urobiť úplne závislými od systémov, ktorým nerozumieme a ktoré nedokážeme ovládať. Znie to takmer ako vtip – no koľko ľudí si podáva daňové priznanie pomocou softvéru, ktorému nerozumejú, a dostáva výsledok, ktorý sami nedokážu nezávisle skontrolovať či pochopiť? Samozrejme, nejde o vyhynutie ľudstva, no ak by sme všetci stratili skutočnú kontrolu nad svojimi životmi, ľudstvo by tým nesmierne utrpelo.

Žijeme v zaujímavých časoch, ako sa zvykne hovoriť. Nie sme síce v štádiu, keď nás lovia Terminátori z budúcnosti, no už dávno sme prekonali fázu, v ktorej sme si mysleli, že sa niet čoho obávať. Skutočnosť, že apokalypsa sa predpovedala už toľkokrát – a rovnako často sa nenaplnila –, neznamená, že túto najnovšiu prognózu môžeme len tak ľahkovážne odmietnuť. Príliš veľa ľudí, ktorí sa v tejto téme vyznajú lepšie než ja, pociťuje vážne obavy, a to niečo znamená. Domnievam sa však, že títo znepokojení vedci musia lepšie vysvetliť, čoho sa vlastne boja. V ére pretrvávajúceho skepticizmu a takmer systémovej nedôvery voči vláde či vede musia prípadní proroci oveľa konkrétnejšie pomenovať nebezpečenstvá, ktoré vidia. Po skúsenosti s Faucim im už nikto neuverí len tak na slovo.

Nie som vedec ani autor sci-fi literatúry. Píšem o politike a národnej bezpečnosti. Umelá inteligencia však už dávno nie je len témou diskusií v laboratóriách. AI predstavuje politickú silu – a tvorcovia politík, ktorí sú pri moci v tomto období, keď je technológia ešte len v plienkach, budú formovať spôsob, akým bude AI interagovať s naším svetom. Podobne ako muži, ktorí na jeseň 1945 vládli svetu a načrtli víziu ďalšej etapy ľudstva – jadrovej éry –, aj my musíme hlboko a vážne uvažovať o tom, čo nás čaká.

Peter Van Buren

Peter Van Buren je autorom diel *We Meant Well: How I Helped Lose the Battle for the Hearts and Minds of the Iraqi People*, *Hooper’s War: A Novel of WWII Japan* a *Ghosts of Tom Joad: A Story of the 99 Percent*.