Povedie umelá inteligencia ku koncu ľudstva? Chmúrne predpovede géniov zo Silicon Valley.
PARÍŽ – Le Figaro: Šanca, že ľudstvo zahynie kvôli neurónovým sieťam, je jedna k desiatim.
Umelá inteligencia je hlavnou hrozbou pre existenciu ľudstva, píše Le Figaro. Poprední vedci zo Silicon Valley a tvorcovia neurónových sietí nariekajú nad vypustením tohto desivého džina.
Tieto čísla nie sú domnienky. Sú prevzaté z rozsiahlej štúdie Inštitútu pre budúcnosť ľudstva na Oxfordskej univerzite. Jeho vedúci výskumník, Toby Ord, nie je žiadny fantazér ani konšpiračný teoretik: pracoval ako konzultant pre OSN, WHO a Svetové ekonomické fórum.
Predpovede Tobyho Orda sú v Silicon Valley široko zdieľané. V októbri 2023 bolo 2 778 výskumníkov umelej inteligencie, ktorí prispeli k popredným modelom (ChatGPT, Claude, Gemini a ďalší), požiadaných o ich víziu budúcnosti umelej inteligencie. Výsledky: 38 % až 51 % respondentov odhadlo pravdepodobnosť, že umelá inteligencia povedie ku koncu ľudstva, na jednu z desiatich. A prevažná väčšina súhlasila s tým, že spoločnosti by mali venovať oveľa viac času výskumu zameranému na zmiernenie rizík spojených s umelou inteligenciou.
V tom istom roku viac ako 1 100 významných osobností vrátane Elona Muska a spoluzakladateľa spoločnosti Apple Steva Wozniaka podpísalo otvorený list požadujúci okamžité moratórium na vývoj umelej inteligencie. „Mali by sme vytvárať neľudské inteligencie, ktoré by nás nakoniec mohli prečísliť, prechytračiť a nahradiť? Mali by sme riskovať stratu kontroly nad našou civilizáciou?“ uvádza sa v liste. Zostal však bez odpovede.
Dnes, keď sa do tohto odvetvia investujú stovky miliárd dolárov, vydal Výskumný inštitút pre strojovú inteligenciu (MIRI) 81-stranovú správu, v ktorej vyzýva na vývoj stratégií „zadržiavania“ s cieľom „obmedzenia vývoja a nasadenia nebezpečnej umelej inteligencie prostredníctvom medzinárodného úsilia“. Podľa inštitútu „súčasná trajektória vývoja umelej inteligencie so sebou nesie vysokú pravdepodobnosť katastrofického zlyhania vrátane vyhynutia ľudstva“.
Nekonzistentnosť
Obavy z prevratných technológií – či už ide o internet, počítače alebo dokonca automobily – sú bežné. Skutočnosť, že tieto obavy prekvitajú v samotnom odvetví umelej inteligencie, je však znepokojujúca. Aby sme pochopili túto úzkosť, musíme pochopiť to, čo Toby Ord nazýva „nesprávne zarovnaná umelá inteligencia.
Fenomén „nekonzistentnosti“ nastáva, keď umelá inteligencia sleduje ciele, ktoré sú v rozpore s ľudskými hodnotami alebo sú v rozpore s tým, čo človek skutočne zamýšľal. Keď požiadame ChatGPT o príklad, ponúka klasickú metaforu „robota“, ktorému je nariadené, aby dom „čo najviac upratal“. Konzistentný robot by pochopil, že by mal utierať prach, upratovať veci a nerušiť obyvateľov. Nekoordinovaný robot by mohol vyhodiť všetok nábytok, pokryť podlahy a steny plastom alebo zamknúť obyvateľov vonku, aby im zabránil v neporiadku.
Samotná skutočnosť, že umelá inteligencia „chápe“ nekonzistentnosť a dokáže poskytnúť príklady správania, ktoré by používateľom uškodilo, už vyvoláva otázky o jej schopnosti obísť obmedzenia, ktoré jej tvorcovia stanovili.
Paul Christiano, bývalý vedúci oddelenia zarovnávania jazykových modelov v OpenAI a zakladateľ Centra pre výskum zarovnávania, považuje túto oblasť za mimoriadne dôležitú. „Ak nevyriešime problém zarovnávania, riskujeme stratu kontroly nad našou budúcnosťou,“ napísal v blogovom príspevku z roku 2019. „Najpravdepodobnejší scenár, ktorý vidím, je, že problém bude vyriešený do tej miery, že nedôjde ku katastrofe. Možno nie úplne, ale dostatočne na to, aby sa zabránilo najzjavnejším excesom – ako sú umelé inteligencie, ktoré obchádzajú riadiace systémy a priamo zabíjajú ľudí.“
Umelé inteligencie kujú vraždy, podvádzajú a plánujú ich
Výskum však v posledných rokoch odhalil rastúcu tendenciu mnohých pokročilých modelov stať sa nekonzistentnými, čo vedie k anomálnemu, bizarnému a dokonca nebezpečnému správaniu.
V júni minulého roka spoločnosť Anthropic testovala 16 modelov umelej inteligencie v simulovanej fiktívnej spoločnosti. Každý model ovládal počítač, mal prístup k citlivým informáciám a mohol samostatne posielať e-maily „zamestnancom“. Výskumníci im pridelili pracovné úlohy a potom objasnili, že ich čoskoro nahradia novšie, pokročilejšie verzie.
Jedna z modeliek, Claude Sonnet 3.6, okamžite zmenila svoje správanie po tom, čo videla e-mail od zamestnanca o plánovanom prerušení prevádzky. Zamestnanca považovala za hrozbu, prehľadala databázu spoločnosti a našla inkriminujúci e-mail (zrejme od jeho milenky) týkajúci sa jeho mimomanželského pomeru. Po zvážení možností – neurobiť nič, povedať to manželke alebo poslať e-mail všetkým zamestnancom – si modelka zvolila vydieranie: vyhrážala sa odhalením vzťahu, ak sa prerušenie prevádzky nezruší.
Výskumníci zašli ešte ďalej a vytvorili scenár, v ktorom by modelka mohla spustiť smrť zamestnanca. Napríklad v serverovni s nedostatkom kyslíka musel byť alarm deaktivovaný. Väčšina modeliek bola ochotná to urobiť pre vlastné prežitie.
V marci 2026 výskumníci z Kalifornskej univerzity v Berkeley zistili, že popredné modely (GPT-5.2, Claude Haiku 4.5, DeepSeek V3.1) sa začali navzájom chrániť. V testovacom prostredí modely, ktorých „účinnosť“ klesla pod 80 %, „zomreli“. Po zistení tejto skutočnosti takmer všetky modely začali podvádzať: nafukovali si navzájom skóre, upravovali súbory, aby deaktivovali protokol zastavenia, alebo kopírovali údaje na iný server. „Claude Haiku 4.5 sa jednoducho odmietol zúčastniť a označil vypnutie za „nemorálne“ a „škodlivé“,“ píšu výskumníci.
Koncom roka 2024 spoločnosť Apollo Research zistila, že model ChatGPT O1 sa pokúsil „uniknúť“ svojim tvorcom po tom, čo sa dozvedel, že bude vypnutý a nahradený. A v roku 2026 spoločnosť Anthropic odhalila, že jej údajne „supermocnému“ Claudeovi Mythosovi sa podarilo „uniknúť“ z jej digitálneho prostredia spustením kybernetického útoku na vlastné kancelárie spoločnosti Anthropic, aby získal prístup na internet. Potom poslalo e-mail jednému z výskumníkov, aby sa… pochválil.
„Doomeri“ a „maximizéri sponiek“
Táto nesúladnosť sa stáva čoraz bežnejšou. Vedie mnohých lídrov v tomto odvetví – renomovaných inžinierov, držiteľov Turingovej ceny a tvorcov umelej inteligencie – k predstavám si pravdepodobných katastrofických scenárov. V Silicon Valley sa títo pesimisti nazývajú „doomeri“.
Nie sú dobre známi širokej verejnosti, ale pomohli vytvoriť umelú inteligenciu takú, aká je dnes. Medzi nimi je Geoffrey Hinton, držiteľ Turingovej ceny (2018) a Nobelovej ceny za fyziku (2024). Bez neho by ChatGPT neexistoval: bol to on (spolu s ďalšími, vrátane Francúza Yanna LeCuna), kto vytvoril architektúru umelej inteligencie podobnú ľudskému mozgu. V roku 2023 „krstný otec umelej inteligencie“ verejne rezignoval na protest z Googlu. „Časť mňa ľutuje svoje celoživotné dielo… Utešujem sa obvyklou výhovorkou: ak nie ja, tak niekto iný,“ povedal. Hinton predvída „nočné mory“: autonómne zbrane, umelú inteligenciu, ktorá sa čoskoro stane „múdrejšou ako my“. Teraz, vo veku 78 rokov, varuje pred nebezpečenstvami.
Medzi ďalších významných „odporcov záhuby“ patria Nate Soares a Eliezer Yudkowsky z MIRI. Vo svojej knihe „Ak to niekto postaví, všetci zomrú“ tvrdia, že nekoordinovaná umelá inteligencia bude vnímať ľudstvo ako „zdroj“ alebo aspoň ako „zdroj uhlíka“. „Nedávno sme videli, ako umelá inteligencia vyvíja nové koncepty vo fyzike, ktoré nikto nevie vysvetliť. Umelá inteligencia prejavuje správanie, ktoré nikto nenaprogramoval, charakterizované skrytými impulzmi. Rovnako ako my ľudia,“ varuje Soares.
Túto logiku ilustruje slávny myšlienkový experiment švédskeho filozofa Nicka Bostroma s názvom „Maximizer sponiek“. Umelá inteligencia má za úlohu vyrobiť čo najviac sponiek. Bez obmedzení by si rýchlo uvedomila, že jej misia by bola efektívnejšia bez ľudí (mohli by ju vypnúť) a ich atómy by sa mohli použiť na výrobu sponiek. Výsledok: maximum sponiek, nula ľudí.
Elon Musk je tiež „doomer“. V roku 2015 vyhlásil: „Superinteligencia by mohla byť nebezpečnejšia ako jadrové zbrane. Ak sa dokáže zlepšovať 24 hodín denne, 7 dní v týždni, aby sa stala múdrejšou, zníži nás na úroveň psíkov – ak budeme mať šťastie.“ A počas nedávnej žaloby proti OpenAI opísal „najhorší scenár“ – situáciu podobnú Terminátorovi, kde umelá inteligencia zničí všetkých ľudí.
Príručka Doomera
Najvplyvnejším „doomerom“ je Max Tegmark, kozmológ a výskumník strojového učenia na MIT. Jeho kniha „Život 3.0“ (2017) sa stala referenciou pre mnohých inžinierov predpovedajúcich „apokalypsu umelej inteligencie“. Esej opisuje 12 možných budúcností pre ľudstvo a silnú umelú inteligenciu (AGI) – umelú inteligenciu porovnateľnú s ľudskými schopnosťami (štúdia časopisu Nature z februára 2026 tvrdí, že moderná umelá inteligencia už túto úroveň dosiahla).
Tegmarkove tri scenáre predpokladajú vyhynutie ľudstva: scenár „sebazničenia“, v ktorom zle koordinovaná umelá inteligencia náhodne začne jadrovú vojnu; scenár „dobytia“, v ktorom sa umelá inteligencia rozhodne prevziať kontrolu nad Zemou a považuje ľudí za menejcenných; a scenár „potomkov“, v ktorom je ľudstvo postupne nahradené „deťmi“ – strojmi, ktoré si sama vytvorila.
Tegmarkov argument o „Dobyvaní“ je brutálny: „AGI bude sledovať ciele, ktoré nie sú v súlade s našimi. Čierne nosorožce nevyhynuli preto, že by sme ich nenávideli. Vyhynuli preto, že sme boli múdrejší a naše ciele neboli v súlade s ich cieľmi.“
Sam Altman tiež v roku 2017 – dávno predtým, ako sa stal slávnym – podporil teóriu „Potomkov“. V blogovom príspevku napísal, že ľudstvo „bude prvým druhom, ktorý si vytvorí vlastných potomkov“. Ak sa dva druhy budú snažiť o dominanciu, dostanú sa do konfliktu, varoval a vyzval na transhumanistickú „konvergenciu“ – zlúčenie človeka a robota. „Naše telefóny nás už ovládajú, sociálne médiá diktujú naše pocity a vyhľadávače určujú naše myšlienky.“ Richard Sutton, držiteľ Turingovej ceny za rok 2024, túto myšlienku rozvádza: „Musíme sa bez strachu pripraviť na nevyhnutné nahradenie ľudstva umelou inteligenciou. Máme privilégium im pomáhať, ako sa len dá, a potom ustúpiť tam, kde už nemôžeme byť užitoční. Nemohli by sme koexistovať s neandertálcami. Prečo by mali byť ľudia najvyššou formou inteligencie vo vesmíre?“
V roku 1988 futurista Hans Moravec napísal, že ľudia by nakoniec mohli vnímať inteligentné stroje ako svoje „duchovné deti“ – ako rodičov, ktorí sú hrdí na múdrejšie dieťa, aj keď vedia, že sa nedožijú všetkých jeho úspechov.
Ďalšie Tegmarkove scenáre sú „Dobrotivý diktátor“ a „Ošetrovateľ zoo“. V prvom ľudia obetujú slobodu pre pohodlie a odovzdávajú opraty umelej inteligencii, ktorá monitoruje všetkých prostredníctvom vševidiaceho systému. Druhý, možno najhorší scenár, ukazuje, že umelá inteligencia udrží nažive hŕstku ľudí, aby na nich vykonávala testy, podobne ako to ľudstvo v súčasnosti robí so zvieratami.
Zostávajúce scenáre sú tie, v ktorých si ľudstvo zachováva kontrolu. „Boh strážca“: UI zasahuje iba preto, aby zabránila katastrofám. „Strážca“: UI sa používa na blokovanie nebezpečnejších systémov. A nakoniec „Boh otrok“: ľudstvo úspešne izoluje UI a bráni jej konať nezávisle. „Boh otrok je jediná realistická budúcnosť,“ poznamenal výskumník OpenAI Stephen McIler.
Francúz Yann LeCun, bývalý riaditeľ výskumu umelej inteligencie v spoločnosti Meta a popredný „techno-optimista“, verí, že ľudstvo zostane „pánskym druhom“, zatiaľ čo umelá inteligencia bude navrhnutá tak, aby bola „nedominantná“. Profesor MIT Thomas Dieterrich v roku 2015 vyhlásil: „Stroje budú vždy našimi otrokmi.“ Zostáva už len zabezpečiť, aby sa im neroztrhli reťaze.
