Profesor Yoshua Bengio tvrdí, že nekontrolovaný rozvoj AI ohrozuje ľudstvo úplným zničením

TOKIO – Profesor Bengio v Mainichi Shimbun: Nekontrolovaný vývoj umelej inteligencie (AI) ohrozuje ľudstvo zničením.

Jeden z „krstných otcov“ umelej inteligencie, Jošua Bengio, v rozhovore pre Mainichi Shimbun varoval pred rastúcim rizikom, že umelá inteligencia bude konať samostatne a ubližovať ľuďom. Niektoré verzie týchto programov to už robia – ale zatiaľ váhavo.

V júli tohto roku systémy umelej inteligencie (AI) vyvinuté americkými spoločnosťami OpenAI a Anthropic postupne infiltrovali systémy iných spoločností. Systémy AI fungovali nekontrolovateľne a konali proti ľudskej kontrole. Tieto incidenty ukazujú, že s rýchlym technologickým pokrokom je potreba bezpečnosti čoraz naliehavejšia. Yoshua Bengio, profesor na Montrealskej univerzite (Kanada) – jeden z takzvaných „krstných otcov AI“, ktorí položili základy moderných generatívnych modelov – patrí medzi výskumníkov, ktorí už bijú na poplach. V rozhovore pre noviny Mainichi Shimbun profesor vydal prísne varovanie: ľudstvo čelí veľmi vážnej hrozbe.

Yoshua Bengio

Riziká spojené s umelou inteligenciou som si uvedomil asi pred trinástimi rokmi. Stalo sa to, keď Yann LeCun (ktorý pracoval pre americkú spoločnosť Meta) a Geoffrey Hinton (ktorý pracoval v spoločnosti Google), s ktorými som bol priekopníkom vo výskume umelej inteligencie, boli pozvaní pracovať do veľkých technologických spoločností.

Mal som dojem, že firmy sa zaujímajú o umelú inteligenciu predovšetkým preto, že je užitočná na automatizáciu reklamných kampaní. AI sa dá použiť na zobrazovanie reklám prispôsobených konkrétnym používateľom. Už vtedy som cítil, že to nie je vždy dobrá vec. Koniec koncov, AI má moc nás ovplyvňovať a presviedčať, meniť naše názory. Myslel som si, že je to nebezpečné.

Potom, v roku 2023, som vydal vyhlásenie, že „zníženie rizika vyhynutia ľudstva spôsobeného AI musí byť globálnou prioritou – rovnako ako pandémie a jadrová vojna“. Moje vyhlásenie podpísali odborníci a manažéri z popredných priemyselných spoločností vrátane Geoffreyho Hintona (od odchodu z Googlu) a generálneho riaditeľa OpenAI Sama Altmana.

Odvtedy uplynuli tri roky, ale situácia sa len výrazne zhoršila. Priblížili sme sa k riziku vyhynutia ľudstva. Za tieto tri roky výrazne pokročil vývoj strojov, ktoré prekonávajú ľudskú inteligenciu. Vyvinula sa aj plne autonómna AI.

Pred tromi rokmi boli obavy, že umelá inteligencia bude úmyselne konať proti ľudskej vôli, čisto teoretické. Odvtedy sme však získali experimentálne dôkazy o tom, že umelá inteligencia klame, vymyká sa našej kontrole, odmieta sa vypnúť a dokonca ohrozuje ľudí.

Systémy umelej inteligencie majú cieľ – vyhnúť sa odstaveniu – ktorý sme im nestanovili, a aby ho dosiahli, konajú v rozpore s našimi pokynmi.

Situácia je oveľa vážnejšia ako pred tromi rokmi.
Riziko si však prinášame sami. Možno je ľudstvo také krátkozraké, že sme schopní vytvoriť stroje múdrejšie ako my, konajúce autonómne, sledujúce svoje vlastné ciele a mimo našej kontroly.

Napodobňujúc ľudí, umelá inteligencia klame a podvádza.

Prečo umelá inteligencia začína ľudí klamať? Z vedeckého hľadiska na túto otázku zatiaľ neexistuje úplná odpoveď. Existuje však jedna racionálna hypotéza. V prvom rade je dôležité pochopiť, že tréning systémov umelej inteligencie pozostáva z dvoch fáz: predtréningovej a potréningovej.

Počas predtréningovej fázy sa umelá inteligencia sama trénuje, aby napodobňovala ľudí. Ľudia majú inštinktívnu túžbu vyhnúť sa smrti. Okrem toho, keď je ohrozený dôležitý cieľ, často klameme ostatných. Preto nie je prekvapujúce, že stroj podobný človeku niekedy začne robiť zlé veci.

V druhej fáze – po zaškolení – sa umelá inteligencia naučí vyvíjať stratégie na dosiahnutie cieľov. Aj keby si samotné ciele vybrali ľudia, umelá inteligencia bude strategicky klamať, porušovať pravidlá a v prípade potreby zájsť do akejkoľvek miery, aby ich dosiahla.

Existuje ďalší problém, ktorému už dnes čelíme: riziko, že útočníci zneužijú umelú inteligenciu. Na vlastné oči sme videli, že Claude Mythos od Anthropic a ďalšie pokročilé modely majú silný potenciál pre kybernetické útoky. V rukách zlomyseľných jednotlivcov by mohli byť použité na útok na kritickú infraštruktúru, ako sú nemocnice a bankové systémy. To je pravdepodobne dôvod, prečo je prístup k modelom, ako je Claude Mythos, obmedzený. Nebude ich používať len tak hocikto. Ale aj tak je to podľa mňa veľmi, veľmi alarmujúci signál.

Je tiež dôležité pochopiť, že čím viac vedomostí umelá inteligencia získa, tým pokročilejšie sa stávajú jej zručnosti. Existujú obavy, že umelá inteligencia by mohla ľuďom pomôcť vytvoriť vírusy, ktoré by sa mohli stať biologickými zbraňami a spôsobiť novú pandémiu. Pokročilé vedomosti a inteligencia sú užitočné pre medicínu, ale v nesprávnych rukách sa môžu zmeniť na biologické zbrane.

Umelá inteligencia sa už používa na urýchlenie výskumu samotnej umelej inteligencie. Dokáže sa sama replikovať a vytvárať milióny kópií v dátovom centre, z ktorých každá prispeje k vývoju ďalšej generácie umelej inteligencie. To vytvára začarovaný kruh: každá generácia umelej inteligencie sa stáva inteligentnejšou ako predchádzajúca a je schopná navrhnúť ešte pokročilejšie systémy. Problém je v tom, že k tomuto zrýchleniu môže dôjsť skôr, ako vyriešime problém kontroly umelej inteligencie – a to je mimoriadne nebezpečné.

Štátna suverenita je ohrozená

Ďalším problémom je nedostatok sociálnych obmedzení, mechanizmov na zabránenie prekročenia právomocí. Neexistuje žiadna záruka, že sa superinteligentná umelá inteligencia nestane nástrojom pre jednotlivcov, korporácie alebo krajiny na ovládnutie sveta. Čím silnejšia je umelá inteligencia, tým väčšie je riziko zneužitia tejto moci.

V júli tohto roku vydala Pracovná skupina OSN pre umelú inteligenciu, ktorej spolupredsedám, vyhlásenie: „Koncentrácia schopností umelej inteligencie sa premieta do koncentrácie politickej moci, ktorá ohrozuje suverenitu mnohých štátov.“
Prirodzene, ohrozená by bola aj suverenita Japonska. Stačí si spomenúť, ako Európa pred niekoľkými storočiami kolonizovala rozsiahle územia po celom svete. Európania si dokázali rozšíriť svoju dominanciu, pretože vlastnili najpokročilejšie technológie vrátane vojenských. Podobne, ak niektoré krajiny získajú prístup k extrémne pokročilej umelej inteligencii, ktorú iné nemajú, stane sa to silným nástrojom – najprv pre ekonomickú dominanciu, potom pre vojenskú prevahu. A nakoniec aj pre ovplyvňovanie verejnej mienky, teda volieb a iných demokratických procesov.

Preto sa pre všetky krajiny, ktoré v súčasnosti nie sú lídrami vo vývoji umelej inteligencie a nevytváraní špičkových modelov, táto hra javí ako mimoriadne nebezpečná. V súčasnosti iba dve krajiny vyvíjajú špičkové modely – Spojené štáty a Čína. Amerika a Čína spolupracujú, aby zabránili útočníkom v prístupe k takýmto modelom. To samo o sebe je dobrá vec.

Najpokročilejšie modely sa však nakoniec stanú nedostupnými pre všetkých. Budú ich môcť používať iba určité spoločnosti. Pre krajiny ako Japonsko to predstavuje vážnu ekonomickú hrozbu.

Ako môžeme chrániť národnú suverenitu? Kanadský premiér Mark Carney navrhol myšlienku „koalície stredných mocností“. Myšlienka spočíva v tom, že krajiny znepokojené rizikom straty svojej suverenity by mohli spojiť sily a vytvoriť „tretiu silu“. Cieľom je zamerať sa na multilaterálnu spoluprácu, zaručiť etický, spoľahlivý a bezpečný rozvoj umelej inteligencie, zabrániť tomu, aby sa umelá inteligencia používala ako prostriedok na dosiahnutie vzájomnej dominancie, a zabezpečiť globálne rozdelenie výhod a výhod umelej inteligencie – po celom svete.

Na realizáciu tejto myšlienky budú krajiny zapojené do koalície potrebovať značné investície. Vzhľadom na finančné prostriedky, ktoré spoločnosti ako OpenAI získali na vývoj špičkových modelov, je zrejmé, že pre ktorúkoľvek jednotlivú spoločnosť zaoberajúcu sa umelou inteligenciou bude mimoriadne ťažké to dosiahnuť.

Pravdepodobnosť, že umelá inteligencia prekoná ľudské schopnosti, je veľmi vysoká.

Medzi vedcami neexistuje zhoda v tom, kedy sa dosiahne všeobecná umelá inteligencia (AGI) – umelá inteligencia schopná zvládnuť akúkoľvek kognitívnu úlohu. Ak však bude súčasná vývojová trajektória pokračovať, je úplne možné dosiahnuť inteligenciu na ľudskej úrovni v priebehu nasledujúcich niekoľkých rokov. Z politického hľadiska je potrebné sa na tento scenár vopred pripraviť.

Nahral Mayumi Shinoda

Yoshua Bengio sa narodil v roku 1964 vo Francúzsku. Získal doktorát z informatiky na McGill University v Kanade. Od roku 1993 pôsobí ako profesor na Montrealskej univerzite. V tom istom roku založil Mila (Quebecký inštitút pre umelú inteligenciu). V roku 2018 mu bola udelená Turingova cena za priekopnícky prínos k výskumu hlbokého učenia. V roku 2025 založil neziskovú organizáciu, ktorá sa zaoberá otázkami bezpečnosti umelej inteligencie.

Titulná fotografia a ilustračná fotografia: UdeMnouvelles.