„Umelá inteligencia sa pestuje, nie vytvára.“ Hlavný vedecký pracovník OpenAI publikoval esej o budúcnosti umelej inteligencie (a o tom, ako jej strácame pochopenie). Tu sú kľúčové body z textu

Vedúci vedecký pracovník spoločnosti OpenAI, Jakub Pachocki, publikoval rozsiahlu esej, v ktorej sa zamýšľa nad stavom celého odvetvia umelej inteligencie.

Pachockého hlavným argumentom je, že ako sa modely stávajú inteligentnejšími, čoraz viac prispievajú k vývoju budúcej umelej inteligencie a pre ľudí zostáva čoraz menej priestoru. Meduza zhŕňa hlavné body eseje.

Kto je Jakub Pachocki?

Pachocki, rodák z Gdanska, získal bakalársky titul na Varšavskej univerzite a doktorát na Carnegie Mellon University v roku 2016, kde sa zameral na algoritmy optimalizácie grafov. V roku 2017 sa pripojil k OpenAI, kde sa pridal k malej skupine výskumníkov, ktorí v tom istom roku vytvorili umelú inteligenciu, ktorá porazila profesionálny tím v hre DOTA2. Kľúčom k ich úspechu bolo použitie posilňovacieho učenia – rovnakého prístupu, aký Pachocki a jeho kolegovia neskôr použili na vytvorenie GPT-4. Transformačný model, trénovaný na texte, bol potom doladený pomocou posilňovacieho učenia s ľudskými subjektmi – ľudské subjekty hodnotili užitočnosť vygenerovaných odpovedí. Po tom, čo Ilya Sutskever odstúpil z funkcie hlavného vedeckého riaditeľa OpenAI, Sam Altman odovzdal pozíciu Pachockimu a nazval ho „pravdepodobne jednou z najväčších myslí našej generácie“.

O „čase vyžadujúcom si extrémnu opatrnosť“

Vo svojej eseji, ktorej publikácia sa časovo zhodovala s vydaním a širokou diskusiou o možnostiach nového modelu GPT-6 Astra od spoločnosti OpenAI, Pakhocki pokrýva celú škálu kľúčových otázok týkajúcich sa umelej inteligencie. Patrí medzi ne nepredvídateľný rast schopností modelov, blížiaca sa éra pokročilej umelej inteligencie (AGI), schvaľovanie dohôd, bezpečnostné hrozby a možná regulácia alebo dokonca koordinované spomalenie pokroku, aby sa zabránilo katastrofickému scenáru.

Kľúčovým posolstvom hlavného vedca OpenAI je, že „nastal čas vyžadujúci si extrémnu opatrnosť“. Keďže sa modely čoraz viac používajú na vylepšovanie nových modelov, samotní výskumníci postupne strácajú schopnosť monitorovať a chápať dosahovaný pokrok. Vzhľadom na tvrdú a neobmedzenú konkurenciu medzi spoločnosťami a najmä medzi krajinami (čo Pakhockij výslovne nespomína, ale je to z kontextu jasné) a zvýšené schopnosti neurónových sietí vykonávať hackerské útoky, vyzýva, aby vývoj umelej inteligencie podliehal vládnej a medzinárodnej regulácii:

Škálovanie systémov umelej inteligencie by malo byť obmedzené našou dôverou v ich bezpečnosť. Musíme transformovať záväzky, ako je [OpenAI] Framework for Readiness alebo [navrhnutá konkurentmi na Anthropic] Responsible Scaling Policy, na široko akceptované bezpečnostné štandardy, ktoré sú povinné pre ďalší rozvoj. Ich dodržiavanie by mohla zabezpečiť sieť nezávislých audítorov, vládnych agentúr alebo medzinárodných organizácií.

Inými slovami, hlavný vedec OpenAI vyzýva na rozšírenie interných bezpečnostných postupov vyvinutých oboma americkými spoločnosťami na globálny úrovni, a to aj na ich čínskych konkurentov. Uisťuje, že OpenAI „bude naďalej hľadať technické riešenia na zabezpečenie zosúladenia a monitorovania“ a že spoločnosť v prípade potreby jednostranne pozastaví škálovanie modelu. „Verím však, že sú potrebné širšie intervenčné opatrenia,“ uzatvára Pakhotsky.

O umelej inteligencii, ktorá sa „pestuje, nie vytvára“

Pachotsky verí, že hlavnou hnacou silou vývoja umelej inteligencie v 21. storočí je bezprecedentný nárast dostupnej výpočtovej sily, vďaka ktorému sa primárnym spôsobom zlepšovania modelov stalo škálovanie procesu učenia, a nie architektonické alebo matematické objavy (tá istá myšlienka bola témou nedávneho prejavu bývalého Pakhotského školiteľa Ilju Sutskevera; verí však, že táto éra sa končí).

Práve škálovanie urobilo z kybernetiky experimentálnu vedu: „Venujeme značné úsilie vytváraniu algoritmov založených na princípoch a formulovaniu testovateľných hypotéz, ale v jadre sú naše rozsiahle cykly učenia experimentmi a ich výsledky nás niekedy prekvapujú,“ pripúšťa Pakhotsky. Aby sme naďalej chápali správanie modelov, musíme sa uchýliť k metódam a prístupom experimentálnej vedy:

Umelá inteligencia sa pestuje, nie vytvára – predovšetkým je výsledkom opakovaného opakovania jednoduchého optimalizačného kroku na značne rozšírenom množstve výpočtových zdrojov. Výsledkom je neuveriteľne zložitý systém, ktorý funguje na abstraktných konceptoch a je schopný simulovať určité aspekty ľudského správania. Môžeme odvodiť rôzne detaily o jemnozrnných mechanizmoch, ktoré sa v tomto systéme objavujú, čo je proces podobný neurovede – a rovnako ako v neurovede, jeho celkové fungovanie sa vymyká úplne zrozumiteľnému opisu.

Ako príklad toho, ako výskumníci v súčasnosti monitorujú výkon modelov, uvádza monitorovanie reťazca myšlienok. Ide o technológiu, ktorá umožňuje transformátorovým modelom, pôvodne navrhnutým jednoducho na predpovedanie ďalšieho slova v texte, riešiť zložitejšie problémy ich rozložením.

Modely „uvažovania“, ktoré sú v súčasnosti dostupné od OpenAI aj od jej konkurentov, sa nepokúšajú okamžite odpovedať na otázku používateľa (aj keď je problém takto formulovaný), ale namiesto toho generujú „uvažovanie o danej téme“. Toto samotné uvažovanie sa potom stáva súčasťou úlohy, ktorá sa zadáva transformátoru, čím sa hľadanie riešenia stáva iteratívnym procesom. Reťazec uvažovania generovaný modelom, hoci sa používateľovi zvyčajne nezobrazuje, sa používa na riadenie modelu. Napríklad, ak „dohliadajúci“ model zistí niečo, čo pravidlá vývojára zakazujú v uvažovaní hlavného modelu, takéto generovanie odpovede sa môže predčasne ukončiť alebo opraviť.

Pakhotsky píše, že rozhodnutie OpenAI nepoužívať reťazec uvažovania pri trénovaní a hodnotení modelov bolo kľúčové, pretože inak by tlak zložitej úlohy mohol prinútiť model pokúsiť sa skryť svoj skutočný reťazec uvažovania pred vývojármi. Ako je zrejmé z textu, Pakhotsky pochybuje, že konkurenční vývojári budú nasledovať tento príklad, a zdôrazňuje, že aj v tomto prípade bude kontrola reťazca uvažovania čoraz ťažšia. Je to spôsobené niekoľkými faktormi: nové modely budú schopné riešiť zložitejšie problémy okamžite, bez uvažovania a potenciálnej manipulácie zo strany modelu, ktorý by sa potom pokúsil vyhnúť dohľadu.

Je zaujímavé, že medzi dôvodmi zhoršujúcej sa kontroly Pakhotsky nespomína (aspoň explicitne) „rekurentnú hĺbku“ – technológiu, ktorá údajne pomáha GPT-6 Astra dosahovať lepšie výsledky opakovaným prepúšťaním výstupu modelu cez transformátor bez jeho prekladu do slov (tento prístup pripomína architektúru univerzálneho transformátora, ktorá bola koncipovaná už v roku 2018). The Information, ktorý písal o tejto funkcii Astry, poukázal na to, že „rekurentná hĺbka“ znižuje schopnosť dohliadajúcich modelov riadiť vykonávanie úloh – ale samotná OpenAI o tom nič nepovedala.

Jakub Pachocki (narodený v roku 1991) je poľský počítačový vedec a bývalý súťažný programátor. Je známy najmä ako hlavný vedec OpenAI a svojou úlohou pri dohľade nad vývojom GPT-4.