Asociácie a hlboké učenie, umelá inteligencia. Prečo bola dnes udelená Nobelova cena za fyziku?

John Hopfield a Geoffrey Hinton získali Nobelovu cenu za fyziku. Ich objavy viedli k vytvoreniu metódy strojového učenia pomocou neurónových sietí – základu modernej AI.

Nobelova komisia udelila cenu za fyziku 8. októbra . Jej laureátmi sa stali John J. Hopfield z Princeton University v USA a Geoffrey E. Hinton z University of Toronto v Kanade. Vedci boli ocenení za ich prínos k „zakladajúcim objavom a vynálezom umožňujúcim strojové učenie pomocou umelých neurónových sietí“. Obaja laureáti sa zaoberali štatistickou fyzikou a ich dlhodobá práca viedla k vzniku neurónových sietí. „Aj keď počítače nedokážu myslieť, teraz dokážu simulovať funkcie, ako je pamäť a učenie. Tohtoroční laureáti fyziky to umožnili,“ uviedol vo vyhlásení Nobelov výbor.

 

Strojové učenie a mozog

Už v roku 1943 neurovedec Warren McCulloch a matematik Walter Pitts navrhli model interakcie neurónov v mozgu. V ňom neurón vytvoril vážený súčet binárnych signálov prichádzajúcich zo susedných, ktorý bol definovaný ako výstupný signál. Ich práca sa stala štartovacím bodom pre ďalší výskum umelých neurónových sietí. Ďalší príspevok pochádza od psychológa Donalda Hebba. V roku 1949 navrhol mechanizmus učenia a pamäte, v ktorom súčasná a opakovaná aktivácia dvoch neurónov vedie k posilneniu spojenia medzi nimi. Práve tieto dve práce povzbudili ďalších výskumníkov, aby aplikovali koncepty z biológie na vývoj metód strojového učenia.

Strojové učenie je metóda umelej inteligencie, ktorej princípom je vytváranie počítačov a programov, ktoré dokážu myslieť ako ľudia. Na rozdiel od ľudského mozgu vám však táto metóda umožňuje spracovať obrovské množstvo údajov, aby ste v nich našli vzory a robili predpovede. Aplikácie strojového učenia sa generujú pomocou zložitého algoritmu alebo zdrojového kódu vloženého do stroja alebo počítača. Tento softvérový kód vytvára model, ktorý identifikuje údaje a na základe nich vytvára predpovede. Model používa parametre zabudované do algoritmu na generovanie vzorov v rozhodovacom procese. Keď sú k dispozícii nové alebo dodatočné údaje, algoritmus automaticky upraví parametre. Samotný model by sa však meniť nemal.

Neurónové siete typom strojového učenia, kedy počítačový program napodobňuje fungovanie ľudského mozgu. Tak ako si neuróny v mozgu navzájom prenášajú signály, výpočtové prvky si vymieňajú informácie v neurónovej sieti.

Týmto spôsobom umelé neuróny napodobňujú prácu ľudských neurónov a interagujú pri riešení problému.

Dôležitým parametrom každej neurónovej siete sú váhy alebo hodnoty, ktoré odrážajú dôležitosť spojení medzi určitými neurónmi. Pred trénovaním neurónovej siete sú tieto váhy spočiatku nastavené na náhodné hodnoty, ale počas procesu sa priebežne upravujú, kým trénovacie údaje konzistentne neprodukujú rovnaké výsledky.

Asociačná pamäť strojov

V roku 1980 Hopfield opustil štúdium fyziky na Princetonskej univerzite a prijal ponuku stať sa profesorom chémie a biológie na California Institute of Technology v Kalifornii. Tam v roku 1982 vytvoril prvú asociatívnu neurónovú sieť, ktorá funguje podobne ako ľudská asociatívna pamäť. Využil vlastnosť pamäte, ktorá umožňuje ľuďom dotvárať obrázky, keď je o nich nedostatok údajov vďaka asociáciám. V podstate je to model, ktorý ukladá a je schopný znovu vytvárať obrázky a iné typy vzorov. Hopfield vychádzal z teórie učenia sa neurovedca Donalda Hebba, že spojenia medzi neurónmi sa posilňujú, keď spolupracujú.

Hopfield opísal model pamäte s adresovateľným obsahom, ktorý pristupuje k svojmu obsahu pomocou algoritmu asynchrónneho paralelného spracovania. Využíval svoje znalosti fyziky, najmä magnetických materiálov. Majú špeciálne vlastnosti vďaka svojmu atómovému spinu, čo je vlastnosť, vďaka ktorej je každý atóm malým magnetom. Rotácie susedných atómov sa navzájom ovplyvňujú, čo im umožňuje otáčať sa rovnakým smerom.

Sieť postavená Hopfieldom pozostáva z uzlov s pripojeniami (váhmi) rôznych typov. Každý uzol môže uložiť individuálnu hodnotu – buď 0 alebo 1, ako sú pixely v čiernobielom obrázku. Učí sa postupným výpočtom hodnôt váh, aby sa dostal do rovnovážneho stavu. Táto hodnota je určená určitým ekvivalentom fyzickej „energie“, ktorá závisí od všetkých váh v systéme. Sieť sa učí nájdením minimálnej „energie“, pri ktorej si „pamätá“ určitý vzorec. Ak sa táto hodnota zníži pri prechode uzlom, potom sa čierny pixel zmení na biely alebo naopak. Keď bol cieľ dosiahnutý, sieť reprodukovala pôvodný obrázok, na ktorom bola natrénovaná. Ak je obraz mierne skreslený a privádzaný do sieťového vstupu, obnoví sa tiež.

Takáto neurónová sieť môže byť klasifikovaná ako autoasociatívna pamäť, teda taká, ktorá dokáže doplniť alebo opraviť obraz, ale nedokáže ho spojiť s iným.

Je tiež schopný zovšeobecňovať, rozpoznávať podobné obrázky, kategorizovať ich a opravovať chyby.

V súčasnosti sú Hopfieldove neurónové siete klasifikované ako rekurentné neurónové siete, ktoré presmerujú informácie tam a späť cez vrstvy, až kým nedosiahnu konečný výsledok. Tento typ neurónových sietí sa zvyčajne používa na predikciu, rozpoznávanie vzorov a kompresiu údajov.

Pozornosť na detail

Keď Hopfield publikoval svoj článok o asociatívnej pamäti, Geoffrey Hinton pracoval na Carnegie Mellon University v Pittsburghu. Predtým študoval experimentálnu psychológiu a premýšľal, či sa stroje dokážu naučiť hľadať vzory podobným spôsobom ako ľudia. Hinton sa rozhodol použiť Hopfieldovu sieť ako základ pre novú neurónovú sieť pomocou inej metódy: Boltzmannov stroj. To by mu umožnilo autonómne nájsť vlastnosti v údajoch a vykonávať úlohy, ako je identifikácia konkrétnych prvkov v obrázkoch. Hinton použil nástroje štatistickej fyziky. Opisuje systémy pozostávajúce z mnohých rovnakých prvkov, ako sú molekuly plynu.

Nemožno ich sledovať jednotlivo, ale možno ich prezerať spoločne a určiť všeobecné vlastnosti plynu, ako je tlak alebo teplota.

Metódu „Boltzmannovho stroja“ opísal rakúsky fyzik Ludwig Boltzmann už v 19. storočí. Je schopný predpovedať najpravdepodobnejšie fyzikálne stavy systému. V podstate ide o rekurentnú neurónovú sieť, ktorá spracováva viditeľné a skryté uzly neurónovej siete, fungujúce ako váhy a určuje pravdepodobnosti hodnôt, pri ktorých sa štruktúra uzlov môže meniť, ale vlastnosti siete zostanú zachované. rovnaký. Boltzmannov stroj sa môže učiť nie z pokynov, ale z príkladov aktualizáciou hodnôt v uzloch. Trénovaný stroj je schopný rozpoznať známe vzorce v nových informáciách, ak patria do kategórie, ktorú sa už naučil.

Hinton a jeho kolegovia vyvinuli metódu na predbežné trénovanie neurónovej siete pomocou série Boltzmannových strojov vo vrstvách, jeden na druhom. Použil obmedzené Boltzmannove stroje, v ktorých neexistujú žiadne spojenia medzi uzlami v rovnakej vrstve. Po naučení prvého sa obsah skrytých uzlov použije na vstup do ďalšieho. To umožnilo trénovať neurónovú sieť na rozpoznávanie prvkov na obrázkoch. V roku 2012 vyhral Hintonov tím súťaž ImageNet, ktorá vyzvala účastníkov, aby vytvorili systémy počítačového videnia schopné rozpoznať 1000 objektov, od zvierat cez krajinu až po ľudí.

Hinton tak položil základ pre hlboké učenie sa neurónových sietí zvýšením počtu skrytých vrstiev v nich. Hlboké učenie vám umožňuje vytvárať komplexnejšie systémy AI schopné riešiť rôzne problémy – strojový preklad, počítačové videnie, syntézu a rozpoznávanie reči.