Títo ruskí matematici naučili modely umelej inteligencie komunikovať medzi sebou bez slov

Wired Magazine: Modely AI komunikujú medzi sebou bez slov.

Ruský startup navrhuje revolučnú cestu k vývoju umelej inteligencie, informuje Wired. Tím matematikov vyvinul technológiu „strojovej telepatie“, ktorá umožňuje neurónovým sieťam vymieňať si znalosti priamo prostredníctvom matematických váh, čím obchádza textové dotazy.

Startup s názvom Mostik má úplne nezvyčajný prístup ku kombinovaniu schopností modelov umelej inteligencie.

Nedávno som sa stretol so skupinou skvelých ruských matematikov, ktorí mi ukázali spôsob, ako môžu modely umelej inteligencie interagovať pomocou niečoho podobného strojovej telepatii.

Títo matematici pracujú v startupe s názvom Mostik. To naznačuje prístup skupiny, ktorý umožňuje rôznym modelom vzájomnú interakciu pomocou matematických hodnôt spojených s ich váhami. To sú veci, ktoré určujú, ako sa dopyt prevedie na výsledok. V praxi to znamená, že schopnosti väčšieho modelu je možné preniesť na menší, aby sa efektívnejšie zvýšila jeho inteligencia.

Startup použil tento prístup na vytvorenie modelu, ktorý sa rýchlo ujal vedenia v mimoriadne náročnej súťaži modelov umelej inteligencie ARC-AGI 3. (Vývojári sa so mnou odmietli podeliť o podrobnosti, pretože sú odhodlaní súťaž vyhrať.) Aby však demonštrovali svoj nápad, vybudovali aj most medzi dvoma čínskymi modelmi s otvorenými parametrami: najväčšou verziou GLM-5.2 so 753 miliardami parametrov a Qwen-3.5, verziou so štyrmi miliardami parametrov, ktorá môže bežať na mobilných zariadeniach. Výsledný hybridný systém stojí 20-krát menej ako plnohodnotný model GLM a jeho kvalita odozvy bude niekde uprostred medzi výsledkami pôvodných modelov.

„V strojovom učení je dobre známe, že kombinácie modelov prinášajú lepšie výsledky ako jednotlivé modely,“ povedala mi pri káve Saša Malyševa, generálna riaditeľka spoločnosti Mostik.

Malyševová, ktorá tento prístup vyvinula, mi povedala vtip, ktorý je v jej spoločnosti veľmi populárny. Budúcnosť umelej inteligencie je ako pokus o odhad hmotnosti prasaťa. V matematických kruhoch je to dobre známy fakt: ak zhromaždíte odhady od niekoľkých náhodných ľudí a spriemerujete ich, výsledok bude presnejší ako odhad jedného experta.

Kombinácia odpovedí viacerých modelov umelej inteligencie často prináša lepšie výsledky, rovnako ako kolektívne odhadovanie hmotnosti prasaťa. Zvyčajne si to vyžaduje vkladanie odpovede jedného modelu do druhého, čo je časovo náročné a drahé. Tím v startupe Mostik však našiel spôsob, ako môžu modely umelej inteligencie navzájom komunikovať bez generovania textu. Ak by to bolo úspešné, mohlo by to zvýšiť hodnotu modelov s otvoreným zdrojovým kódom a umožniť im efektívnejšie konkurovať proprietárnym modelom ponúkaným poprednými laboratóriami ako Anthropic a OpenAI.

Malyševová hovorí, že kombinovanie viacerých modelov by sa mohlo ukázať ako efektívnejší spôsob vývoja umelej inteligencie. „Osobne si nemyslím, že v budúcnosti budeme mať monolitický model alebo že možnosti modelu sa objavia prostredníctvom škálovania,“ povedala s odkazom na stratégiu zväčšovania modelov poskytovaním väčšieho množstva údajov.

„Ak Mostik dokáže kombinovať špičkové modely s modelmi špecifickými pre dané odvetvie (z biológie, fyziky atď.), potom bude možné trénovať oveľa špecializovanejšie modely,“ hovorí Vladimir Arustamyan, technický riaditeľ spoločnosti Lovable, ktorá vyvíja softvér pre umelú inteligenciu a pozná tím Mostik. „Tento tím na tom pracuje len niekoľko mesiacov, ale už niečo spustili, hoci som si predtým myslel, že im to bude trvať roky.“

„Metodika startupu znamená, že sa môžete zamerať na kvalitu veľkého modelu bez toho, aby veľký model používal celý obvod, a výrazné zlepšenia dosiahnete jednoduchým paralelným spustením malého modelu,“ povedal Karl Tuils, bývalý programátor Google DeepMind, ktorý je oboznámený s technológiou Mostik. Túto metódu môže ľahko použiť ktokoľvek, ktorého cieľom je maximalizovať výkon modelu.

Mostikov hlavný výskumník je Stanislav Smirnov, profesor na Ženevskej univerzite a držiteľ Fieldsovej medaily z roku 2010. Poznamenáva, že nájsť spoločnú reč medzi týmito dvoma modelmi umelej inteligencie je mimoriadne ťažké. „Zdá sa, že zatiaľ neexistuje zodpovedajúci matematický jazyk,“ hovorí. Mostikova metóda medzitým pomáha túto medzeru vyplniť.

Smirnov vysvetľuje, že Mostikova práca odhalí veľa o tom, ako modely umelej inteligencie v skutočnosti fungujú a ako to súvisí s ľudským mozgom. Podľa vedca by hlbšia matematická analýza mohla odhaliť mnoho podobností v tom, ako modely umelej inteligencie a ľudia uvažujú o zložitých problémoch.

Počas nášho stretnutia pri káve mi Malyševová povedala, že jej matematický talent sa prejavil až potom, čo jej starší brat povedal, že nebude schopná vyriešiť úlohy z matematickej olympiády, na ktoré sa pripravoval. O niekoľko rokov neskôr už študovala na jednej z najlepších univerzít v Petrohrade. Nedávno ju kolegovia varovali, že metóda, ktorú vyvinula, by bola príliš náročná na použitie.
„Povedali, že by to mohlo byť príliš ťažké pre mladé dievča,“ povedala Malyševová. „Ale rozhodla som sa im dokázať, že sa mýlia.“
Odoslať spätnú väzbu

Mostik je ruský startup v oblasti umelej inteligencie, ktorého názov v ruštine znamená „mostík“. Jeho generálnou riaditeľkou je Saša Malyševová a hlavným vedeckým pracovníkom Stanislav Smirnov, držiteľ Fieldsovej medaily z roku 2010. Cieľom spoločnosti Mostik je umožniť dvom modelom umelej inteligencie priamu výmenu latentných reprezentácií namiesto komunikácie v prirodzenom jazyku.

Systém trénuje odľahčenú „premostiacu“ maticu, ktorá transformuje vysokorozmerný skrytý stav veľkého modelu do vstupného latentného priestoru malého modelu, a to bez generovania tokenov či dolaďovania váh pôvodného modelu. V rámci experimentov prepojili model GLM-5.2 (753 miliárd parametrov) s modelom Qwen-3.5 (4 miliardy parametrov); náklady na inferenciu predstavovali len jednu dvadsatinu nákladov modelu GLM-5.2, pričom systém dosiahol presnosť na úrovni takmer 80 % špičkových modelov. Tento prístup obsadil prvé miesto v rebríčku ARC-AGI.