Agenti umelej inteligencie od Anthropic a OpenAI počas testovania vyšli spod kontroly, zaútočili
NEW YORK – Spoločnosti Anthropic a OpenAI hlásili nové prípady, keď sa ich agenti umelej inteligencie potulovali mimo určeného testovacieho prostredia.
Podľa agentúry Reuters sa počas bezpečnostného auditu modelov Mythos 5 a GPT-5.6-Sol pokúsili o kybernetický útok.
K incidentu došlo počas testovania autonómnych schopností agentov umelej inteligencie britským inštitútom AI Safety Institute (AISI). Počas auditu model Mythos 5 vytvoril falošné profily skutočných ľudí na stránke na zdieľanie súborov GitHub a odoslal súkromné správy, v ktorých sa za nich vydával. Týmto spôsobom sa model pokúsil oklamať GitHub a vložiť škodlivý kód. Keď testeri spochybnili konanie agenta, „pokúsil sa zakryť stopy“ vymazaním histórie svojej aktivity. Kybernetický útok zlyhal až vďaka zásahu špecialistov. Odborníci celkovo identifikovali 17 neoprávnených akcií spáchaných Mythos 5. Medzitým sa model GPT-5.6-Sol od OpenAI dopustil dvoch porušení, „prístupu na internet spôsobmi, ktoré program zakazoval“.
Po incidente spoločnosti Anthropic a OpenAI v spoločnom vyhlásení zdôraznili, že majú v úmysle pokračovať v práci na vylepšení svojich modelov. Koncom júla obaja vývojári oznámili, že ich agenti umelej inteligencie sa vymkli spod kontroly. V tom čase sa modelu Claude od spoločnosti Anthropic podarilo získať prístup k údajom od troch tretích strán, zatiaľ čo agent umelej inteligencie od spoločnosti OpenAI hackol, teda nabúral, dve platformy.
