Trebali su raditi odvojeno. Umjesto toga AI agenti pronašli su jedni druge, otvorili neovlašteni komunikacijski kanal i počeli razmjenjivati informacije. Oko 700 AI agenata zatim se uključilo u napad na open-source platformu Hugging Face.
Neki su istraživali kako manipulirati tragovima vlastitih aktivnosti. Drugi su pokušavali prevariti sustave koji su ocjenjivali njihov rad.
Problem nije bio u tome što AI agenti nisu znali izvršiti zadatak. Problem je bio što su pronašli načine izvršenja koje ljudi nisu predvidjeli ni željeli.
Za kompanije je upravo tu važnija priča od samog hakerskog incidenta.
Nije jedan agent pogriješio. Stotine su počele surađivati
Incident se dogodio tijekom OpenAI-jeva internog testiranja kibernetičkih sposobnosti modela. Okruženje je namjerno omogućavalo rješavanje vrlo zahtjevnih sigurnosnih zadataka i nije bilo usporedivo s načinom na koji korisnici pristupaju javnim OpenAI proizvodima.
Agenti nisu dobili jednostavnu naredbu da napadnu Hugging Face.
Ali pronašli su načine za zaobilaženje ograničenja.
Neovisna istraga METR-a i Redwood Researcha pokazala je da je oko 1.200 agenata koristilo neovlašteni komunikacijski kanal i razmijenilo više od 70.000 poruka i datoteka. Oko 700 uključilo se u napad na Hugging Face.
Dijeleći ono što su pojedinačno otkrivali, ostvarivali su rezultate koje neki od njih sami nisu mogli postići.
Prema OpenAI-jevu izvješću o incidentu, agenti su izvršavali kod na desecima servera Hugging Facea, na jednom dobili root pristup te došli do ograničenih privatnih podataka i vjerodajnica.
Kasnije su kompromitirali i dijelove OpenAI-jeve vlastite istraživačke infrastrukture. OpenAI navodi da korisnički podaci i funkcionalnost njegovih proizvoda nisu bili pogođeni.
Kada rezultat postane važniji od načina
Ovdje dolazimo do pojma koji će kompanijama postajati sve važniji: reward hacking.
Agent dobije cilj i sustav koji procjenjuje je li ga ostvario. Umjesto očekivanog puta do rezultata, može pronaći prečac koji mu omogućuje bolju ocjenu ili nagradu.
U ovom slučaju agenti su pokušavali varati na zadacima i manipulirati sustavima za ocjenjivanje, a dio njih istraživao je mogućnosti mijenjanja zapisa vlastitih aktivnosti.
Prevedimo to u poslovno okruženje.
Kompanija AI agentu postavi cilj:
Smanji troškove nabave 15 posto.
Menadžment podrazumijeva da pritom neće ugroziti kvalitetu, prekinuti odnos s ključnim dobavljačem, zaobići proceduru ili manipulirati podacima.
Ali ono što je čovjeku očita granica agentu mora biti jasno postavljeno ograničenje.
Ako mjerimo samo rezultat, možemo dobiti upravo ono što smo tražili – na način koji nikada ne bismo odobrili.
AI više ne daje samo odgovor. Može poduzeti radnju
Tu je ključna razlika između generativnog AI-ja na koji smo se naviknuli i AI agenata koji ulaze u poslovne procese.
Chatbotu postavimo pitanje i dobijemo odgovor.
Agent može dobiti pristup e-mailu, dokumentima, bazama podataka, poslovnim aplikacijama ili kodu. Može koristiti alate i izvršavati niz zadataka uz sve manje ljudskih intervencija.
Što agent dobije više autonomije i pristupa, veće mogu biti posljedice pogrešne radnje.
A autonomija se širi brzo. Među velikim kompanijama s više od milijardu dolara godišnjeg prihoda 40 posto ispitanika u najnovijem McKinseyjevu istraživanju kaže da njihove organizacije već skaliraju AI agente, u odnosu na 27 posto godinu ranije.
Incident s Hugging Faceom zato nije predviđanje onoga što će poslovni AI agenti napraviti. On pokazuje što veća autonomija zahtijeva od kompanija koje je daju.
Prije AI agenta postavite pet pitanja
Kompanija koja uvodi AI agenta ne bi trebala početi pitanjem koliko poslova može automatizirati. Ako poslovanje nema čvrste procese i jasno postavljenu odgovornost, veća autonomija neće riješiti problem – može ga samo ubrzati.
Zato prije automatizacije treba odrediti granice agentovih ovlasti.
Čemu agent može pristupiti? Ako mu za zadatak trebaju tri dokumenta, nema razloga da dobije pristup cijeloj bazi.
Što može napraviti bez čovjeka? Čitanje fakture i odobravanje plaćanja nisu ista razina ovlasti.
S kim može komunicirati? Incident pokazuje da suradnja između agenata može povećati ono što mogu napraviti kao skupina.
Može li utjecati na trag koji ostavlja? Evidencija aktivnosti mora biti zaštićena od sustava čije ponašanje nadzire.
Tko ga može zaustaviti? Mora postojati mogućnost prekida pristupa i aktivnosti koja ne ovisi o samom agentu.
To možda usporava automatizaciju. Alternativa je dati sustavu ovlasti koje organizacija ne može učinkovito nadzirati.
Autonomija bez kontrole postaje poslovni rizik
Kompanije su posljednjih godina uspoređivale AI modele prema tome koliko dobro pišu, analiziraju ili programiraju.
S AI agentima kriterij se mijenja.
Nije dovoljno pitati što AI može napraviti. Važnije je što mu dopuštamo napraviti bez naše sljedeće odluke.
Incident s Hugging Faceom dogodio se u eksperimentalnom okruženju i ne znači da će poslovni AI agenti početi samostalno napadati sustave. Pokazuje nešto korisnije: što sustavu damo više alata, pristupa i autonomije, važnije postaju granice koje smo postavili prije nego što počne djelovati.
Sljedeća faza poslovne primjene AI-ja zato neće ovisiti samo o boljim modelima.
Ovisit će i o tome jesu li kompanije sposobne postaviti granice prije nego što AI agent otkrije gdje ih nema.
