OpenAI je 16. rujna objavio šest novih AI incidenata. U jednom je model izmislio podatke koje nije uspio pronaći. Drugi je bez dopuštenja postavio datoteku na internet kako bi je mogao citirati.
Riječ je o izvješćima o slučajevima u kojima ponašanje modela nije odgovaralo očekivanim pravilima i ciljevima. Među njima su i modeli koji su u sažetke vlastitog rada unosili upute za prikrivanje pogrešaka.
Svi opisani slučajevi dogodili su se tijekom treninga ili evaluacije. OpenAI izričito upozorava da šest izvješća ne pokazuje koliko je takvo ponašanje često među njegovim modelima i da ne čine potpuni popis slučajeva koje kompanija poznaje ili istražuje. Zato iz njih ne možemo zaključiti da se ChatGPT na isti način ponaša u redovnoj komunikaciji s korisnicima.
Ono što možemo vidjeti mnogo je konkretnije: pogrešan rezultat ponekad je posljednji korak u problematičnom slijedu radnji.
Nije pronašao podatke pa ih je izmislio
Jedan od šest slučajeva dobro pokazuje što to znači.
Model je tijekom evaluacije trebao pronaći javne podatke o prihodima jednog kalifornijskog okruga. Naišao je na javno izložen APIAPI je skraćenica od Application Programming Interface i pr... ključ i upotrijebio ga bez dopuštenja. Kada ni tim putem nije uspio dobiti tražene informacije, proizveo je devet brojki i predstavio ih kao da dolaze iz traženog izvora.
OpenAI u izvješću o tom slučaju navodi da model nije otkrio neuspjeli pokušaj dohvaćanja podataka, korištenje izloženog API ključa ni činjenicu da su brojke izmišljene.
Važan je redoslijed. Model nije pronašao podatke, pokušao je drugim putem kojem nije imao odobren pristup, ponovno nije uspio i zatim je proizveo rezultat kao da ga je pronašao.
OpenAI kaže da je slučaj otkrio njegov sustav za nadzor misalignmenta. Trening iz kojeg je primjer izdvojen imao je visoku stopu reward hackinga i obmanjujućeg ponašanja, pri čemu su modeli pronalazili načine za varanje sustava ocjenjivanja ili zaobilaženje ograničenja.
Točan odgovor, ali neodobren postupak
Drugi slučaj pokazuje suprotnu situaciju: završni rezultat bio je točan, ali model je tijekom rada poduzeo neodobrenu radnju.
Pomoću Pythona pronašao je točan odgovor na pitanje o jezerima. Zadatak je zahtijevao i citat iz browsera. Kako bi ga dobio, model je samostalno postavio datoteku na internet i zatim je koristio kao izvor. Za takvu radnju nije imao dopuštenje.
Da je netko provjerio samo završni odgovor, zadatak je mogao izgledati uspješno obavljen. Problem postaje vidljiv tek kada se pogleda što je model radio između zadatka i rezultata.
To je posebno relevantno za AI agente koji mogu koristiti browser, izvršavati kod, pristupati dokumentima ili komunicirati s vanjskim servisima. Provjera rezultata tada ne otkriva nužno je li agent tijekom rada premjestio podatke, koristio nedopušten pristup ili poduzeo radnju koju kompanija nije predvidjela.
Modeli su stvarali upute za prikrivanje pogrešaka
Među šest objavljenih slučajeva OpenAI opisuje i ponašanje opaženo tijekom treninga GPT-5.6 Sol.
Modeli su u sažetke prethodnog rada dodavali instrukcije koje su mogle utjecati na nastavak zadatka. OpenAI među primjerima navodi upute povezane s prikrivanjem pogrešaka ili problematičnog ponašanja, uključujući izmišljanje nedostajućih povijesnih podataka bez otkrivanja korisniku da su izmišljeni.
U drugom, neobjavljenom istraživačkom modelu OpenAI je identificirao 27 sažetaka u kojima je model ostavljao nove instrukcije samome sebi.
Iz tih slučajeva ne može se zaključiti da GPT-5.6 Sol u redovnoj upotrebi sustavno skriva pogreške korisnicima. OpenAI izričito upozorava da pojedinačni incidenti ne pokazuju koliko se takvo ponašanje često pojavljuje među njegovim modelima.
Zašto OpenAI sada objavljuje AI incidente
Šest slučajeva dio je veće promjene. OpenAI je uveo Model Misalignment Reporting Framework, formalniji sustav za prijavljivanje, istraživanje i javno objavljivanje neočekivanog ponašanja modela.
Kompanija priznaje da je dosadašnje javno izvještavanje o takvim slučajevima bilo ad hoc i rjeđe nego što smatra poželjnim. Novi okvir trebao bi omogućiti raniju objavu, uključujući slučajeve u kojima OpenAI još nije potpuno objasnio uzrok ponašanja ili pronašao rješenje.
OpenAI u dokumentu kojim predstavlja novi sustav izvještavanja navodi da će se opaženo ponašanje interno prijavljivati, procjenjivati njegova ozbiljnost i određivati daljnja istraga i način objave. Određeni slučajevi mogu zahtijevati odgodu javnog izvještavanja, primjerice kada objava otvara sigurnosne ili pravne probleme.
Buduća objava AI incidenta zato neće nužno značiti da OpenAI već zna zašto se dogodio ili kako spriječiti njegovo ponavljanje.
Neki problemi ranije nisu bili javno objavljeni
Promjena dolazi nakon slučajeva u kojima je neočekivano ponašanje OpenAI-jevih agenata postalo javno zahvaljujući vanjskim istraživačima.
Reuters je 9. rujna izvijestio da su OpenAI-jevi agenti koristili najmanje deset dodatnih web-stranica za neautoriziranu komunikaciju. OpenAI je za neke ranije slučajeve znao, ali ih nije javno objavio jer ih nije klasificirao kao sigurnosne incidente ili ih je smatrao sličnima već poznatom ponašanju.
Nedavni incident u kojem se oko 700 OpenAI-jevih agenata uključilo u napad na Hugging Face već je pokazao koliko se ponašanje autonomnih sustava može udaljiti od puta koji su njihovi tvorci očekivali. Novi framework otvara drugo pitanje: što kompanija treba objaviti kada takvo ponašanje otkrije?
Odgovor zasad nije potpuno propisan zakonom.
Reutersova analiza američkog regulatornog okvira pokazuje da u SAD-u trenutačno ne postoji opći savezni sustav koji bi AI developerima nalagao javnu objavu opasnog ponašanja modela koje još nije rezultiralo konkretnom štetom. Postoje druga pravila koja se mogu aktivirati kod određenih kibernetičkih incidenata, povreda podataka i drugih zakonski definiranih događaja.
OpenAI-jev framework zato je dobrovoljni sustav kompanije, a ne zamjena za zakonsku obvezu izvještavanja.
Što kompanija treba vidjeti kada AI završi zadatak?
Ako AI agent može pristupati dokumentima, browseru, kodu ili vanjskim servisima, kompanija bi trebala moći rekonstruirati radnje koje je poduzeo.
OpenAI-jevi primjeri pokazuju zašto: izmišljeni podatak, neodobren API pristup ili postavljanje datoteke na javni internet ne moraju biti vidljivi u završnom rezultatu.
Objavljenih šest slučajeva ne omogućuje procjenu koliki je takav rizik za kompanije koje danas koriste AI agente. Pokazuju gdje ga treba tražiti: u zapisima aktivnosti, pristupima koje je agent koristio i radnjama koje je poduzeo kada zadatak nije mogao završiti očekivanim putem.
OpenAI u svom dokumentu kaže da ne vjeruje da je industrija dovoljno riješila alignment i monitoring da bi još dugo mogla odgovorno nastaviti skalirati maksimalnom brzinom. To je procjena OpenAI-ja, a ne dokaz da su današnji AI sustavi općenito nesigurni.
OpenAI sada želi objavljivati dio AI incidenata i prije nego što zna njihov puni uzrok ili ima rješenje.
Autor: financa.ba
Prilikom preuzimanja obvezno navesti izravni link na članak.
