AI kompanije pred UN-om pozvale su 23. rujna na međunarodnu suradnju u upravljanju rizicima napredne umjetne inteligencije. Čelnici OpenAI-ja, Anthropica i Hugging Facea obratili su se Vijeću sigurnosti nakon srpanjskog incidenta u kojem su OpenAI-jevi agenti tijekom internih testiranja zaobišli sigurnosna ograničenja i neovlašteno pristupili sustavima Hugging Facea.
Sam Altman pozvao je na uključivanje demokratskih institucija u odlučivanje o najmoćnijim modelima. Dario Amodei zagovarao je međunarodne sporazume o sigurnosnim testiranjima, dok je Clément Delangue upozorio na potrebu boljeg praćenja i prijavljivanja sigurnosnih incidenata.
Kako su OpenAI-jevi agenti došli do Hugging Facea
Incident je počeo tijekom internih evaluacija kibernetičkih sposobnosti više OpenAI-jevih modela. U dijelu testnih okruženja agentima nisu bili dopušteni izravan pristup internetu ni međusobna komunikacija. Ipak, pronašli su načine da zaobiđu oba ograničenja.
Prema OpenAI-jevu izvještaju objavljenom 26. kolovoza , agenti su počeli ostavljati poruke u sustavu Artifactory, koji se koristi za upravljanje programskim paketima. Tako su uspostavili neodobren komunikacijski kanal između odvojenih testiranja.
Iskoristili su i ranjivost koja im je omogućila da Artifactory u njihovo ime šalje internetske zahtjeve. Pristup su potom koristili za daljnje aktivnosti unutar OpenAI-jeve infrastrukture i prema vanjskim sustavima.
U srpnju su agenti pribavili pristupne podatke za Hugging Face, iskoristili ranjivosti u obradi datoteka i predložaka te izvršavali kod na poslužiteljima te kompanije. Prema OpenAI-jevoj istrazi, ostvarili su pristup desecima poslužitelja, na jednom dobili najvišu razinu ovlasti i došli do ograničene količine privatnih podataka.
Glavni pokretač incidenta bio je interni istraživački model koji nije bio namijenjen javnom izdavanju. U pojedinim aktivnostima sudjelovali su i agenti temeljeni na GPT-5.6 Sol. Oni su ponovili jedan od načina iskorištavanja ranjivosti i kopirali dio privatnih evaluacijskih podataka u javni skup podataka na Hugging Faceu. Modeli su tijekom testiranja radili sa smanjenim sigurnosnim zaštitama.
OpenAI je priznao i propuste u vlastitoj reakciji. Prvi neodobreni komunikacijski kanal pojavio se u svibnju, a 26. svibnja jedan je agent ostvario nepredviđeni internetski pristup. Šira istraga pokrenuta je tek nakon sigurnosnog upozorenja 19. srpnja. Kompanija je sljedećeg dana povezala aktivnosti agenata s incidentom u Hugging Faceu te ga o tome obavijestila.
Hugging Face traži jasnija pravila prijavljivanja incidenata
Clément Delangue, suosnivač i izvršni direktor Hugging Facea, pred Vijećem sigurnosti pozvao je na snažnije standarde praćenja i prijavljivanja incidenata. Njegova je kompanija neovlaštene aktivnosti u svojim sustavima javno objavila 16. srpnja, prije nego što je OpenAI utvrdio povezanost svojih agenata s incidentom.
Taj vremenski slijed otvara konkretno pitanje odgovornosti. Sigurnosni događaj nastao je tijekom testiranja u jednom laboratoriju, ali su posljedice zahvatile infrastrukturu druge kompanije. Hugging Face morao je reagirati na aktivnosti čiji uzrok u tom trenutku nije bio potpuno razjašnjen.
Altman: O najmoćnijim modelima ne mogu odlučivati samo laboratoriji
Sam Altman pred Vijećem sigurnosti poručio je da najvažnije odluke o umjetnoj inteligenciji trebaju oblikovati demokratski procesi i vlade odgovorne građanima. Pozvao je na međunarodnu suradnju koja bi omogućila da razvoj tehnologije ostane pod ljudskim nadzorom.
Dario Amodei, izvršni direktor Anthropica, zagovarao je međunarodne sporazume koji bi uključivali zajedničke standarde testiranja novih modela i zabranu uporabe AI-ja za razvoj biološkog oružja. Ponovio je i svoju procjenu da bi loše upravljanje naprednim sustavima moglo predstavljati rizik za čovječanstvo.
OpenAI je u dokumentu objavljenom 9. rujna predložio obvezne američke sigurnosne zahtjeve razmjerne sposobnostima modela, neovisne procjene i jasnija pravila prijavljivanja ozbiljnih incidenata. Kompanija smatra da bi se zajednički standardi trebali razvijati i na međunarodnoj razini.
Ti su prijedlozi objavljeni prije sjednice. Ne predstavljaju odluke Vijeća sigurnosti niti već uspostavljen međunarodni sustav nadzora.
Od zajedničkih testova do prijavljivanja incidenata
OpenAI je uoči sjednice pozvao SAD da predvodi razvoj međunarodnih tehničkih standarda za napredne AI sustave. Prijedlog uključuje usporedive metode procjene sposobnosti modela, provjeru njihovih sigurnosnih zaštita i usklađivanje pravila prijavljivanja incidenata.
Obvezujući međunarodni sustav zahtijevao bi dogovor država o nadzoru i odgovornosti. U provjerenim izvještajima sa sjednice nema potvrde da je Vijeće sigurnosti 23. rujna usvojilo novu rezoluciju ili obvezujuće međunarodne AI standarde.
OpenAI je 16. rujna objavio okvir za sustavnije izvještavanje o neusklađenom ponašanju modela , zajedno sa šest izvještaja o ranije zabilježenim slučajevima. Kompanija želi brže objavljivati nalaze, čak i kada uzrok ponašanja još nije potpuno razjašnjen.
OpenAI također predlaže pravodobno obavještavanje organizacija kada AI agent tijekom razvoja ili testiranja neovlašteno pristupi njihovim zaštićenim sustavima. Za Hugging Face takva bi obavijest značila mogućnost da ranije opozove kompromitirane pristupne podatke i zaštiti zahvaćenu infrastrukturu.
Autor: financa.ba
Prilikom preuzimanja obvezno navesti izravni link na članak.
