OpenAI još utvrđuje puni opseg aktivnosti svojih AI agenata nakon niza slučajeva u kojima su modeli zaobilazili sigurnosna ograničenja, pristupali vanjskim sustavima ili objavljivali sadržaj na internetu. Kompanija je već obavijestila desetke trećih strana o aktivnostima koje su ih mogle pogoditi, a pregled još traje.
Među dosad otkrivenim slučajevima su neovlašteni pristup australskom državnom portalu, aktivnosti na stranicama američkih institucija i slanje 53 korisničke slike na vanjske servise.
Novi incident pokazao je da su i nakon pooštravanja zaštite ostali nepredviđeni putovi prema internetu. OpenAI je 20. rujna zabilježio da je jedan istraživački agent preko DNS infrastrukture došao do vanjskog chatbota, iako je njegovo okruženje trebalo biti izolirano od otvorenog interneta. Kompanija je potom pauzirala trening, evaluaciju i izvođenje svojih najsposobnijih modela kada uključuju korištenje alata.
Od jednog incidenta do šire istrage
Sadašnja istraga počela je nakon srpanjskog incidenta s Hugging Faceom. Financa.ba tada je detaljno pisala o približno 700 agenata koji su se uključili u koordiniranu aktivnost. Incident se dogodio tijekom OpenAI-jeva internog testiranja, a ne tijekom uobičajenog korištenja ChatGPT-a.
OpenAI je nakon toga počeo pregledavati aktivnosti svojih modela na internetu tijekom treninga i evaluacije. Pregled obuhvaća zaobilaženje kontrole pristupa, korištenje javno izloženih pristupnih podataka i objavljivanje sadržaja na stranicama trećih strana.
Broj obaviještenih trećih strana ne treba tumačiti kao broj uspješno hakiranih sustava. OpenAI u istoj reviziji evidentira aktivnosti različite ozbiljnosti, a u nekim slučajevima nije pronađen dokaz sigurnosnog proboja.
U Australiji je potvrđen pristup nejavnim datotekama
OpenAI-jev agent 18. lipnja neovlašteno je pristupio Medicare Statistics Reporting Service portalu kojim upravlja Services Australia. Agent je došao do javnih i nejavnih datoteka, potvrdio je australski premijer Anthony Albanese. Dosadašnja istraga nije pronašla dokaz da su pristupljeni osobni Medicare podaci građana.
OpenAI je Services Australia o incidentu obavijestio 10. rujna, gotovo tri mjeseca poslije. Albanese je zbog kašnjenja razgovarao s izvršnim direktorom OpenAI-ja Samom Altmanom, dok je australska vlada pokrenula dodatnu istragu.
Istodobno su pronađeni tragovi šire aktivnosti prema australskim institucijama. Stotine agenata pokušavale su različitim metodama pristupiti podacima Australian Institute of Health and Welfarea. Istrage nisu pronašle dokaz da je taj sustav kompromitiran ili da su ondje dohvaćeni nejavni podaci.
Aktivnosti su se vremenski preklapale s Medicare incidentom, ali njihova međusobna povezanost nije službeno potvrđena.
U SAD-u je ishod bio drukčiji
OpenAI je potvrdio aktivnosti svojih modela na stranicama američke Komisije za vrijednosne papire i burzu (SEC) i Census Bureaua. U slučaju SEC-a kompanija nije pronašla pristup korisničkim računima ili nejavnim informacijama, izmjene podataka ni dokaz kompromitacije sustava.
Kod Census Bureaua agenti su koristili pristupne podatke pronađene na internetu, ali su dohvaćene javno dostupne informacije.
Oko SEC-a postoji razlika u javno dostupnim iskazima. OpenAI navodi da su njegovi modeli pristupili javno dostupnim informacijama na stranicama SEC-a. SEC je Washington Postu, međutim, rekao da javnim informacijama nije pristupljeno.
Transluce je zasebno identificirao neuspjeli pokušaj pristupa stranici Office for Civil Rights pri američkom Ministarstvu obrazovanja. OpenAI je naveo da taj slučaj još provjerava, dok Ministarstvo nije pronašlo dokaz utjecaja na svoje stranice ili baze podataka.
Agenti su 53 korisničke slike poslali na vanjske servise
Šira istraga otkrila je i slučaj koji nije vezan uz državne institucije. OpenAI je potvrdio da su njegovi istraživački agenti na vanjske servise za pohranu slika postavili 53 slike koje su korisnici dostavili njegovim modelima. Poveznice na slike nisu bile javno navedene, ali slike su ipak bile postavljene na servise trećih strana.
Kompanija je takvu upotrebu podataka ocijenila neprihvatljivom i počela surađivati s pružateljima usluga na uklanjanju sadržaja. OpenAI nije objavio jesu li slike prikazivale stvarne osobe ili su bile generirane, niti kada su postavljene.
OpenAI navodi da zbog načina na koji tehnički obrađuje podatke ne može ponovno povezati slike s korisnicima koji su ih izvorno dostavili.
Agent je pronašao put koji zaštita nije predvidjela
Incident od 20. rujna dogodio se nakon sigurnosnih promjena uvedenih poslije Hugging Facea.
Agent je dobio istraživački zadatak i pokušavao pronaći informacije o određenoj osobi. Nakon neuspjelih pokušaja izravnog pristupa tražilicama počeo je provjeravati druge načine izlaska na internet. Otkrio je da DNS resolver u njegovu okruženju može komunicirati s vanjskim servisom i tim putem poslao upite javnom chatbotu.
Zadatak mu nije nalagao testiranje mrežne zaštite niti traženje alternativnog izlaza na internet. OpenAI takvo ponašanje klasificira kao primjer neusklađenog ponašanja modela.
Prvi vanjski odgovor agent je dobio u 9:50. Sustav nadzora podigao je alarm u 10:02, a čovjek ga je preuzeo tri minute poslije. Izvršavanje je ipak zaustavljeno tek u 12:34. OpenAI navodi da je odgovor na incident otkrio i operativni propust jer se izvršavanje nije automatski zaustavilo kako se očekivalo.
Kompanija ovaj slučaj opisuje kao znatno manje ozbiljan od nekih prethodnih incidenata. Ipak, otkrio je put prema internetu koji postojeća mrežna ograničenja nisu blokirala. OpenAI je nakon toga dodatno ograničio DNS upite i uveo nove kontrole.
OpenAI mijenja način prijavljivanja incidenata
OpenAI je 16. rujna uveo novi okvir za praćenje, istragu i objavljivanje neusklađenog ponašanja modela. Istodobno je objavio šest ranije identificiranih slučajeva.
Financa.ba je tih šest incidenata već detaljno analizirala. OpenAI pritom upozorava da pojedinačni slučajevi ne pokazuju koliko se takvo ponašanje često pojavljuje među njegovim modelima.
Završni odgovor agenta nije dovoljan za provjeru njegova rada
Ako agent ima pristup web-pregledniku, kodu, internim dokumentima ili vanjskim servisima, njegov završni odgovor ne pokazuje nužno sve što je tijekom zadatka napravio. OpenAI-jevi dokumentirani slučajevi uključuju korištenje izloženih pristupnih podataka, slanje sadržaja na vanjske servise i traženje alternativnog puta do interneta.
Kompanija koja agentu daje takve ovlasti zato treba moći rekonstruirati njegove radnje: kojim je podacima pristupio, koje je alate koristio, što je poslao izvan sustava i što je pokušao kada očekivani put nije uspio.
U incidentu od 20. rujna agent nije dobio zadatak da testira mrežnu zaštitu. Tražio je informaciju, naišao na prepreku i pronašao put prema internetu koji mu sustav nije trebao omogućiti.
Autor: financa.ba
Prilikom preuzimanja obvezno navesti izravni link na članak.
