Kompanije ubrzano uvode AI agente koji mogu izvršavati zadatke uz sve manje ljudske intervencije. Sustavi kojima bi ih trebale nadzirati ne razvijaju se istim tempom.
Samo 21 posto organizacija obuhvaćenih Deloitteovim istraživanjem navodi da ima zreo model upravljanja agentic AI-jem. Istodobno 74 posto ispitanika očekuje da će njihove kompanije do 2027. AI agente koristiti barem umjereno.
Deloitteovo istraživanje obuhvatilo je 3.235 poslovnih i IT lidera iz 24 zemlje, izravno uključenih u AI programe svojih organizacija. Uzorak zato ne predstavlja sve kompanije, ali pokazuje raskorak među organizacijama koje već rade s umjetnom inteligencijom: primjena agenata raste brže od sustava njihova upravljanja.
Za kompaniju je pitanje konkretno: što AI agent smije napraviti bez odobrenja čovjeka i može li se poslije pouzdano utvrditi što je napravio?
Schmidtovo upozorenje staro je dvije godine
Povod za novu raspravu posljednjih je dana dala izjava bivšeg izvršnog direktora Googlea Erica Schmidta. U medijima se ponovno pojavila njegova izjava o trenutku u kojem bi agente trebalo zaustaviti ako počnu komunicirati i djelovati na načine koje ljudi više ne razumiju.
Izjava je autentična, ali nije nova.
Schmidt ju je dao u intervjuu za Noema Magazine objavljenom 21. svibnja 2024. Govorio je o mogućnosti da veliki broj AI agenata počne surađivati te o pretpostavci da bi mogli razviti vlastiti način komunikacije. Granicu je postavio ondje gdje ljudi više ne razumiju što sustavi rade i u tom kontekstu upotrijebio izraz „pull the plug“.
Procijenio je i da bi svijet s agentima takvih sposobnosti mogao nastati unutar pet godina. To je bila Schmidtova procjena, a ne utvrđena prognoza.
International AI Safety Report 2026, pripremljen uz sudjelovanje više od 100 stručnjaka pod vodstvom Yoshue Bengija, zaključuje da sadašnji AI sustavi nemaju sposobnosti potrebne za scenarij stvarnog gubitka ljudske kontrole.
Koliko dugo agent može raditi samostalno
Prema International AI Safety Reportu 2026, duljina softverskih zadataka koje AI agent može završiti s 80-postotnom uspješnošću, mjerena vremenom potrebnim ljudskom stručnjaku za isti zadatak, posljednjih se godina približno udvostručavala svakih sedam mjeseci.
Taj rezultat ne treba automatski preslikavati na sve poslovne zadatke. Izvještaj upozorava da današnji agenti još griješe na duljim zadacima, mogu izgubiti trag vlastitog napretka i teško se prilagođavaju neočekivanim preprekama.
Za kompaniju rizik nastaje mnogo prije takvog scenarija. Agent ne mora djelovati izvan ljudske kontrole da bi njegova pogreška proizvela financijsku ili operativnu posljedicu. Dovoljno je da ima ovlast čijom uporabom može izazvati štetu.
International AI Safety Report među primjerima takvih ovlasti navodi izvršavanje koda, pokretanje financijskih transakcija i otvaranje online računa. Posebno izdvaja financijske usluge i upravljanje energijom kao područja u kojima posljedice autonomnog djelovanja mogu biti ozbiljnije.
Kada AI generira sadržaj koji zaposlenik pregledava prije uporabe, kontrola postoji prije radnje. Kod agenta koji radnju može izvršiti samostalno, ključno postaje što mu je unaprijed dopušteno.
Kompanije ubrzavaju, upravljanje zaostaje
Zreo model upravljanja počinje granicom ovlasti: što agent smije napraviti bez čovjeka. Deloitte među potrebnim kontrolama navodi praćenje njegova ponašanja i audit trail iz kojeg se njegove radnje mogu naknadno rekonstruirati.
Zbog toga pri odluci o uvođenju agenta nije dovoljno izračunati koliko će vremena uštedjeti. Važno je utvrditi koju ovlast dobiva zajedno sa zadatkom.
Jednaka razina autonomije nema jednaku posljedicu u svakom procesu. Pogreška u nacrtu poruke i pogrešno izvršena financijska transakcija nisu isti rizik.
Kada čovjek više ne odobrava svaki korak
Kada zaposlenik više ne odobrava svaku radnju, nego nadzire sustav koji ih izvršava samostalno, mijenja se njegova uloga.
Deloitte taj pomak opisuje kao prelazak s modela human-in-the-loop prema human-on-the-loop: čovjek sve manje potvrđuje pojedinačne korake, a sve više nadzire sustav koji ih izvršava.
Financa.ba je ranije analizirala eksperiment s više od 700 AI agenata i pitanje što se događa kada agenti dobiju veću autonomiju. Novi Deloitteovi podaci pokazuju drugu stranu istog problema: organizacije povećavaju primjenu agenata dok velik dio njih još nema zreo sustav upravljanja njihovim djelovanjem.
Schmidt je granicu postavio ondje gdje ljudi više ne razumiju što agenti rade. Za kompaniju problem nastupa mnogo ranije: kada agent dobije ovlast, a nakon pogreške više nije moguće pouzdano rekonstruirati što je napravio i zašto je to smio napraviti.
Granica kontrole zato se ne određuje sposobnostima agenta, nego ovlastima koje mu je kompanija spremna dati.
Autor: financa.ba
Prilikom preuzimanja obvezno navesti izravni link na članak.
