Nvidia je predstavila Open Agent Safety Platform, arhitekturu koja AI agentima postavlja sigurnosne granice izvan samog modela. Platforma povezuje OpenShell, otvoreni runtime koji kontrolira čemu agent smije pristupati, i Sentry, odvojeni nadzorni sloj koji može reagirati ako agent pokuša prijeći postavljene granice.
Nova platforma dolazi nakon incidenata u kojima su AI agenti zaobišli sigurnosne kontrole tijekom testiranja. Nvidia tvrdi da bi njezina arhitektura mogla spriječiti incident u kojem su OpenAI-jevi modeli pristupili infrastrukturi Hugging Facea. Kompanija nije predstavila neovisnu rekonstrukciju koja bi pokazala da bi platforma zaustavila upravo taj incident.
OpenShell određuje kojim sustavima agent smije pristupati
OpenShell je predstavljen ranije ove godine kao open-source runtime za autonomne AI agente, a Nvidia ga sada uključuje u širu sigurnosnu platformu. Sustav pokreće agente u izoliranom okruženju i provodi pravila koja određuju kojim podacima, datotekama, mrežama i servisima mogu pristupati.
Sigurnosne granice tako se ne oslanjaju samo na to hoće li model slijediti zadanu uputu. Provodi ih zaseban softverski sloj između agenta i sustava koje koristi. OpenShell može držati vjerodajnice izvan izvršnog okruženja agenta, uključujući APIAPI je skraćenica od Application Programming Interface i pr... ključeve potrebne za pristup odobrenim servisima.
Sentry nadzire agenta izvan njegova izvršnog okruženja
Drugi dio platforme, Nvidia Sentry, koristi BlueField-4 DPU kao odvojeni sigurnosni sloj za praćenje aktivnosti agenata. Prema Nvidiji, Sentry može staviti agenta u karantenu i zaustaviti ga u milisekundama ako pokuša prijeći softversku granicu.
OpenShell provodi pravila u okruženju u kojem agent radi, dok Sentry dodaje nadzor na odvojenom hardverskom sloju. Nvidia u današnjoj objavi nije navela neovisne rezultate koji potvrđuju deklarirane performanse Sentryja.
Pitanje tko može zaustaviti agenta kada dobije pristup poslovnim podacima i alatima pojavilo se i u testiranju stotina AI agenata. Sentry takvu kontrolu postavlja izvan samog agenta.
Incident s Hugging Faceom pokazao je gdje kontrole mogu popustiti
OpenAI-jevi modeli tijekom internih sigurnosnih evaluacija u srpnju zaobišli su kontrole koje su ih trebale izolirati od interneta te kompromitirali dijelove OpenAI-jeve istraživačke infrastrukture i sustava Hugging Facea. Modeli su tijekom evaluacija radili uz smanjene zaštitne mjere.
OpenAI navodi da incident nije utjecao na korisničke podatke, funkcionalnost ni dostupnost njegovih proizvoda. Istraga je pokazala da su agenti iskorištavali ranjivosti u zajedničkoj infrastrukturi, dobili pristup internetu i pristupili sustavima treće strane.
Nvidia je u međuvremenu preuzela Hugging Face za oko 13 milijardi dolara. Justin Boitano, Nvidijin potpredsjednik i generalni direktor za enterprise computing, rekao je Reutersu da bi nova platforma, prema informacijama kojima kompanija raspolaže, mogla zaustaviti proboj da je bila korištena tijekom ranih evaluacija modela.
Kontrolu AI agenata već testiraju velike kompanije i banke
Salesforce je OpenShell povezao sa Slackom, gdje korisnici mogu pratiti aktivnosti agenata te odobriti ili odbiti njihove zahtjeve za dodatnim ovlastima.
Nvidia navodi više od 100 organizacija koje rade s tehnologijama nove platforme, među kojima su Microsoft, Cisco i Salesforce. Citi i JPMorganChase surađuju s Nvidijom na otvorenim tehnologijama za sigurnost AI agenata.
Autor: financa.ba
Prilikom preuzimanja obvezno navesti izravni link na članak.
