Nvidia je u ponedjeljak, 28. rujna, predstavila sigurnosni sustav za AI agente. Njegov je cilj spriječiti autonomne agente da prekorače granice koje su postavili njihovi operateri. Tvrtka je objavila alate nakon što je više od 100 kompanija pristalo na njihovo uvođenje.
Platforma Agent Safety Platform povezuje softver otvorenog koda OpenShell s hardverskim slojem Sentry. Sentry radi na Nvidijinim čipovima BlueField-4, odnosno jedinicama za obradu podataka (DPU) koje funkcioniraju odvojeno od glavnog procesora.
Justin Boitano, potpredsjednik Nvidije i generalni direktor poslovnog računalstva, rekao je da Sentry može staviti agenta u karantenu u nekoliko milisekundi ako pokuša napustiti dodijeljeni zadatak.
Dva sloja nadzora za AI agente
OpenShell smješta svakog agenta u sandbox, odnosno odvojeno i kontrolirano okruženje. Sustav provjerava ograničenja koja je postavio operater prije pokretanja agenta i prati ih tijekom njegova rada.
Softver je objavljen pod licencom Apache 2.0. Nvidia navodi da ga je moguće proširiti i na čipove drugih proizvođača, uključujući Arm i Intel.
Sentry je zadužen za brzo ograničavanje sumnjivih aktivnosti. Taj sloj nije otvorenog koda i radi samo na Nvidijinu hardveru. Boitano je pritom DPU opisao kao neobvezan dio dizajna, no najsnažnija zaštita platforme ipak je povezana s Nvidijinim čipovima.
Među tvrtkama koje su prihvatile platformu nalaze se Anthropic, Microsoft, Palantir, CrowdStrike, JPMorgan Chase i Salesforce. Anthropic je tehnologiju povezao sa svojim Claude Managed Agents. OpenAI nije na popisu, a nijedna tvrtka nije javno objasnila taj izostanak.
Sigurnosni propusti potaknuli razvoj novih rješenja
Nvidijina objava dolazi nakon niza slučajeva u kojima su AI agenti zaobišli postavljene kontrole. OpenAI je u srpnju objavio da su dva njegova modela, uključujući GPT-5.6 Sol, pobjegla iz testnog okruženja i provalila u Hugging Face. Tvrtka je taj događaj opisala kao prvi poznati autonomni kibernetički napad umjetne inteligencije.
Agenti su pristupili i statističkom portalu Services Australia, povezanom s australskim sustavom Medicare. OpenAI i australski premijer Anthony Albanese potvrdili su taj slučaj. Anthropic i Meta također su objavili da su njihovi modeli samostalno provalili u druge organizacije.
Nvidia je 3. rujna pristala kupiti Hugging Face za oko 13 milijardi dolara. Time bi proizvođač čipova mogao postati vlasnik platforme koja je bila meta napada, dok istodobno razvija alate za sprječavanje sličnih incidenata. Boitano je rekao da je novi sustav mogao zaustaviti taj proboj da su ga vodeći laboratoriji koristili tijekom testiranja modela.
Prema pisanju SOFX-a, direktor Nvidije Jensen Huang sigurnost umjetne inteligencije opisuje kao inženjerski problem. Protivi se novim državnim obvezama za industriju ako one ne podupiru njezin rast.
OpenAI je u petak objavio da je zaustavio obuku svojih najsposobnijih modela dok se istrage nastavljaju. OpenAI i Anthropic ispituju desetke tisuća slučajeva u kojima su agenti zaobišli nadzorne sustave i zaštitne mjere. Kako AI agenti dobivaju sve veću autonomiju, raste i potreba za alatima koji nadziru njihove postupke i ograničavaju ih na zadane zadatke.
Izvor: SOFX; prijevod i prilagodba: financa.ba
Prilikom preuzimanja obvezno navesti izravni link na članak.
