Algoritam prepozna problem, račun se deaktivira, a vozač ostaje bez pristupa platformi preko koje zarađuje. Upravo je takav način automatiziranog odlučivanja Uberu donio jednu od najvećih GDPR kazni u povijesti Europe.
Kako piše Reuters, nizozemski regulator za zaštitu podataka kaznio je Uber s 825 milijuna eura zbog načina na koji je automatiziranim sustavima deaktivirao račune vozača, a da ih pritom nije dovoljno informirao i zaštitio njihovo pravo na osporavanje takvih odluka.
Bude li potvrđena, riječ je o drugoj najvećoj kazni izrečenoj prema GDPR-u, iza 1,2 milijarde eura koliko je irski regulator 2023. izrekao Meti.
Uber se s odlukom ne slaže i najavio je žalbu.
Kada algoritam počne odlučivati o poslu
Slučaj se odnosi na incidente od 2020. do 2022. godine.
Uberovi automatizirani sustavi označavali su određena ponašanja kao moguću prijevaru. Među njima su bila nepotrebna skretanja kojima bi vozač mogao povećati cijenu vožnje ili prihvaćanje vožnje bez namjere da je završi.
Posljedica je mogla biti suspenzija računa.
Nizozemski regulator zaključio je da je Uber time prekršio pravo vozača da ne budu podvrgnuti isključivo automatiziranim odlukama koje imaju značajne posljedice.
Problem nije samo u tome što je odluku donosio sustav.
Ako deaktivacija računa čovjeku onemogućuje rad, mora postojati smislen ljudski nadzor, dovoljno informacija o odluci i mogućnost njezina osporavanja.
Upravo je to srž slučaja.
Uber osporava ključni dio odluke
Regulator navodi i da su vozači s niskim korisničkim ocjenama u nekim slučajevima mogli biti trajno deaktivirani automatiziranim putem.
Uber to odbacuje.
Kompanija tvrdi da nikada nije automatizirala odluke o trajnoj deaktivaciji računa te da su suspenzije povezane sa sumnjom na prijevaru uglavnom bile privremene.
Navodi i da se odluka odnosi na relativno mali broj ljudi. Prema Uberu, tijekom 2021. u Europi je zbog niskih ocjena deaktivirano 126 vozača.
Današnje procedure, tvrdi kompanija, uključuju ljudsku provjeru i mogućnost vozača da ospore suspenziju.
Zbog toga Uber kaznu od 825 milijuna eura smatra nerazmjernom.
Zašto je kazna tako velika?
GDPR ne regulira samo način na koji kompanije čuvaju osobne podatke.
Njegov članak 22 štiti pojedince i od određenih odluka koje se temelje isključivo na automatiziranoj obradi, ako takve odluke imaju pravne ili usporedivo značajne posljedice.
A gubitak pristupa platformi preko koje netko ostvaruje prihod teško je tretirati kao beznačajnu posljedicu.
Nizozemski regulator zaključio je i da Uber vozačima nije pružio dovoljno informacija o takvom odlučivanju.
Zato slučaj nije rasprava o tome smije li kompanija koristiti algoritme za otkrivanje prijevara.
Pitanje je koliko daleko algoritam smije ići prije nego što odluku mora preuzeti čovjek.
Ovo nije problem samo za Uber
Tu kazna od 825 milijuna eura postaje važna i kompanijama koje nemaju nikakve veze s prijevozom.
Algoritmi i umjetna inteligencija sve se više koriste za selekciju kandidata, raspoređivanje poslova, mjerenje produktivnosti, otkrivanje nepravilnosti, ocjenjivanje zaposlenika i donošenje odluka o nagradama ili sankcijama.
Što im kompanije daju više ovlasti, raste i odgovornost za posljedice.
Automatizacija jednostavnog administrativnog zadatka jedno je. Sustav koji može utjecati na nečiju plaću, posao ili mogućnost ostvarivanja prihoda nešto je sasvim drugo.
To postaje posebno važno dok kompanije ubrzano uvode AI u upravljanje ljudima.
825 milijuna eura još nije konačna riječ
Uberova žalba znači da iznos kazne još ne treba promatrati kao konačan.
Velike europske regulatorne kazne tehnološkim kompanijama često godinama prolaze kroz sudske postupke, tijekom kojih mogu biti potvrđene, smanjene ili poništene.
Ali sama odluka šalje jasnu poruku.
„Human in the loop“ više nije samo dobra praksa kada algoritam donosi odluke s ozbiljnim posljedicama za ljude. U određenim situacijama to postaje pravno pitanje vrijedno stotine milijuna eura.
Za kompanije koje danas ubrzano automatiziraju upravljanje zaposlenicima i suradnicima zato je važnije pitanje od toga što AI može napraviti – što mu smiju prepustiti da odluči.
