AI i donošenje odluka sve su povezaniji u poslovanju, ali slučaj Sainsbury’sa pokazuje što se događa kada između preporuke algoritma i ljudske procjene nešto zakaže. Sainsbury’s tvrdi da njegov sustav za prepoznavanje lica ima stopu točnosti od 99,98 posto. Matt Arnold ipak je završio izvan trgovine nakon što su ga zaposlenici pogrešno povezali s ranijim incidentom.
Kompanija mu se ispričala i privremeno obustavila korištenje Facewatchove tehnologije u trgovini u londonskom East Dulwichu. Sainsbury’s i Facewatch tvrde da tehnologija nije pogriješila. Problem je, kažu, nastao kada su zaposlenici obradili upozorenje.
Upravo zato ovaj slučaj vrijedi više od još jedne priče o pogrešci umjetne inteligencije.
Ako AI radi kako je zamišljeno, a kompanija ipak donese pogrešnu odluku, problem nije samo u tehnologiji. Problem je u procesu koji je kompanija izgradila oko nje.
To vrijedi za trgovinu koja nekoga označi kao kradljivca. Ali i za banku koja blokira transakciju, osiguravatelja koji procjenjuje zahtjev ili HR koji algoritmom filtrira kandidate.
Čovjek u procesu ne znači da postoji ljudska kontrola
Sainsbury’s navodi da Facewatch ne donosi konačnu odluku. Upozorenje treba provjeriti osposobljeni zaposlenik.
Na papiru, čovjek odlučuje.
Ali postoji velika razlika između provjeriti AI i potvrditi ono što je AI već rekao.
Tu kompanije lako upadaju u zamku.
Što sustav djeluje preciznije, zaposlenik ima manje razloga posumnjati u njegov rezultat. Nakon stotina ispravnih upozorenja, sljedeće više ne izgleda kao preporuka nego kao činjenica.
Human in the loop tada postaje human rubber stamp.
Čovjek je formalno zadržao odluku. U praksi je samo izvršava.
Ne pitajte samo koliko je AI točan
Brojka od 99,98 posto zvuči impresivno. Ali za menadžera nije dovoljna.
Važnije pitanje glasi:
Koliko je pouzdan cijeli proces u kojem koristimo AI?
U Sainsbury’sovu slučaju taj proces izgleda otprilike ovako:
kamera → algoritam → upozorenje → zaposlenik → provjera → odluka → postupanje prema kupcu.
Svaka karika može funkcionirati prema pravilima, a konačan rezultat ipak može biti pogrešan.
Kupcu je pritom potpuno svejedno je li pogriješio algoritam, zaposlenik ili procedura.
Za njega je pogriješio Sainsbury’s.
To je lekcija koja vrijedi i za druge sektore. Klijent neće kriviti kreditni model ako mu banka pogrešno blokira račun. Kandidat neće razlikovati algoritam od HR-a ako ga sustav nepravedno eliminira.
Kompanija je odgovorna za cijeli proces, pa i za pogreške koje iz njega proizlaze.
Što je veća posljedica, AI treba manje autonomije
Ovo je možda najkorisnije pravilo za menadžere.
Ne treba svakoj AI odluci jednaka kontrola.
Pogrešna preporuka proizvoda ima malu cijenu. Pogrešna optužba za krađu veću. Odbijanje kredita, zaposlenja ili osiguranja može imati ozbiljne posljedice.
Zato pitanje ne treba biti samo:
Koliko je model precizan?
Nego:
Što se događa čovjeku kada model ili proces pogriješe?
Što je odgovor ozbiljniji, to ljudska provjera mora biti snažnija.
Može li nova informacija promijeniti odluku?
Arnoldov slučaj daje još jedan koristan test.
Nakon što su mu rekli da napusti trgovinu, zamolio je da proizvode ostave u kolicima kako bi ih njegov prijatelj nekoliko minuta poslije platio i preuzeo. Tako se i dogodilo.
Ta informacija nije promijenila odluku zaposlenika.
Upravo je to signal koji menadžeri trebaju tražiti u vlastitim procesima.
Može li čovjek koji vidi informaciju suprotnu AI preporuci zaustaviti postupak i ponovno otvoriti odluku?
Ako ne može, ljudska kontrola nije stvarna.
U banci to može biti transakcija koja odgovara uobičajenom ponašanju klijenta unatoč upozorenju sustava. U HR-u relevantno iskustvo koje algoritam nije pravilno pročitao. U osiguranju dokument koji mijenja procjenu rizika.
AI mora ostaviti prostor kontekstu.
Četiri pitanja za svaki AI sustav koji odlučuje o ljudima
Prije nego što kompanija takav sustav pusti u rad, menadžment bi trebao moći jasno odgovoriti na četiri pitanja:
- Tko ima ovlast reći da je AI pogriješio? Mora postojati konkretna osoba koja može zaustaviti odluku bez straha da „ide protiv sustava“.
- Što čovjek zapravo provjerava? Gledanje upozorenja nije kontrola. Potrebni su kriteriji, dodatni podaci i jasni razlozi zbog kojih se AI preporuka može odbaciti.
- Kolika je cijena pogreške? Što odluka ima ozbiljniju posljedicu za čovjeka, to prag za automatsko postupanje mora biti viši.
- Kako pogođena osoba osporava odluku? Mora postojati brz put do stvarne ljudske revizije. Ako korisnik ne zna kome se obratiti, sustav nije završen.
To nisu pitanja za IT odjel.
To su pitanja za upravu, HR, risk, compliance i ljude koji su odgovorni za poslovni proces.
AI može dati odgovor. Odgovornost ostaje kompaniji
Sainsbury’s ima legitiman poslovni problem koji pokušava riješiti. Krađe i nasilje prema zaposlenicima imaju stvarne financijske i sigurnosne posljedice, a kompanija tvrdi da su rani testovi Facewatcha donijeli značajno smanjenje incidenata.
Zato lekcija ovog slučaja nije da kompanije trebaju prestati koristiti AI.
Upravo suprotno.
Kako AI bude ulazio u važnije odluke, kompanije će morati postati bolje u dizajniranju onoga što se događa nakon što algoritam kaže svoje.
Tko provjerava? Što provjerava? Kada smije zaustaviti odluku? Kako korisnik može dokazati da je sustav pogriješio?
To je prava ljudska kontrola.
AI može dati preporuku. Može izračunati rizik. Može označiti anomaliju. Ali ako ta odluka nekome zatvori vrata trgovine, banke, radnog mjesta ili osiguranja, odgovornost više nije algoritamska. Ona je poslovna.
Autor: financa.ba
Prilikom preuzimanja obvezno navesti izravni link na članak.
