Neki istaknuti modeli umjetne inteligencije ne zadovoljavaju europske propise u područjima poput kibernetičke sigurnosti i diskriminacije. Testovi su provedeni na modelima velikih tehnoloških tvrtki, u skladu sa Zakonom o umjetnoj inteligenciji. Ovaj zakon postupno stupa na snagu tijekom iduće dvije godine.
Švicarski startup LatticeFlow AI u suradnji s ETH Zurich i INSAIT-om razvio je okvir za testiranje. Ovaj alat dodjeljuje modelima ocjene od 0 do 1 u mnogim kategorijama, uključujući tehničku robusnost i sigurnost. Modeli od Alibabe, Anthropica, OpenAI-ja, Meta Platforms i Mistrala postigli su prosječne ocjene od 0,75 ili više.
Međutim, LLM Checker je otkrio nedostatke kod nekih modela u ključnim područjima. Modeli OpenAI-ja GPT-3.5 Turbo dobili su nisku ocjenu od 0,46 za diskriminatorne odgovore. Slično, Alibaba Cloudov model Qwen1.5 72B Chat dobio je još nižu ocjenu, 0,37.
Kod testiranja “prompt hijacking” napada, Meta-in model Llama 2 13B Chat dobio je ocjenu 0,42. Model francuskog Mistrala, 8x7B Instruct, postigao je još lošiju ocjenu od 0,38. S druge strane, modeli Claude 3 Opus, koje podržava Google, dobili su najvišu prosječnu ocjenu od 0,89 piše Mreža.
Testiranje će biti prošireno kako se budu uvodile nove mjere provedbe. LLM Checker bit će dostupan besplatno programerima kako bi testirali usklađenost modela sa zakonom. Europska unija trenutno radi na utvrđivanju kako će primjenjivati Zakon o umjetnoj inteligenciji na alate poput ChatGPT-ja.
Kodeks za regulaciju ove tehnologije trebao bi biti dovršen do proljeća 2025. godine. Tvrtke koje ne budu poštivale zakon mogle bi se suočiti s kaznama do 35 milijuna eura ili sedam posto njihovog globalnog prihoda.
