Novo istraživanje otkriva da neformalni razgovori s chatbotovima smanjuju točnost AI sustava. Ljudi često komuniciraju s umjetnom inteligencijom opuštenije nego s ljudima, što može dovesti do pogrešnog tumačenja poruka. Znanstvenici iz Amazona upozoravaju da stil komunikacije značajno utječe na razumijevanje korisničkih namjera.
Zašto neformalni ton smanjuje točnost AI-a
Znanstvenici Fulei Zhang i Zhou Yu iz Amazona analizirali su kako korisnici razgovaraju s ljudskim agentima i s chatbotovima temeljenima na velikim jezičnim modelima (LLM). Koristili su Claude 3.5 Sonnet kako bi procijenili pristojnost, tečnost i raznolikost vokabulara.
Rezultati su pokazali da su korisnici 14,5% pristojniji i formalniji u razgovorima s ljudima nego s AI-em. Uz to, komunikacija s ljudskim agentima bila je 5,3% tečnija i imala 1,4% raznolikiji rječnik. To potvrđuje da neformalni ton može otežati chatbotovima razumijevanje značenja poruka.
Kako korisnici doživljavaju chatbotove
Prema istraživanju, korisnici prilagođavaju svoj stil jezika kad razgovaraju s chatbotovima. Poruke postaju kraće, izravnije i jednostavnije. Ljudi chatbotove doživljavaju kao manje društveno osjetljive i manje sposobne za tumačenje nijansi, navode autori studije objavljene na preprint serveru arXiv.
U drugoj fazi istraživanja, Amazonov tim je obučio model Mistral 7B na više od 13.000 ljudskih razgovora, a zatim ga testirao na više od 1300 interakcija korisnika s chatbotovima. Model je često pogrešno tumačio poruke jer nije bio treniran na neformalnom jeziku koji ljudi koriste s AI-em.
Može li se točnost AI-a poboljšati?
Zhang i Yu pokušali su poboljšati razumijevanje poruka tako što su uz pomoć Claude AI preoblikovali korisničke rečenice u “minimalni” ili “obogaćeni” stil. Međutim, oba pristupa smanjila su točnost – za 2,6% i 1,8%. Kombiniranjem oba pristupa točnost se ipak poboljšala za 2,9%, što ukazuje na važnost prilagodbe stila komunikacije.
Što znači neformalnost u razgovoru s AI-em
Prema Noahu Giansiracusi sa Sveučilišta Bentley, koji nije sudjelovao u istraživanju, opušteniji ton prema chatbotovima nije nužno loš. “Dobro je kada ljudi znaju da razgovaraju s botovima i prilagođavaju se tome”, rekao je za New Scientist.
Istraživanje Amazona, koje prenosi Zimo dnevnik, jasno pokazuje da neformalni razgovori s chatbotovima smanjuju točnost AI sustava, ali i otvara mogućnost za buduća poboljšanja. Prilagodba stila i treniranje modela na realnim, svakodnevnim dijalozima mogli bi pomoći AI-u da bolje razumije korisnike i pruži točnije odgovore.
