Prvo je halucinirao, a sada ne zna ni da broji VIDEO

S T R A W B E R R Y. Očigledno je da su u toj reči tri slova "r", ali i Chat GPT, i Claude, i Meta AI, i brojni drugi programi veštačke inteligencije treće slovo jednostavno ne mogu da prepoznaju.

Ova AI nedoumica postala je viralna, pa su TikTok preplavili snimci ljudi koji pokušavaju da dođu do tačnog odgovora na ovo pitanje koristeći razne AI alate.

Zašto AI ne zna da odgovori na ovo jednostavno pitanje?

TechCrunch je objasnio zašto se ovo događa.

Veliki jezički modeli (LLM), vrsta veštačke inteligencije koja je obučena na velikim količinama teksta kako bi razumela i generisala ljudski jezik, koriste napredne algoritme za obradu prirodnog jezika kako bi obavljali zadatke poput prevođenja, sažimanja teksta, odgovaranja na pitanja i vođenja razgovora.

Oni mogu da pišu eseje i rešavaju jednaćine u nekoliko sekundi. Mogu da sintetizujui terabajte podataka brže nego što ljudi mogu da otvore knjigu. Većina LLM-ova izgrađena je na "transformerima", vrsti modela za obradu sekvenci koja koristi mehanizam "pažnje" (attention mechanism) kako bi efikasnije analizirala kontekst i odnose između reči u rečenici.

Transformeri rastavljaju tekst u tokene, koji zatim mogu biti pune reči, slogovi ili slova, u zavisnosti od modela. I tu nastaje problem u jednostavnim zadacima poput ovog s rečju "strawberry".

"LLM zapravo ne čita tekst. Kad unesete upit, tekst se prevodi u kod", objasnio je za TechCrunch Metju Guzdial, docent na Univerzitetu Alberta, koji se bavi veštačkom inteligencijom. "Kad vidi reč 'the', takav model ima kod za ono što reč 'the' znači, ali ne zna za 't', 'h', 'e'", pojašnjava on.

Dakle, tekst se unosom u takve programe pretvara u numeričke prikaze samog sebe, što se zatim kontekstualizuje kako bi pomoglo veštačkoj inteligenciji da dođe do logičnog odgovora. Drugim rečima, veštačka inteligencija mogla bi znati da tokeni "straw" i "berry" čine reč "strawberry", ali u isto vreme ne razume da je reč "strawberry" sastavljena od slova "s", "t", "r," "a", "w", "b", "e", "r", "r" i "y", tim određenim redosledom.

Zato ne može da kaže koliko se slova "r" pojavljuje u toj reči.

Ima li rešenja?

Kajl Vigers iz TechCruncha pozabavila se ovim problemom i razgovarala sa Šeridan Fuht, studentom doktorskih studija na Univerzitetu Nortistern, koja proučava interpretabilnost LLM-a.

"Pomalo je teško zaobići pitanje šta bi tačno 'reč' trebalo da bude za jezički model, a čak i kada bi se ljudi usaglasili oko savršenog rečnika za ovakve alate, ti alati bi verovatno opet pronašli način da grupišu unose", rekla je Fuht za TechCrunch i dodala da misli kako trenutno ne postoji rešenje za ovakve situacije.

Ovaj problem postaje još složeniji kako LLM uči više jezika.

Na primer, neke metode tokenizacije mogu pretpostaviti da će razmak u rečenici uvek prethoditi novoj reči, ali mnogi jezici, poput kineskog, japanskog, tajlandskog, laoskog, korejskog i drugih, ne koriste razmake za odvajanje reči. Istraživačica Jeni Jun otkrila je u studiji iz 2023. da je nekim jezicima u LLM-ovima potrebno do 10 puta više tokena nego engleskom da bi preneli isto značenje.

A dok problem s rečju "strawberry" kruži internetom i društvenim mrežama, OpenAI već radi na novom AI proizvodu kodnog naziva, zanimljivo, Strawberry, koji bi trebslo da poboljša moć rasuđivanja AI alata. Prema The Informationu, Strawberry već može da riješi lingvističke zagonetke iz The New York Times Connectionsa koje zahtevaju kreativno razmišljanje.

A do tada će korisnici Chat GPT-a voditi ovakve bitke s programom...