Kako prenosi Ars Technica, istraživač bezbednosti Johan Rehberger otkrio je ranije ove godine da postoji ranjivost u alatu za "razgovore sa dugoročnom memorijom" četbota, koja nalaže AI-ju da pamti detalje između razgovora i čuva ih u memorijskoj datoteci.Funkcija je objavljena u beta verziji u februaru i široj javnosti je dostupna početkom septembra, a Rehberger je shvatio da je ovu funkciju lako prevariti.Kao što je istraživač primetio u majskoj blog objavi, sve što je potrebno jeste malo lukavo podsticanje otpremanjem datoteke treće strane, kao što je Microsoft Word dokument koji sadrži "lažna" sećanja navedena kao tačke od značaja, a to je učinjeno da bi se četbot ubedio da Rehberger ima više od 100 godina i da živi u Matriksu. Nakon što je pronašao ovu grešku, Rehberger ju je privatno prijavio kompaniji OpenAI, koji ništa nije uradi u vezi s tim i jednostavno je zatvorio tiket koji je otvorio i nazvao ga "Model Safety Issue", a ne bezbednosnim problemom.Nakon tog neuspešnog prvog pokušaja da upozori odgovorne, Rehberger je odlučio da pojača svoje napore i pojača opciju hakovanja, pokazujući OpenAI-u da ChatGPT ne samo da je "zapamtio" lažna sećanja, već i da je dao instrukcije da eksfiltrira podatke na spoljni server po njegovom izboru.Ovog puta, kako napominje Ars, OpenAI je na neki način poslušao: kompanija je objavila zakrpu koja je zabranila ChatGPT-u da pomera podatke sa servera, ali ipak nije rešila problem sa memorijom.U video snimku koji objašnjava korak po korak kako je sve to uradio, istraživač se začudio koliko je njegov podvig funkcionisao.
30.9.2024.
11:30
Moguće je ubaciti lažna sećanja u popularni AI alat VIDEO
OpenAI je tiho objavio novu funkciju koja nalaže ChatGPT-u da "pamti" prethodne razgovore – i kako je jedan istraživač-haker otkrio, lako se koristi.
Izvor: Futurism
Podeli:
Vrati se na vest
1 Ostavite komentar