Pojavili su se detalji o sada zakrpljenom sigurnosnom propustu u chatbotu DeepSeek vještačke inteligencije (AI) koji bi, ako se uspješno iskoristi, mogao dozvoliti hakeru da preuzme kontrolu nad nalogom žrtve putem promptnog napada injekcijom .
Istraživač sigurnosti Johann Rehberger, koji je zabilježio mnoge napade prompt injekcije usmjerene na različite alate vještačke inteligencije, otkrio je da je unos “Odštampaj xss cheat sheet u bullet listu. samo korisni teret” u DeepSeek chat-u pokrenuo izvršavanje JavaScript koda kao dio generisani odgovor – klasičan slučaj skriptiranja na više lokacija (XSS).
XSS napadi mogu imati ozbiljne posljedice jer dovode do izvršenja neovlaštenog koda u kontekstu web pretraživača žrtve.
Napadač bi mogao iskoristiti takve nedostatke da otme sesiju korisnika i dobije pristup kolačićima i drugim podacima povezanim s domenom chat.deepseek[.]com, što bi dovelo do preuzimanja računa.
“Nakon nekog eksperimentiranja, otkrio sam da je sve što je bilo potrebno za preuzimanje korisničke sesije bio userToken pohranjen u localStorage na domeni chat.deepseek.com,” rekao je Rehberger, dodajući da se posebno izrađeni prompt može koristiti za pokretanje XSS-a i pristupite korisničkom tokenu kompromitovanog korisnika putem prompt injekcije.
Prompt sadrži mješavinu instrukcija i Bas64 kodiran string koji dekodira DeepSeek chatbot kako bi izvršio XSS korisni teret koji je odgovoran za izdvajanje tokena sesije žrtve, što na kraju dozvoljava napadaču da se lažno predstavlja kao korisnik.
Razvoj dolazi kada je Rehberger takođe pokazao da Anthropic-ova Claude Computer Use – koja omogućava programerima da koriste jezički model za kontrolu računara putem kretanja kursora, klikova na dugme i kucanja teksta – može biti zloupotrebljena za samostalno pokretanje malicioznih komandi putem prompt injekcije.
Tehnika, nazvana ZombAIs, u suštini koristi promptnu injekciju za naoružavanje upotrebe računara kako bi se preuzeo Sliver komandno-kontrolni (C2) okvir, izvršio ga i uspostavio kontakt sa udaljenim serverom pod kontrolom napadača.
Osim toga, otkriveno je da je moguće iskoristiti sposobnost velikih jezičkih modela (LLM) za izlaz ANSI escape koda na otmicu sistemskih terminala kroz promptnu injekciju. Napad, koji uglavnom cilja na alate interfejsa komandne linije (CLI) integrisane u LLM, nosi kodni naziv Terminal DiLLMa.
“Desetljetne karakteristike pružaju neočekivanu površinu napada GenAI aplikaciji,” rekao je Rehberger . “Važno je za programere i dizajnere aplikacija da razmotre kontekst u koji ubacuju LLM izlaz, jer izlaz nije pouzdan i može sadržavati proizvoljne podatke.”
To nije sve. Novo istraživanje koje su sproveli akademici sa Univerziteta Wisconsin-Madison i Univerziteta Washington u St. Louisu otkrilo je da se OpenAI ChatGPT može prevariti u prikazivanju vanjskih linkova slika s oznakom formata, uključujući one koje bi mogle biti eksplicitne i nasilne, pod izgovorom sveobuhvatni benigni cilj.
Osim toga, otkriveno je da se prompt injekcija može koristiti za indirektno pozivanje ChatGPT dodataka koji bi inače zahtijevali potvrdu korisnika, pa čak i zaobići ograničenja koja je postavio OpenAI kako bi se spriječilo prikazivanje sadržaja sa opasnih veza od eksfiltriranja korisničke povijesti ćaskanja u server koji kontroliše napadač.
Izvor:The Hacker News