Istraživači su pokazali kako se popularni AI sistemi mogu prevariti da obrade maliciozne instrukcije sakrivene u slikama.
Istraživači iz firme za sajber bezbjednost i konsalting Trail of Bits demonstrirali su novu tehniku indirektnog prompt injection napada koja koristi skaliranje slika.
Iako napadi skaliranja slike nisu nova pojava, stručnjaci sada pokazuju kako se ova tehnika može primijeniti protiv savremenih AI sistema. AI proizvodi, naročito oni koji obrađuju velike slike, često automatski smanjuju njihovu rezoluciju prije nego što ih pošalju na analizu osnovnom AI modelu.
Trail of Bits je pokazao da hakeri mogu napraviti posebno kreiranu sliku koja sadrži sakriven maliciozni prompt. Ovaj prompt je nevidljiv u slici visoke rezolucije, ali postaje vidljiv nakon što algoritmi za preradu smanje sliku.
Tako izmijenjena slika sa jasno vidljivim malicioznim promptom potom se šalje AI modelu, koji može da je protumači kao legitimnu instrukciju.
Kao primjer potencijalnog uticaja, istraživači su sakrili tekst koji je AI modelu naložio da izvuče podatke iz korisnikovog kalendara.
AI alati su sve više integrisani sa drugim rješenjima, posebno u poslovnim okruženjima, a istraživači redovno pokazuju kako se AI asistenti mogu zloupotrijebiti za krađu osjetljivih podataka i manipulaciju kroz skrivene promptove.
Prema navodima Trail of Bits, napad skaliranja slike funkcioniše protiv Gemini command-line interfejsa (CLI), Gemini web i API interfejsa, Vertex AI Studio, Google Assistanta, Gensparka i vjerovatno drugih proizvoda.
U pojedinim slučajevima, naročito kada se koristi CLI, žrtva uopšte ne vidi reskaliranu sliku (u kojoj je maliciozni prompt vidljiv) prije nego što je AI model obradi, što pokušaj napada čini još težim za otkrivanje.
Kompanija je objavila i open-source alat pod nazivom Anamorpher, koji drugim istraživačima omogućava kreiranje i vizuelizaciju napada skaliranja slike na AI sisteme.
Izvor: SecurityWeek