Istraživači iz Palo Alto Networks-a otkrili su novu metodu napada koja može predstavljati značajan rizik za AI supply chain, a demonstrirali su njen uticaj protiv Microsoft i Google proizvoda, kao i potencijalnu prijetnju za open source projekte.
Nazvana „Model Namespace Reuse“, ova metoda AI supply chain napada uključuje hakere koji registruju imena povezana sa obrisanim ili prenesenim modelima koje developeri preuzimaju sa platformi poput Hugging Face-a.
Uspješan napad može omogućiti hakerima da postave maliciozne AI modele i ostvare proizvoljno izvršavanje koda, naveli su iz Palo Alto Networks-a u blog postu koji opisuje Model Namespace Reuse.
Hugging Face je popularna platforma za hostovanje i dijeljenje unaprijed treniranih modela, datasetova i AI aplikacija. Kada developeri žele da koriste model, mogu ga referencirati ili preuzeti na osnovu imena modela i imena developera u formatu „Autor/ModelName“.
U napadu Model Namespace Reuse, napadač traži modele čiji je vlasnik obrisao nalog ili ga prebacio na novo ime, ostavljajući staro ime dostupno za registraciju.
Napadač može registrovati nalog sa imenom ciljanog developera i kreirati maliciozni model sa nazivom koji je vjerovatno široko referenciran — ili posebno ciljan — u određenim projektima.
Istraživači Palo Alto Networks-a demonstrirali su potencijalne rizike protiv Google-ove platforme Vertex AI za upravljano mašinsko učenje, posebno njenog repozitorijuma Model Garden za unaprijed trenirane modele.
Model Garden podržava direktno postavljanje modela sa Hugging Face-a, a istraživači su pokazali da bi napadač mogao zloupotrijebiti ovo za Model Namespace Reuse napad tako što bi registrovao ime Hugging Face naloga povezanog sa projektom koji je obrisan, ali koji je i dalje bio naveden i verifikovan od strane Vertex AI-a.
„Da bismo demonstrirali potencijalni uticaj takve tehnike, ugradili smo payload u model koji pokreće reverse shell sa mašine koja izvršava postavljanje modela nazad ka našim serverima. Kada je Vertex AI postavio model, dobili smo pristup infrastrukturi koja hostuje model — konkretno, endpoint okruženju“, objasnili su istraživači.
Napad je takođe demonstriran protiv Microsoft-ove platforme Azure AI Foundry za razvoj ML i generativnih AI aplikacija. Azure AI Foundry takođe omogućava korisnicima postavljanje modela sa Hugging Face-a, što je čini ranjivom na napade.
„Eksploatacijom ovog napadnog vektora, dobili smo dozvole koje odgovaraju onima Azure endpoint-a. Ovo nam je obezbijedilo početnu tačku pristupa korisnikovom Azure okruženju“, rekli su istraživači.
Pored demonstracije napada protiv Google i Microsoft cloud platformi, zaposleni u Palo Alto-u analizirali su i open source repozitorijume koji mogu biti ranjivi na napade zbog referenciranja Hugging Face modela koristeći identifikatore u formatu Autor/ModelName.
„Ova istraga otkrila je hiljade ranjivih repozitorijuma, među kojima su i neki poznati i visoko ocijenjeni projekti“, naveli su istraživači. „Ovi projekti uključuju i obrisane i prenesene modele sa uklonjenim originalnim autorom, što korisnike ostavlja nesvjesnim prijetnje dok projekti nastavljaju da funkcionišu normalno.“
Google, Microsoft i Hugging Face su obaviješteni o rizicima, a Google je od tada počeo da vrši dnevne skenove za „siročad“ modele kako bi spriječio zloupotrebu.
Međutim, Palo Alto je naglasio da „glavni problem i dalje predstavlja prijetnju za svaku organizaciju koja preuzima modele samo na osnovu imena. Ovo otkriće dokazuje da povjerenje u modele zasnovano isključivo na njihovom imenu nije dovoljno i da je neophodna kritična reevaluacija bezbjednosti u cijelom AI ekosistemu.“
Kako bi se umanjili rizici povezani sa Model Namespace Reuse, bezbjednosna firma preporučuje: vezivanje korišćenog modela za određeni commit da bi se spriječile neočekivane promjene u ponašanju, kloniranje modela i njegovo čuvanje na provjerenoj lokaciji umjesto preuzimanja sa trećih servisa, te proaktivno skeniranje koda radi identifikacije referenci na modele koje mogu predstavljati rizik.
Izvor: SecurityWeek