Startap specijalizovan za “ofanzivnu vještačku inteligenciju” razvija alate za simulaciju potencijalnih napada na AI modele
Dreadnode, startap u ranoj fazi razvoja koji se bavi ofanzivnom AI bezbjednošću, obezbijedio je investiciju od 14 miliona dolara u rundi finansiranja koju predvode Decibel, Next Frontier Capital, In-Q-Tel (IQT), Sands Capital i Indie VC.
Ova investicija dolazi u trenutku kada raste interesovanje za bezbjednost AI tehnologija koje se ubrzano implementiraju širom svijeta. Time se potvrđuje potreba za novim proizvodima koji će omogućiti testiranje vještačke inteligencije na ranjivosti kroz simulacije realnih prijetnji.
Dreadnode su osnovali bivši lider NVIDIA AI red tima, Vil Pirs (Will Pearce), i bivši potpredsjednik istraživanja u kompaniji NetSPI, Nik Lenders (Nick Landers). Kompanija se predstavlja kao pionir u oblasti “ofanzivnog mašinskog učenja”, nudeći alate koji omogućavaju organizacijama da bezbjedno testiraju kako bi njihovi AI modeli mogli biti kompromitovani u stvarnim uslovima.
Ova sredstva će biti iskorištena za unapređenje inovacija i plasman na tržište dva ključna proizvoda Dreadnode platforme – Strikes i Spyglass.
Strikes – simulacija napada u realnim scenarijima
Strikes je “okruženje za AI agente fokusirano na ofanzivnu sajber bezbjednost”, koje omogućava testiranje AI modela u realnim scenarijima napada. Ova simulirana borbena zona služi za treniranje i evaluaciju AI agenata u okruženju koje imitira stvarne prijetnje.
Ovakav pristup omogućava AI timovima i crvenim timovima za bezbjednost da unaprijede otpornost svojih modela kroz kontinuirano izlaganje različitim ofanzivnim tehnikama u kontrolisanom okruženju.
Spyglass – kontinuirano testiranje bezbjednosti implementiranih AI sistema
Spyglass je alat namijenjen testiranju AI sistema koji su već u upotrebi. Dreadnode ga opisuje kao “AI red teaming proizvod za napad, procjenu i optimizaciju AI aplikacija, sa ciljem dobijanja konkretnih uvida”. Spyglass omogućava organizacijama da neprekidno provjeravaju i analiziraju svoje aktivne AI modele, uključujući jezičke modele, sisteme kompjuterskog vida i druge tehnologije.
Ovaj alat integriše najnovija istraživanja iz oblasti adversarijalnog mašinskog učenja, omogućavajući korisnicima da prepoznaju ranjivosti kao što su napadi prompt-injekcijama, zaobilaženje modela i rizici trovanja podacima.
Cjelovit pristup ofanzivnoj AI bezbjednosti
Kombinacijom Strikes i Spyglass alata, Dreadnode pokriva cijeli životni ciklus AI bezbjednosti – od testiranja u fazi obuke do evaluacija u fazi implementacije.
Osim ovih ključnih proizvoda, Dreadnode nudi i Crucible, AI sandbox okruženje u kojem bezbjednosni stručnjaci mogu eksperimentisati, učiti i razvijati svoje vještine u AI red teaming-u.
“Naoružavamo stručnjake alatima koji su im potrebni da istraže mogućnosti AI primijenjene – u velikom obimu – na ofanzivnu bezbjednost”, izjavio je Pirs povodom najave investicije. “Već smo vidjeli šta AI može da postigne u drugim oblastima – zašto bi ofanzivna bezbjednost bila izuzetak?”
Izvor: SecurityWeek
