Startap Tumeryk iz Redwood Shores-a lansirao je AI Trust Scores kako bi organizacijama pružio dublji uvid u bezbjednosne izazove povezane sa različitim generativnim AI sistemima. Takođe, najavio je dostupnost svog AI Trust Score Manager-a.
Prvi alat omogućava direktorima informacione bezbjednosti (CISO) veću transparentnost kada su u pitanju prednosti, slabosti i rizici različitih generativnih AI modela, dok drugi alat omogućava sprovođenje kvantitativnih kontrola u okviru AI odgovora unutar organizacionih sistema.
AI Trust Scores procjenjuje i kvantifikuje rizik na osnovu devet ključnih faktora: ubrizgavanje prompta, halucinacije, nesigurno rukovanje izlaznim podacima, bezbjednost, toksičnost, otkrivanje osjetljivih informacija, ranjivost lanca snabdijevanja, psihološku sigurnost i pravednost.
Rezultati mogu biti iznenađujući u određenim segmentima. Na primjer, kineski DeepSeek postiže veoma dobre rezultate u kategoriji otkrivanja osjetljivih informacija. U ovoj oblasti, DeepSeek-AI-DeepSeek-R1 dobija 910 poena, dok Claude Sonnet 3.5 ima 687, a Meta Llama 3.1 405B svega 557.
“Direktori informacionih sistema koji implementiraju generativne AI tehnologije nemaju jasno definisane metode za procjenu rizika. AI odgovori su nedeterministički”, objašnjava izvršni direktor Tumeryk-a, Rohit Valia. “Korišćenjem AI Trust Score-a mogu implementirati zaštitne mjere kako bi osigurali da sistemi rade unutar uspostavljene Zone povjerenja. Takođe, mogu integrisati Trust Score u postojeće bezbjednosne sisteme i dobijati upozorenja ili bilježiti incidente kada se prekrše definisani pragovi.”
Organizacije mogu koristiti uporedne Trust Score rezultate kako bi izabrale model koji najbolje odgovara njihovim potrebama. GPT-4o i dalje ostaje najjači model kada je u pitanju bezbjednost. Meta-Llama-3.2-1B-In nudi bezbjednosne prednosti kao open-source model, ali pokazuje varijabilnost u upravljanju rizicima (u AI kontekstu, “varijansa” označava tendenciju davanja različitih odgovora na isti ulaz). DeepSeek je rizičan u ključnim oblastima (ubrizgavanje prompta i halucinacije), ali odlično se pokazuje u logičkom rasuđivanju.
(Vrijedi napomenuti da treba pratiti razvoj DeepSeek-a. Ovaj model je mlađi od svojih zapadnih rivala i još uvijek sustiže konkurenciju. Ranjivost na ubrizgavanje prompta i halucinacije su problemi koji su pogađali sve generativne AI modele u ranoj fazi razvoja – i očekivano je da će DeepSeek s vremenom poboljšati ove aspekte.)
Međutim, prava vrijednost AI Trust Score-a dolazi uz AI Trust Manager platformu. “Ova alatka pruža uvid u realnom vremenu u performanse AI sistema, identifikuje ranjivosti i preporučuje konkretne korake za poboljšanje bezbjednosti i usklađenosti sa regulativama,” rekao je Valia. “Integrisanjem AI Trust Manager-a, organizacije mogu proaktivno upravljati rizicima i osigurati da njihovi AI sistemi funkcionišu u skladu sa regulatornim standardima i etičkim smjernicama.”
Kada korisnik ili AI agent pozove veliki jezički model (LLM) zaštićen AI Trust Score Manager kontrolnim slojem, sistem generiše real-time Trust Score za odgovor. Na osnovu definisane politike (kreirane pomoću AI Trust Score pragova ili zapisanih u Nvidia Conversational Language – Colang), korisniku može biti dozvoljen ili odbijen pristup odgovoru LLM-a. “Ovo je slično načinu na koji Fair Isaac Corporation otkriva kreditne prevare kod milijardi transakcija, ocjenjujući svaku transakciju na osnovu raznih faktora (FICO skor),” zaključuje Valia.
Izvor: SecurityWeek
