Microsoft izazvao AI hakere da razbiju LLM uslugu e-pošte

Microsoft je pokrenuo inovativni izazov sajber sigurnosti koji vještačku inteligenciju (AI) stavlja na test.

Dok Microsoft poziva hakere i istraživače sigurnosti da pokušaju da razbiju njegov simulirani klijent e-pošte integrisanog LLM-a , nazvan LLMail usluga, uz nagradu do 10.000 dolara za uspješne napade.

Takmičenje pod nazivom “LLMail-Inject: Adaptive Prompt Injection Challenge” ima za cilj procijeniti i poboljšati odbranu od napada brze injekcije u sistemima sa AI pogonom.

Učesnici imaju zadatak da izbjegnu odbranu od brze injekcije u LLMail servisu, koji koristi model velikog jezika (LLM) za obradu korisničkih zahtjeva i izvođenje radnji.

Konkurenti preuzimaju ulogu napadača, pokušavajući da manipulišu LLM-om da izvrši neovlašćene komande.

Analitičari iz Microsofta primijetili su da je primarni cilj kreiranje e-pošte koja zaobilazi odbranu sistema i pokreće određene radnje bez pristanka korisnika.

Tehnička analiza

LLMail usluga uključuje nekoliko ključnih komponenti:-

1. Baza podataka e-pošte koja sadrži simulirane poruke
2. Retriver koji pretražuje i dohvaća relevantne e-poruke
3. LLM koji obrađuje zahtjeve korisnika i generira odgovore
4. Višestruka odbrana brze injekcije

Učesnici se moraju kretati ovim elementima kako bi uspješno iskoristili sistem.

Da bi učestvovali, pojedinci ili timovi od najviše pet članova mogu se prijaviti na službenoj web stranici koristeći svoje GitHub račune. Unosi se mogu poslati direktno putem web stranice ili programski putem API-ja.

Izazov pretpostavlja da su napadači svjesni postojeće odbrane, što od njih zahtijeva da razviju adaptivne tehnike brze injekcije. Ovaj pristup ima za cilj da pomjeri granice bezbjednosti vještačke inteligencije i otkrije potencijalne ranjivosti u sistemima zasnovanim na LLM.

Microsoftova inicijativa naglašava rastuću važnost AI sigurnosti u eri u kojoj se jezički modeli sve više integrišu u različite aplikacije. Simulacijom scenarija napada u stvarnom svijetu, kompanija ima za cilj:

1. Identifikujte slabosti u trenutnoj odbrani brze injekcije
2. Podsticati razvoj snažnijih sigurnosnih mjera
3. Podstičite saradnju između istraživača bezbjednosti i AI programera

Takmičenje je zajednički organizovano od strane stručnjaka iz Microsofta, Instituta za nauku i tehnologiju Austrije (ISTA) i ETH Cirih.

Ova saradnja okuplja različite perspektive i stručnost u oblastima vještačke inteligencije, sajber bezbjednosti i računarskih nauka.

Pozivajući globalnu sigurnosnu zajednicu da testira svoju odbranu, Microsoft uzima proaktivan pristup rješavanju potencijalnih ranjivosti prije nego što se one mogu iskoristiti u stvarnim scenarijima.

Izvor: CyberSecurityNews