Sistemi vještačke inteligencije ponekad mogu proizvesti rezultate koji su netačni ili obmanjujući, fenomen poznat kao halucinacije. Ove greške mogu varirati od manjih netačnosti do iskrivljenja koja mogu dovesti do pogrešnih odluka.
Implikacije u stvarnom svijetu
„Ako AI agent neke kompanije koristi zastarjele ili netačne podatke, AI halucinacije mogu izmisliti nepostojeće ranjivosti ili pogrešno protumačiti informacije o prijetnjama, što dovodi do nepotrebnih upozorenja ili previdjenih rizika. Takve greške mogu preusmjeriti resurse sa stvarnih prijetnji, stvarajući nove ranjivosti i trošeći već ograničene resurse timova za sigurnosne operacije (SecOps),“ rekla je Harman Kaur, potpredsjednica za AI u kompaniji Tanium, za Help Net Security.
Jedna od novih briga je fenomen halucinacija paketa, gdje AI modeli predlažu nepostojeće softverske pakete. Ovaj problem je prepoznat kao potencijalni vektor za napade na lanac snabdijevanja, nazvan „slopsquatting“. Napadači mogu iskoristiti ove halucinacije kreiranjem malicioznih paketa sa predloženim imenima, što dovodi do toga da developeri nenamjerno uključuju štetan kod u svoje sisteme.
„Ako se koristi bez temeljne provjere i ručne validacije, AI-generisan kod može unijeti značajne rizike i kompleksnosti. Junior developeri su posebno podložni rizicima pogrešnog koda ili konfiguracionih fajlova jer nemaju dovoljno vještina da ispravno pregledaju kod. Što se tiče senior developera, oni će vjerovatno primijetiti grešku na vrijeme, međutim, sve je više onih koji se previše oslanjaju na generativnu AI i slijepo vjeruju njenim rezultatima,“ rekao je Ilia Kolochenko, direktor kompanije ImmuniWeb.
Još jedna zabrinutost je mogućnost da AI proizvede lažne izvještaje o prijetnjama. Ako se takvi izvještaji prihvate bez provjere, mogu skrenuti pažnju sa stvarnih prijetnji, ostavljajući stvarne ranjivosti neadresirane. Rizik se dodatno povećava kada se AI rezultati ne upoređuju sa pouzdanim izvorima.
Strategije za ublažavanje AI halucinacija
„AI halucinacije su očekivani nusproizvod probabilističkih modela,“ objašnjava Chetan Conikee, CTO u Qwiet AI, naglašavajući da fokus ne treba biti na potpunom eliminisanju, već na minimiziranju operativnih smetnji. „Prioritet CISO-a treba biti ograničavanje operativnog uticaja kroz dizajn, nadzor i politiku.“
To počinje sa namjernom arhitekturom. Conikee preporučuje implementaciju strukturisanog okvira povjerenja oko AI sistema, pristup koji uključuje praktični middleware za provjeru ulaza i izlaza putem determinističkih provjera i filtera specifičnih za domenu. Ovaj korak osigurava da modeli ne funkcionišu izolovano, već unutar jasno definisanih granica koje odražavaju potrebe i sigurnosne politike preduzeća.
Sljedivost je još jedan ključni element. „Svi AI-generisani odgovori moraju sadržavati metapodatke uključujući kontekst izvora, verziju modela, strukturu prompta i vremensku oznaku,“ navodi Conikee. Takvi metapodaci omogućavaju brže revizije i analizu uzroka kada se pojave netačnosti, što je ključna zaštita kada se AI rezultati integrišu u poslovne operacije ili alate okrenute korisnicima.
Za preduzeća koja implementiraju velike jezičke modele (LLM), Conikee savjetuje izbjegavanje generisanja otvorenog tipa osim ako nije nužno. Umjesto toga, organizacije bi trebale koristiti RAG koji se oslanja na interno kurirane baze znanja. „Ovo osigurava da model crpi informacije iz provjerenih izvora i održava dosljednost sa internim standardima,“ objašnjava Conikee.
Rigorozno testiranje je takođe važno. „Alati za detekciju halucinacija trebaju biti uključeni tokom faze testiranja,“ kaže Conikee. Prije nego što model uopće dodđe u produkcijsko okruženje, sigurnosni lideri trebaju definisati pragove za prihvatljiv rizik i načine otkazivanja. „Cilj nije savršena tačnost, već mjerljiva i revizijska kontrola nad time gdje i kako se koristi generativna AI.“
Ugrađivanjem povjerenja, sljedivosti i kontrole u AI implementaciju, CISO-i mogu balansirati inovaciju sa odgovornošću, držeći halucinacije pod kontrolom bez usporavanja napretka:
- Implementirati Retrieval-Augmented Generation (RAG): RAG kombinuje sposobnosti generisanja AI-a sa sistemom za pretraživanje koji izvlači informacije iz provjerenih izvora podataka. Ovaj pristup temelji AI rezultate na stvarnim podacima, čime se smanjuje vjerovatnoća halucinacija.
- Koristiti alate za automatsko rezonovanje: Kompanije poput Amazona razvijaju alate koji koriste matematičke dokaze za verifikaciju AI rezultata, osiguravajući usklađenost sa utvrđenim pravilima i politikama. Ovi alati mogu pružiti dodatni nivo sigurnosti, posebno u kritičnim primjenama.
- Redovno ažurirati podatke za obuku: Osiguravanje da AI sistemi budu obučeni na ažurnim i tačnim podacima može smanjiti rizik od halucinacija. Zastarjeli ili pristrasni podaci mogu dovesti AI do pogrešnih rezultata.
- Uključiti ljudski nadzor: Stručnjaci trebaju pregledati AI-generisane rezultate, posebno u situacijama visokog rizika. Ovaj nadzor može otkriti greške koje AI možda ne bi primijetio i pružiti kontekst koji AI-u nedostaje.
- Edukacija korisnika o ograničenjima AI-a: Treniranje korisnika da razumiju mogućnosti i ograničenja AI-a može podstaći zdravi skepticizam prema njegovim rezultatima. Podsticanje korisnika da verifikuju AI-generisane informacije može spriječiti širenje netačnosti.
Victor Wieczorek, potpredsjednik za Ofanzivnu Sigurnost u GuidePoint Security, objašnjava: „Potrebni su nam praktični okviri. To znači povezivanje AI odgovora direktno sa dokumentovanim politikama, označavanje ili logovanje visokorizičnih rezultata i osiguranje da čovjek pregleda sve značajne stvari prije nego što stignu do korisnika. Tretirajte model kao novog pripravnika: može pomoći u osmišljavanju ideja i odgovaranju na rutinska pitanja, ali ne bi trebao donositi konačne odluke o osjetljivim stvarima.“
Izvor:Help Net Security