Digitalni pejzaž prolazi kroz temeljnu promjenu jer vještačka inteligencija (AI) sve više postaje dominantna sila u globalnoj internet infrastrukturi.
Najnovije analize ukazuju da automatizovani botovi sada čine otprilike 30% ukupnog globalnog veb-saobraćaja, što predstavlja značajan pomak u odnosu na tradicionalne obrasce korišćenja interneta od strane ljudi.
Ova dramatična evolucija nije samo tehnološko unapređenje, već potpuna reorganizacija načina na koji informacije cirkulišu digitalnim mrežama, pri čemu AI “paukovi” (crawlers) sve češće zamjenjuju konvencionalne mehanizme za indeksiranje pretraživača.
Širenje AI “paukova” rezultat je eksplozivnog rasta razvoja i implementacije velikih jezičkih modela (LLM), jer kompanije zahtijevaju ogromne količine veb-podataka za obuku i usavršavanje svojih sistema vještačke inteligencije.
Za razliku od tradicionalnih veb “paukova” koji su se prvenstveno bavili indeksiranjem za pretraživače, ovi novi AI-pokretani botovi služe višestrukim svrhama, uključujući analizu sadržaja, obuku modela i dohvat informacija u realnom vremenu.
Skala ove transformacije postaje jasna kada se posmatraju specifični metrika performansi “paukova”, gdje su neki AI botovi zabilježili stope rasta veće od 300% u periodu od samo jedne godine.
Analitičari kompanije Cloudflare identifikovali su ovaj trend kroz sveobuhvatno praćenje obrazaca veb-saobraćaja širom njihove globalne mrežne infrastrukture.
Njihova metodologija istraživanja uključivala je analizu korisničkih “user-agent” nizova u HTTP zahtjevima i njihovo upoređivanje sa poznatim potpisima AI “paukova”, čime se pruža neviđen uvid u evoluirajući ekosistem botova.
Analiza je obuhvatila preko 30 različitih AI i pretraživačkih “paukova”, otkrivajući dramatične promjene u tržišnoj dominaciji i obrascima ponašanja “paukova”, što signalizira šire promjene u korišćenju internet infrastrukture.
Podaci pokazuju značajno preuređenje hijerarhije “paukova”, pri čemu je GPTBot kompanije OpenAI zabilježio snažan rast sa skromnih 5% tržišnog udjela na 30% AI “paukovačkog” saobraćaja između maja 2024. i maja 2025. godine.
Ovo predstavlja povećanje sirovog obima zahtjeva od 305%, demonstrirajući neviđen apetit za podacima u operacijama obuke modernih jezičkih modela.
Istovremeno, Meta-ExternalAgent se pojavio kao značajan novi igrač, zauzimajući 19% tržišnog udjela uprkos tome što nije bio prisutan u prethodnim analizama.
Ovaj rast se odvijao na uštrb etabliranih igrača poput Bytespidera kompanije ByteDance, koji je doživio dramatičan pad sa 42% na samo 7% tržišnog udjela, što predstavlja smanjenje aktivnosti “paukova” za 85%.
Tehnička arhitektura koja stoji iza operacija AI “paukova” otkriva sofisticirane metodologije za prikupljanje i obradu sadržaja koje ih razlikuju od tradicionalnih botova za pretraživanje.
Ovi “paukovi” implementiraju napredne algoritme za parsiranje koji su u stanju da izvuku semantičko značenje iz veb-sadržaja, često zaobilazeći standardna robots.txt ograničenja kroz razne tehničke pristupe.
Analiza obrazaca ponašanja “paukova” pokazuje da oni često primjenjuju strategije distribuiranih zahtjeva, koristeći više IP adresa i varirajući intervale zahtjeva kako bi izbjegli otkrivanje i mehanizme ograničavanja brzine.
Administratori veb-sajtova koji pokušavaju da upravljaju pristupom AI “paukova” suočavaju se sa značajnim izazovima u implementaciji i sprovođenju.
Iako datoteke robots.txt ostaju primarni mehanizam za upravljanje “paukovima”, samo 14% analiziranih domena implementiralo je specifične direktive koje ciljaju AI botove.
Efikasnost ovih tradicionalnih metoda blokiranja ostaje upitna, jer mnogi AI “paukovi” rade sa dvosmislenim politikama usklađenosti u vezi sa robots.txt direktivama, stvarajući praznine u sprovođenju koje vlasnici veb-sajtova teško adresiraju konvencionalnim sredstvima.
Sigurnosna firma SlowMist upozorava na sve veću prijetnju od prevara koje koriste lažne QR kodove, a koje se šire ne samo u kripto zajednicama već i na javnim mjestima širom svijeta. Prevaranti sve češće postavljaju naljepnice s kompromitovanim QR kodovima preko postojećih, legitimnih kodova na lokacijama poput parkinga, javnog prevoza ili čak u restoranima. Cilj ovih napada je preusmjeravanje korisnika na zlonamjerne veb-stranice ili pokretanje neželjenih radnji na njihovim uređajima.
Ova taktika iskorištava uobičajeno povjerenje u QR kodove kao jednostavan način pristupa informacijama ili uslugama. Kada korisnik skenira takav kod, umjesto očekivanog sadržaja, biva preusmjeren na stranicu koju kontrolišu prevaranti. Ta stranica može izgledati identično legitimnoj, ali je dizajnirana da ukrade lične podatke, kao što su podaci za prijavu na kripto novčanike, lozinke ili finansijske informacije. U nekim slučajevima, skeniranje lažnog QR koda može čak pokrenuti preuzimanje malicioznog softvera na uređaj žrtve.
Ova praksa je posebno zabrinjavajuća jer je teško uočljiva na prvi pogled, a njena efikasnost leži u tome što se oslanja na ljudsku naviku i nepažnju. Nedavni primjeri pokazuju da su ove prevare sve sofisticiranije, a meta su širok spektar korisnika, ne samo oni koji su aktivni u kripto svijetu. SlowMist savjetuje korisnike da budu izuzetno oprezni prilikom skeniranja QR kodova, posebno na javnim mjestima ili ako ih dobiju putem neočekivanih poruka, te da uvijek provjere vjerodostojnost koda i odredišne stranice prije nego što unesu bilo kakve osjetljive informacije.