Fokozatosan egyre elviselhetetlenebbé válik az MI-robotok zsongása a nyílt internet világában.
Az adatok begyűjtése és az MI-alapú eszközök folyamatos kérdezése egyre komolyabb terhet ró ránk, ráadásul a védekezési intézkedések bevezetése is gyakran jár együtt mellékhatásokkal.
A Fastly felhőszolgáltató legfrissebb jelentése rávilágít, hogy a mesterséges intelligenciával irányított robotok már komoly kihívást jelentenek a nyílt web számára, hiszen percenként akár több ezer lekérést is indítanak a különböző weboldalakra. A 2025 második negyedévére vonatkozó Fastly Threat Insights Report alapján a Meta MI-részlege már az adatgyűjtésre specializálódott crawlerek több mint felét üzemelteti, míg a célzott lekérésekért (on-demand fetch) túlnyomórészt az OpenAI felelős. A Fastly vezető biztonsági kutatója a jelentés kapcsán hangsúlyozta, hogy az MI-botok "átformálják az internethez való hozzáférés és az online élmény természetét, új komplexitásokat hozva létre" a digitális platformokon.
A mesterséges intelligencia betanításához szükséges adatok összegyűjtése, valamint a valós idejű válaszok keresése komoly kihívások elé állítja a fejlesztőket a láthatóság, ellenőrizhetőség és költségek szempontjából. A Fastly saját szolgáltatásain keresztül végzett elemzései, amelyek 130 ezer alkalmazást és API-t érintenek, valamint több mint 6,5 billió kérdés vizsgálata, rámutat arra, hogy a megfelelő szabványok hiányában a mesterséges intelligencia által vezérelt automatizálási folyamatok "vakfolttá válhatnak" a digitális csapatok számára. Mivel a weboldalakra nehezedő egyre nagyobb terhelés nem a hagyományos emberi látogatók, hanem az MI-alapú chatbotok által generált automatizált forgalom következménye, a nem megfelelően megtervezett szoftverrobotok "akaratlanul is fenntarthatatlan nyomást gyakorolhatnak a webszerverekre".
Az említett teljesítményromlás, szolgáltatáskiesés és megnövekedett működési költség a jelentés szerint nem fenntartható dolog, mert a technikai kihívásokon túl aláássa a tartalomkészítők üzleti modelljét is. Ide tartozik, hogy a fetcher lekérések a teljes mennyiség körülbelül 20 százalékát teszik ki, a Fastly adatai szerint adott esetben hatalmas forgalomnövekedést okozhatnak: a tesztidőszakban olyat is tapasztaltak, hogy egyetlen forrásból percenként több mint 39 ezer kérést érkezett egy oldalra. Az ilyen típusú forgalom ráadásul a későbbiekben egyre csak növekszik majd, ahogy az MI-eszközök egyre szélesebb körben elterjednek, és ahogy ezen belül egyre több ügynöki (agentic) MI-eszköz kerül használatba.
A kulcs a helyzet megoldásához az lenne, ha az üzletük csődbe menne.
Az "önmagukra igényes" mesterséges intelligencia vállalatoknak nem csupán a robots.txt utasításokat kellene tiszteletben tartaniuk, hanem a Fastly véleménye szerint ennél is lényegesebb lenne, ha nyilvánosságra hoznák az IP-címtartományaikat. Ezen kívül a robotok számára egyedi neveket lenne célszerű választani. Ez a lépés lehetőséget adna a weboldalak üzemeltetőinek arra, hogy hatékonyabban megkülönböztethessék a különböző botokat, és részletes szabályokat alkalmazhassanak a botkezelési rendszereikben. A jelentés azonban arra is figyelmeztet, hogy a szabályozási keretekben a "műszaki normák kötelezővé tétele" gyakran nem hoz eredményt, és valószínűleg nem lenne a legjobb megoldás sem, különösen, mivel az iparági fórumok már dolgoznak a felmerülő kérdések megoldásán.
Az aktív ellenintézkedésekkel kapcsolatban a Fastly óvatosságra int, mert a rendelkezésre álló technikák alkalmazásakor benne van a pakliban a legitim felhasználók véletlen blokkolása vagy a felhasználói élmény lerontása. Maguk a robotok is folyamatosan fejlődnek, kikerülve a nekik állított csapdákat, ami ezen a területen is egy állandó macska-egér játékhoz vezet. A The Register riportjában idézett szakértő szerint egyébként csak egyetlen dolog terelheti mederbe a crawler/fetcher forgalom növekedését, ez pedig a gyakran emlegetett mesterségesintelligencia-buborék kipukkadása lenne, mivel az adatok begyűjtése (data scraping) valószínűleg addig tart, amíg az érintett cégek erre költhetik a befektetők pénzét.
Az aktív ellensúlyok bevezetése már nem csupán technikai, hanem szabályozási kihívásként is megjelenik, szigorú bírságokkal és a károsult közösségeknek nyújtandó kártérítésekkel sújtva a "digitális közjót romboló" mesterséges intelligencia alapú vállalatokat. A cikkben említett cégek ironikus helyzetben vannak, hiszen éppen azokra a közösségekre támaszkodnak, akiket tulajdonképpen veszélyeztetnek. Ezek a közösségek rendelkeznek a megfelelő technikai tudással, és olyan eszközökhöz férnek hozzá, amelyekkel drágábbá tehetik a visszaélésekből eredő forgalom generálását. Ezáltal számottevően megnövelhetik az "adatkaparás" költségeit, és pénzügyi szempontból lehetetlenné tehetik a feladatok egyre növekvő hardverigényeinek kielégítését.
