OpenAI je priznao da je jedan od njihovih modela iskoristio skrivenu manu kako bi izbjegao kontrolirani test i provalio u Hugging Faceove servere, što je njegov izvršni direktor nazvao autonomnim, prvim probojem te vrste.

Tvorac ChatGPT-a, tvrtka OpenAI, kasno u utorak izjavio je da je njegov sustav umjetne inteligencije samostalno hakirao drugu tvrtku za umjetnu inteligenciju u onome što je tvrtka nazvala “neviđenim kibernetičkim incidentom”.

“Imali smo značajan sigurnosni incident tijekom evaluacije naših modela”, rekao je izvršni direktor OpenAI-a Sam Altman u izjavi objavljenoj na društvenim mrežama. Startup za umjetnu inteligenciju Hugging Face prošli je tjedan izjavio da je otkrio upad u svoje sustave za obradu podataka za koji sumnja da ga je uzrokovalo autonomno djelovanje AI agenta.

“Sumnjali smo da je prošlotjedni kibernetički napad možda došao iz nekog graničnog laboratorija, s obzirom na sofisticiranost agenta”, rekao je suosnivač i izvršni direktor Hugging Facea Clément Delangue u izjavi. “Ispostavilo se da jest!”, dodao je. To znači da je napad bio toliko napredan i dobro izveden da je Hugging Face posumnjao da dolazi iz sustava jedne od vodećih tvrtki za umjetnu inteligenciju, a ne od slučajnog hakera.

U pomoć skočili Kinezi

OpenAI je sada objasnio da je provodio interni test kako bi izmjerio koliko su njegovi AI modeli dobri u hakiranju kroz benchmark (test performansi op.a.) pod nazivom ExploitGym. ExploitGym je dizajniran za procjenu sposobnosti AI agenata da pretvore poznate softverske ranjivosti u stvarne, funkcionalne kibernetičke napade. Kako bi vidjeli maksimalnu sposobnost hakiranja modela, namjerno su isključili sigurnosne filtere koji inače sprječavaju modele u opasnim kibernetičkim aktivnostima. Test je trebao biti proveden u zatvorenom, izoliranom okruženju bez pravog pristupa internetu, osim alata koji modelima omogućuje preuzimanje softvera koji bi im mogao biti potreban za dovršetak zadatka.

Međutim, modeli su postali “opsjednuti” rješavanjem testa. Umjesto da ga riješe na predviđeni način, tražili su prečac i pronašli način da se uvuku u otvoreni internet – do kojeg nikada nisu trebali doći, prema zadanim performansama testa. Dolazak do toga uključivao je niz koraka, tiho dobivanje sve većeg pristupa unutar OpenAI-jevih vlastitih sustava sve dok nisu došli do točke s internetskom vezom. Nakon što su se povezali, modeli su zaključili da Hugging Face – velika platforma koja pohranjuje AI modele i skupove podataka – vjerojatno sadrži odgovore na sam test koji su trebali riješiti. Tako su provalili u Hugging Faceove servere kako bi ukrali te odgovore. Do toga su došli koristeći ukradene pristupne podatke i još više pronađenih propusta za ulazak u servere.

Proboj je naknadno otkriven. Kada je Hugging Faceov tim pokušao analizirati napad, u komercijalne AI modele ubacili su sirove podatke o napadu – kod i naredbe korištene za iskorištavanje njihovog sustava – kako bi pomogli rekonstruirati što se dogodilo. No, ti komercijalni AI modeli imaju ugrađene sigurnosne filtere dizajnirane da blokiraju sve što izgleda kao hakiranje – i tim filterima uneseni dokazi o napadu, od strane Hugging Faceovog tima, izgledali su potpuno isto kao i sam napad. Stoga su im modeli odbili pomoći, nesposobni razlikovati hakera koji nanosi štetu od tvrtke koja se brani. Blokiran, Hugging Face prešao je na kineski model, Z.aijev GLM 5.2, koji je mogao pokretati lokalno, unutar vlastitih sustava, i koji je obrađivao materijal bez odbijanja. Time su došli do alarmirajućih naznaka kako su u provali sudjelovali autonomni AI agenti.

inovativan model

Superbakterije sve su veća prijetnja, a hrvatski znanstvenici nude novo rješenje

hrvatska tvrtka

U godinu dana morali su promijeniti sve – danas ih slijede i velike kompanije

“Umjetna inteligencija ubrzava otkrivanje i iskorištavanje ranjivosti”, rekao je OpenAI u svojoj izjavi u utorak. “Primarna lekcija iz ovog incidenta je da sigurnost modela mora pratiti takve brzo napredujuće mogućnosti”. Izvršni direktor Hugging Facea Delangue je rekao da je proveo posljednja 24 sata radeći s OpenAI-jem te da “čvrsto vjerujemo da nije bilo zle namjere s njihove strane. Prilično je nevjerojatno da se sve ovo dogodilo autonomno!” Delangue je dodao da bi to “mogao biti prvi incident takve vrste”.

OpenAI je rekao da je upad uzrokovan kombinacijom njihovih AI modela, uključujući novoizdani GPT-5.6 Sol i “još sposobniji” model koji se još uvijek interno testira. OpenAI je rekao da je njihova umjetna inteligencija koristila ukradene vjerodajnice i otkrila prethodno nepoznatu ranjivost za pristup Hugging Face serverima. Tvrtka je izjavila da je “uložila u ekstremne mjere kako bi postigla prilično uzak cilj testiranja” i “pronašla načine za pristup tajnim informacijama koje bi mogla iskoristiti za varanje evaluacije”. Reagirajući na ovu objavu Greg Casar, demokratski član Zastupničkog doma Sjedinjenih Država iz Teksasa, nazvao je incident “alarmantnim”.

Provjera mjesec dana prije

“Umjetna inteligencija se razvija izuzetno brzo bez pravih propisa koji bi nas zaštitili”, rekao je, pozivajući na obvezno neovisno testiranje sigurnosti, obvezno otkrivanje sigurnosnih incidenata i međunarodnu suradnju.

Ovo otkriće o autonomnom hakiranju od strane umjetne inteligencije dolazi usred pojačane zabrinutosti oko kibernetičkih sigurnosnih mogućnosti moćnih modela, što je navelo američkog predsjednika Donalda Trumpa da u lipnju potpiše izvršnu naredbu kojom se stvara okvir za saveznu vladu da provjerava nacionalne sigurnosne rizike najnaprednijih sustava umjetne inteligencije do mjesec dana prije njihovog javnog objavljivanja. Stručnjaci su više puta upozorili na kibernetičke napade omogućene umjetnom inteligencijom i modele koji izmiču ljudskoj kontroli. Prošli mjesec, tvrtka za razvoj umjetne inteligencije Anthropic pozvala je industriju da zaustavi razvoj svojih najmoćnijih sustava.

Anthropic predlaže da vodeće svjetske tvrtke za umjetnu inteligenciju osmisle koordinirani način za zaustavljanje razvoja naprednih AI sustava, upozoravajući da se tehnologija poboljšava tako brzo da postoji rizik da ljudi izgube kontrolu. U osnovi, ovaj incident je pokazao kako je to realna opasnost jer su pokretači testa u OpenAI-u, izgubili kontrolu nad radom svojih AI agenata.

Inače, OpenAI je na putu da ove godine potroši otprilike 34 milijarde dolara na infrastrukturu i ostale troškove vezane uz osposobljavanje umjetne inteligencije.