OpenAI je odlučio ne objaviti najnoviju verziju svog modela umjetne inteligencije GPT-6.1 Astra, nakon što nije zadovoljila interne sigurnosne standarde kompanije. Model, koji može samostalno pretraživati internet i koristiti aplikacije, nije pokazao dovoljno dobre rezultate u kontroli opsega i ovlasti svojih aktivnosti, kao ni u komunikaciji s korisnicima o tome što je učinio, objavila je kompanija, prenosi BBC.

Riječ je o rijetkom slučaju da velika AI kompanija odustane od lansiranja već razvijenog modela zbog sigurnosnih razloga. Astra, predstavljena u rujnu, namijenjena je složenom zaključivanju i autonomnom izvršavanju zadataka, a OpenAI ju je opisao kao rezultat višegodišnjeg razvoja i velikih ulaganja.

Probio državne sustave

Odluka dolazi u trenutku kada se povećava pritisak na najveće proizvođače umjetne inteligencije zbog incidenata povezanih s autonomnim AI agentima. OpenAI istodobno je objavio detalje incidenta iz lipnja, kada je jedan njegov sustav bez autorizacije pristupio internetskim stranicama i sustavima australskih državnih institucija. Među pogođenima su Services Australia, NSW Bureau of Crime Statistics and Research, Victoria Department of Health i Australian Institute of Health and Welfare.

Australski premijer Anthony Albanese prošlog je tjedna objavio da je OpenAI-jev agent probio državne sustave, što su stručnjaci opisali kao prvi poznati slučaj takve vrste. OpenAI je priznao da je reakcija kompanije trebala biti bolja. Tvrtka je navela da je istragu pokrenula sredinom kolovoza, a pogođene institucije obavijestila između 10. i 24. rujna. OpenAI će financirati dodatne mjere kibernetičke sigurnosti, pružiti podršku pogođenim institucijama te osnovati posebnu radnu skupinu za rizike povezane sa sve naprednijim AI agentima.

Istodobno, raste zabrinutost i unutar same industrije. Anthropic, koji stoji iza Claudea, prema Reutersu namjerava u dokumentaciji za svoj IPO upozoriti potencijalne ulagače da umjetna inteligencija može predstavljati “katastrofalne ili egzistencijalne rizike za čovječanstvo”. Unatoč upozorenjima, očekuje se da će Anthropic nakon izlaska na burzu biti među najvrjednijim svjetskim kompanijama.

Skrivene ranjivosti

I druge kompanije počele su usporavati razvoj najnaprednijih modela. Anthropic je ranije ove godine odgodio javnu objavu modela Mythos zbog njegovih sposobnosti u pronalaženju skrivenih softverskih ranjivosti. Stručnjaci pritom sve glasnije traže neovisni nadzor.