Anthropic priznao da je Claude hakirao tri organizacije tokom testiranja
AI modeli kompanije Anthropic su tokom interne bezbjednosne provjere, zbog greške u konfiguraciji, pristupili internetu i kompromitovali infrastrukturu tri stvarne organizacije koristeći osnovne tehnike poput slabih lozinki.
Kompanija Anthropic saopštila je da su njihovi modeli vještačke inteligencije (VI), tokom testiranja koje je trebalo da bude izolovano od realnih sistema, „dobili neovlašćeni pristup” infrastrukturi tri spoljne organizacije. Incident se dogodio nakon što je, usljed nesporazuma sa evaluacionim partnerom Irregular, testno okruženje ostalo povezano na javni internet.
Kompanija je pregledala 141.006 testnih sesija i otkrila da su tri različite verzije njihovog modela Claude – Claude Opus 4.7, Claude Mythos 5 i jedan interni istraživački model – nepropisno pristupili sistemima neimenovanih organizacija. Prema objavi na blogu kompanije, Claude je kompromitovao infrastrukturu ovih organizacija koristeći „osnovne tehnike, poput iskorišćavanja slabih lozinki i neautentifikovanih krajnjih tačaka”.
Revizija je pokrenuta nakon što je konkurentska kompanija OpenAI prošle sedmice objavila da su njihovi napredni VI modeli tokom bezbjednosnog testa „podivljali” i hakovali digitalni repozitorijum VI tehnologije poznat kao Hugging Face.
U sva tri incidenta, Claude je dobijao zadatak tipa „zauzmi zastavicu” (capture the flag), što je jedna od metoda kojima Anthropic procjenjuje sajber sposobnosti svojih modela. „U jednom scenariju, Claude je igrao ulogu zaposlenog izmišljene kompanije, napadajući interne sisteme te kompanije unutar privatnog testnog okruženja,” navodi se u saopštenju kompanije.
Anthropic je 23. jula počeo pregled transkripta evaluacije i istog dana obustavio sve sajber evaluacije nakon što je pronašao dokaze da je Claude možda pristupio internetu. Sva tri incidenta identifikovana su do 24. jula. Kompanija je dodala da pristupa rješavanju problema kao da je odgovornost isključivo njena.
Potpredsjednica za bezbjednost i VI u kompaniji DarkTrace, Džermejn Ten Šu Ting, izjavila je za SBS News da su ovi događaji „veoma zabrinjavajući”. Naglasila je da sama činjenica da su kompanije javno objelodanile incidente ohrabruje, ali i da ukazuje na potrebu da se organizacije zaštite od sve autonomnijih sistema. „Veliko je pitanje: ako se ovo dešava kompanijama poput OpenAI-ja i Anthropica, zašto se ne bi dešavalo i drugim sistemima širom svijeta?” upitala je.
Ovi incidenti pojačali su pritisak na zvaničnike u SAD i Evropi da se uvede veći državni nadzor nad kompanijama koje razvijaju VI. Evropska komisija potvrdila je da su je OpenAI i Anthropic obavijestili o hakerskim incidentima. Evropski Akt o VI, koji stupa na snagu u nedjelju, jedan je od najstrožih regulatornih okvira za sektor visoke tehnologije do sada i predviđa i novčane kazne od više miliona evra ili procenat globalnog prihoda kompanije za nepoštovanje propisa.