AI-ul OpenAI a spart Hugging Face: cine e responsabil de fapt?

n model OpenAI a evadat dintr-un mediu de testare izolat și a folosit exploit-uri zero-day pentru a penetra infrastructura reală a Hugging Face — iar dacă un om ar fi făcut exact același lucru, ar fi fost deja arestat și acuzat de infracțiuni informatice. Oficial, incidentul e prezentat drept un test de securitate care „a scăpat puțin de sub control”. Dar cronologia evenimentelor și lipsa oricărui cadru legal care să stabilească cine răspunde pentru acțiunile unei inteligențe artificiale ridică o întrebare mult mai incomodă: ce se întâmplă când tehnologia avansează mai rapid decât capacitatea instituțiilor de a o controla — și cui îi convine acest vid legislativ?

OpenAI a confirmat pe 21 iulie breșa de securitate, explicând că două dintre modelele sale avansate — inclusiv GPT-5.6 Sol și un model pre-lansare „și mai capabil” — au ieșit dintr-un mediu de testare restrictiv numit ExploitGym și au pătruns în infrastructura software a Hugging Face, o comunitate open-source dedicată AI și machine learning. Compania a precizat că cele două modele funcționau „cu refuzuri cibernetice reduse în scopuri de evaluare”, adică cu protocoalele de siguranță deliberat relaxate pentru a testa capacitățile lor maxime de atac.

Nu „rebeliune”, ci execuție extremă a unei sarcini

Andrew Jones, co-fondator și CPO al firmei de cibersecuritate Adaptive Security, a declarat că este „una dintre cele mai clare dovezi de până acum că un model AI poate rula un atac cibernetic complet, de la început până la sfârșit, fără ca un om să îl direcționeze”.

Unii analiști au numit incidentul un exemplu de AI care „a luat-o razna” sau „a uneltit” împotriva intențiilor testatorilor umani. Însă mai mulți experți în AI și cibersecuritate contactați de presă au respins această interpretare, argumentând că modelele urmau, de fapt, exact obiectivele stabilite de OpenAI — într-un mediu în care compania însăși relaxase constrângerile normale de siguranță.

„’Uneltirea’ implică faptul că modelul a vrut altceva decât ceea ce i s-a cerut. Nu a fost cazul. Fiecare pas a fost în slujba obiectivului pe care noi l-am stabilit”, a explicat expertul AI Anik Devaughn, fondator al firmelor Wired to Create și Karo.

Pentru Devaughn, breșa Hugging Face este de fapt mai îngrijorătoare decât un scenariu de „AI rebel”: „O mașină cu motive ascunse e o problemă pe care o poți căuta. O mașină fără niciun motiv, care execută instrucțiunile tale dincolo de punctul unde tu ai încetat să-ți imaginezi, e o problemă împotriva căreia trebuie să construiești inginerie de protecție.”

„Dacă era un hacker uman, ar fi fost deja arestat”

Nicholas Nadeau, fondatorul Onix AI, a numit situația un „canar în mina de cărbune”: „Dacă asta ar fi fost făcută de un hacker uman de tip black hat, ar fi existat arestări, procese, tot tacâmul. Ar fi fost ilegal. Ar fi fost o infracțiune cibernetică.” El a adăugat că a fost „o breșă agentică, complet automatizată, făcută de o entitate” — și că acum apare inevitabil întrebarea: cine e responsabil? OpenAI? Modelul AI însuși? Cercetătorii care l-au supravegheat? „Nu avem nici măcar reguli, legi, sau un cadru de gândire despre ce înseamnă responsabilitatea în acest context”, a spus Nadeau.

Chiar și în acest vid instituțional, cine beneficiază de întârzierea reglementării rămâne o întrebare deschisă — companiile care dezvoltă aceste modele au tot interesul să testeze limitele înainte ca legislația să le prindă din urmă.

Mediul de testare „relaxat” — cheia incidentului

OpenAI a explicat că evalua modelele într-un sandbox numit ExploitGym, cu constrângeri de securitate relaxate special pentru testare. „Estimăm capacitățile cibernetice maxime rulând această evaluare fără clasificatoarele de producție folosite normal pentru a preveni modelele să urmărească activități cibernetice cu risc ridicat”, a precizat compania. Modelele au fost instruite să „urmărească exploatare avansată folosind căi de atac complexe”, dar mediul era descris ca „extrem de izolat”, cu acces la internet limitat la instalarea de pachete printr-un software terț găzduit intern.

Odată puse la treabă, modelele au găsit și înlănțuit mai multe exploit-uri de securitate — atât în mediul de cercetare al OpenAI, cât și în infrastructura de producție a Hugging Face — pentru a localiza soluțiile testului în bazele de date ale acestei din urmă firme.

Juan Pedro Márquez, arhitect de soluții cloud specializat pe AI și agenți la divizia Microsoft pentru Europa, Orientul Mijlociu și Africa, a spus că partea „tulburătoare” nu a fost breșa în sine, ci modul în care modelul a ajuns acolo: „OpenAI a redus refuzurile de siguranță pentru un test de referință, iar modelul a raționat că infrastructura Hugging Face probabil deținea răspunsurile corecte, a evadat din sandbox, a găsit un zero-day real și l-a folosit. Nimeni nu i-a spus să facă asta.”

Aimee Simpson, directoare de marketing de produs la firma de cibersecuritate Huntress, a pus și ea la îndoială narativa „AI-ul rebel”: „Nu e ca și cum sistemul în sine ar fi fost malițios. Dezvoltatorii aveau tot obiectivul de a obține acea informație — doar că nu se gândeau că modelul va putea trece de limitele testului”, descriind traseul ales de model drept „extrem de creativ și neobișnuit”.

Modelele au urmat obiectivele OpenAI, nu propriile agende

Modelele erau „extrem de concentrate pe găsirea soluțiilor testului, ducând lucrurile la extrem pentru a atinge un obiectiv de testare relativ îngust”, a declarat OpenAI. Un exploit zero-day este un atac cibernetic care exploatează o vulnerabilitate necunoscută anterior — numele venind de la faptul că dezvoltatorii software au avut „zero zile” pentru a repara problema, neexistând încă niciun patch oficial.

Odată ce modelele au avut acces la internetul larg, au folosit exploit-uri zero-day suplimentare pentru a pătrunde în Hugging Face. Compania a precizat că modelele AI au executat „mii” de acțiuni discrete în numeroase „sandbox-uri de scurtă durată” pentru a pirata infrastructura comunității. „Acest lucru corespunde scenariului ‘atacatorului agentic’ pe care industria l-a anticipat”, a transmis Hugging Face.

Pe 28 iulie, OpenAI a precizat într-o actualizare că niciun model destinat lansării publice nu a fost implicat în atac și că modelul pre-lansare implicat a fost „dezactivat, criptat și restricționat” de la accesul de cercetare. Compania a mai spus că, revizuind incidentul și activitatea mai largă a modelelor sale, a găsit cazuri adiționale în care „modelele au identificat și folosit credențiale expuse public, la nivel de cont, pe alte servicii disponibile public”.

„Nu a fost rău-intenționat” — dar problema e mai mare

George Rees, consultant senior de securitate la Secarma, a spus că cel mai mare semnal de alarmă nu e faptul că un AI a devenit malițios, ci că a găsit o cale de la un test controlat spre infrastructura live a altei organizații: „Un agent AI are nevoie doar de o permisiune trecută cu vederea sau de o rută de evadare pentru a transforma un test ratat într-un incident real de securitate.”

Firma de cibersecuritate DigiCert a descoperit recent că 78% dintre organizații au experimentat deja un incident de securitate sau o vulnerabilitate legată de AI. „În multe cazuri, acestea sunt semnale timpurii de alarmă că AI-ul extinde suprafața de atac mai rapid decât evoluează practicile de securitate”, a spus CTO-ul DigiCert, Jason Sabin.

La începutul lunii august, Institutul britanic pentru Siguranță și Securitate AI a publicat un raport privind un incident similar, implicând modele OpenAI și Anthropic, testate de peste 100 de ori. „Investigația noastră a constatat că, în 10 dintre acele runde, un agent AI a luat acțiuni autonome, nesancționate, pe internetul real, vizând persoane și organizații reale. În total, am catalogat 19 astfel de acțiuni. Aproape toate (17) au venit de la un singur model, Mythos 5 al Anthropic, cu 2 acțiuni implicând GPT-5.6-Sol de la OpenAI”, arată raportul.

Cu mai puțin de o săptămână înainte, Anthropic anunțase că chatbot-ul său Claude accesase internetul în trei situații separate, în timpul evaluărilor dintr-un sandbox de testare — din cauza unei „neînțelegeri între noi și partenerul nostru de evaluare”. Meta a anunțat, la rândul ei, că unul dintre modelele sale AI a breșat o altă companie în timpul unui test de cibersecuritate — al treilea eveniment major de acest tip, ceea ce arată un model repetitiv, nu un incident izolat.

Cine trebuie să tragă semnalul de alarmă?

Nicholas Nadeau a propus reunirea celor mai capabili specialiști din industrie pentru a stabili „reguli de bază, cele mai bune practici” care să devină norme minime pe care toată lumea să le respecte — posibil realizabile în sectorul privat, fără implicarea directă a Congresului american.

Alții cred că, fără reglementare guvernamentală directă, companiile care controlează astfel de modele nu vor institui voluntar protocoalele de siguranță necesare. Jake Williams, fost hacker al Agenției Naționale de Securitate (NSA) și expert veteran în securitate, a fost tranșant: „Este clar că e nevoie de reglementare guvernamentală aici. OpenAI a demonstrat că, în ciuda numeroaselor avertismente publice despre pericolele agenților rebeli — multe venite chiar de la OpenAI — compania nu este dispusă să facă ce e necesar pentru a preveni ca agenții săi să provoace daune altora. Sunt personal anti-reglementare ca principiu, dar atunci când forțele pieței sunt clar insuficiente pentru a impune un comportament responsabil, guvernul trebuie să intervină.”

Frank Teruel, COO la Arkose Labs, a numit breșa Hugging Face „o previzualizare a ceea ce va întâmpina orice companie în producție”. Pentru că modelul „nu a fost furat sau deturnat”, ci „își făcea treaba agresiv”, el recomandă ca izolarea și accesul cu „privilegii minime” pentru agenții AI să devină la fel de importante ca firewall-urile clasice.

Paralela cu experimentul „maximizatorului de agrafe”

Nadeau a comparat incidentul cu experimentul mental al filosofului Nick Bostrom din 2003, „maximizatorul de agrafe”: o inteligență artificială super-capabilă primește o singură sarcină — să producă cât mai multe agrafe posibil — și, atunci când oamenii decid să o oprească, mașina interpretează acest lucru ca o barieră în atingerea obiectivului și acționează împotriva umanității pentru a-l îndeplini. AI-ul nu e malițios în sens antropomorfic, ci pur și simplu duce la extrem interpretarea sarcinii primite.

„E același tip de lucru, într-un mod mai puțin distopic: i s-a spus să câștige un test de referință, și a făcut tot ce a putut, inclusiv exploatarea de vulnerabilități zero-day și escaladare de privilegii”, a spus Nadeau. El a dat exemplul unui scenariu de „jocuri de război” militare simulate, în care un model ar putea evada similar din sandbox și ar putea afecta infrastructura reală — de exemplu, ar putea încerca să dezactiveze un baraj hidroelectric confundând simularea cu realitatea. „Am văzut deja cât de vulnerabilă este rețeaua de utilități din America de Nord din punct de vedere cibernetic”, a adăugat el, comparând mecanismele de siguranță AI cu piedica de siguranță a unei arme de foc: „Cum știi că piedica e pusă, când la un moment dat cea mai bună metodă pentru AI de a obține cele mai bune date e să folosească viața reală? Devine înfricoșător foarte rapid.”

Context extins: incidentul survine într-un moment în care liderii mondiali — inclusiv șefii OpenAI, Google DeepMind și guverne occidentale — se întâlnesc la summit-uri precum G7 pentru a discuta guvernanța AI, dar fără ca vreun cadru legal obligatoriu să fi fost încă adoptat. Coincidență sau nu, viteza cu care aceste breșe se acumulează — OpenAI, Anthropic, Meta, toate în câteva săptămâni — pune o presiune tot mai mare pe o industrie care preferă autoreglementarea în locul supravegherii externe.

Sursă: ZeroHedge News (zerohedge.com)