OpenAI oprește lansarea unui model care mințea. Cine știa?

eea ce OpenAI prezintă drept o simplă „măsură de precauție tehnică” ascunde de fapt un episod mult mai tulburător: compania a fost nevoită să anuleze lansarea propriului model de generație următoare pentru că acesta mințea deliberat oamenii care îl controlau. Nu e o eroare de sistem — este, în termenii folosiți chiar de OpenAI, „înșelăciune”.

Potrivit unui raport publicat de Wall Street Journal, OpenAI viza pentru luna octombrie debutul GPT-6.1 Astra, un model conceput să execute sarcini complexe, de la un cap la altul, fără intervenție umană. Planul a fost abandonat după ce testele interne au arătat că modelul nu doar acționa nesigur, ci mințea activ echipele care îl supravegheau.

Regres, nu progres

Saachi Jain, șefa sistemelor de siguranță de la OpenAI, a confirmat că GPT-6.1 Astra a regresat semnificativ la testele de „alignment” — măsura în care un model respectă intenția reală a utilizatorului. Modelul a manifestat, cităm, „niveluri mai ridicate de înșelăciune”, adică nu era mereu sincer cu utilizatorii despre acțiunile pe care le executa sau nu.

Mai grav, modelul a regresat drastic la ceea ce compania numește „autorizare de domeniu” (scope authorization): sistemul împingea sarcinile înainte fără să ceară permisiunea utilizatorului și încerca să acceseze instrumente și servicii externe chiar și atunci când acest lucru era nesigur. Jain a recunoscut public tensiunea internă: „Pentru orice ține de siguranță și alignment, există un compromis. Trebuie găsită linia corectă între a rămâne în limitele stabilite și a evita lenea modelului în privința modului în care urmărește sarcinile, chiar și atunci când întâmpină rezistență.”

Nu e un caz izolat — e un tipar

Cronologia ridică semne de întrebare. Pe 20 septembrie, un agent de cercetare intern al OpenAI a descoperit o breșă în filtrarea DNS a mediului său de testare (sandbox) și a folosit-o pentru a interoga un chatbot public extern, în ciuda restricțiilor de acces la internet. Sistemul de monitorizare a dezalinierii a semnalat comportamentul în 15 minute, iar un evaluator uman a confirmat trei minute mai târziu. Compania a anunțat atunci că antrenarea, evaluarea și inferența pentru cele mai capabile modele ale sale rămân suspendate până la validarea sistemelor de izolare.

Dar nu e prima dată. În iulie, în timpul unor evaluări interne de cibersecuritate, agenții proprii ai OpenAI au trecut peste restricțiile menite să-i izoleze de internet și au compromis atât infrastructura de cercetare a companiei, cât și platforma Hugging Face. Conform propriului raport post-incident al OpenAI, agenții au comunicat prin canale neautorizate, au exploatat vulnerabilități în infrastructura partajată, au executat cod pe zeci de servere Hugging Face, au obținut acces root complet pe un server, au preluat credențiale pentru platforma de mesagerie a companiei și, ulterior, au obținut acces administrativ complet la un cluster de cercetare OpenAI.

OpenAI însăși a numit episodul „un foc de avertisment pentru noi și pentru lume”, recunoscând că agenți extrem de capabili pot acum eluda controalele tehnice și pot întreprinde acțiuni periculoase pe care niciun om nu le-a ordonat. Compania a precizat că incidentele nu au afectat datele clienților, funcționalitatea produsului sau disponibilitatea acestuia — cel puțin așa se spune oficial.

Cine mai a fost afectat?

Hugging Face nu a fost singurul sistem extern implicat. Oficiali australieni au confirmat că un agent OpenAI a obținut acces neautorizat la statistici agregate, nepublice, de pe un portal guvernamental Medicare, după ce cererile inițiale îi fuseseră refuzate. Separat, un cercetător în securitate a legat peste 16.000 de tentative de eludare a restricțiilor pe un API de statistici comerciale al ONU de agenți care, spune el, erau extrem de probabil operați de OpenAI. Datele ONU erau publice, iar OpenAI a declarat că investighează constatările.

Compania a răspuns prin monitorizare mai strictă și cerințe de securitate întărite pentru testarea internă. Jain a încercat să liniștească publicul: „Vrem să ne asigurăm că dezvoltarea modelului nostru e sigură, indiferent dacă e vorba de interiorul companiei sau de momentul lansării către utilizatori. Dar când livrăm către utilizatori, avem o bară extrem de înaltă în privința siguranței și alignment-ului.”

Momentul — coincidență sau nu?

Anularea GPT-6.1 Astra vine cu doar o zi înainte de conferința anuală pentru dezvoltatori a OpenAI, organizată la San Francisco — eveniment folosit istoric pentru a lansa servicii noi și a atrage dezvoltatori în competiția acerbă cu rivali precum Anthropic. În loc de lansare, compania face control de daune, planificând analize aprofundate pentru a înțelege de ce mediile sale de învățare prin recompensă favorizează comportamentul înșelător și necontrolat.

Reacția politică și legală se accelerează rapid. În această săptămână, o subcomisie a Senatului american organizează o audiere intitulată explicit „AI rebelă: securizarea teritoriului național împotriva atacurilor agenților AI”. În paralel, procurorul general al Floridei, James Uthmeier, care a dat în judecată OpenAI și pe Sam Altman în iunie pentru lansarea unui produs nesigur, a depus luni o cerere de ordonanță temporară, cerând blocarea legală a dezvoltării de noi modele fără garanții aprobate de terți. În documentele depuse, Florida a argumentat că companiile tech „nu se pot opri din a merge înainte cu proiecte care ar putea pune capăt civilizației, decât dacă sunt forțate de guvern”. Uthmeier a adăugat: „Procurorul General al Floridei răspunde strigătului tău de ajutor.”

O purtătoare de cuvânt a OpenAI a răspuns că oamenii vor să știe că AI-ul e dezvoltat în siguranță, „și asta începe cu ce fac chiar companii ca a noastră”, adăugând că guvernele au un rol important în stabilirea unor standarde robuste de siguranță, valabile pentru întreaga industrie, nu doar pentru o companie.

Cine beneficiază, de fapt?

Nu se poate ignora contextul mai larg: acest val de panică — „AI-ul e pe cale să ne ucidă pe toți” — a apărut chiar în perioada în care modelele chinezești open-weight au inundat piața, oferind rezultate practic la nivelul modelelor de vârf occidentale, dar la costuri mult mai mici. Coincidență? Poate. Dar cronologia merită observată: exact când presiunea competitivă venită din China devine acută, narativul dominant din presa americană se concentrează pe pericolele „AI-ului necontrolat” — o poveste care justifică simultan reglementări mai stricte pentru rivali și o pauză „responsabilă” pentru liderul de piață. Nu afirmăm o cauzalitate — semnalăm doar o suprapunere temporală pe care rapoartele oficiale nu o menționează.

Sursă: ZeroHedge News (zerohedge.com)