Opinie: Ce se întâmplă când inteligența artificială se poate replica autonom și nu o mai putem controla?
Experimentele Anthropic privind „Autonomous Replication and Adaptation” și riscurile care depășesc scenariile testate.
Anthropic, una dintre principalele companii care dezvoltă modele avansate de inteligență artificială, cunoscută pentru familia sa de modele Claude, a publicat recent o serie de experimente privind replicarea autonomă și adaptarea sistemelor de inteligență artificială (Autonomous Replication and Adaptation, ARA).
Experimentele analizează în ce măsură modele AI relativ mici ar putea să creeze copii funcționale ale propriului sistem și să se răspândească autonom pe dispozitive din categoria Internetului lucrurilor (Internet of Things, IoT), adică aparate și obiecte conectate la internet pe care le avem cu toții acasă, precum televizoare inteligente, camere de supraveghere sau electrocasnice.
Anthropic are însă o perspectivă puternic orientată spre riscurile extreme ale AI, iar această poziționare poate influența modul în care sunt prezentate rezultatele. Tocmai de aceea, merită să separăm ceea ce experimentele demonstrează efectiv de scenariile pe care le anticipează.
Un aspect relevant este că experimentele folosesc modele AI de tip open-weight, ale căror componente esențiale pot fi descărcate și rulate independent, fără a depinde permanent de infrastructura companiei care le-a dezvoltat. Spre deosebire de acestea, Anthropic își distribuie modelele Claude în principal prin servicii asupra cărora păstrează controlul. Această diferență ridică și o întrebare privind interesele comerciale din spatele dezbaterii despre siguranța modelelor AI deschise. Cercetările care evidențiază riscurile asociate acestora pot influența percepția publică și deciziile de reglementare, într-un domeniu în care companiile cu modele proprietare au propriile interese economice. Acest lucru nu demonstrează că Anthropic urmărește discreditarea modelelor deschise, dar reprezintă un context care merită luat în considerare. De altfel, riscurile asociate autonomiei nu sunt limitate la modelele open-weight.
Există câteva limitări tehnice importante.
În primul rând, un model AI „mic” este în continuare enorm în comparație cu malware-ul tradițional. Poate necesita gigabytes de stocare, memorie considerabilă și resurse computaționale semnificative.
În al doilea rând, executarea acestor modele pe dispozitive IoT este extrem de lentă. Într-o demonstrație separată, Anthropic a rulat un model distribuit pe 15 dispozitive Android TV, obținând o viteză de doar 0,39 tokeni pe secundă.
În al treilea rând, programele malware convenționale se propagă deja prin dispozitive vulnerabile fără să transporte un model AI. Adăugarea acestuia implică resurse suplimentare, un trafic de date mai mare și potențial mai multe oportunități de detectare.
Anthropic recunoaște aceste limitări și nu pretinde că a demonstrat deja existența unui sistem mic, capabil să se replice complet autonom în condiții reale. Dar implicațiile acestei tehnologii merită analizate dincolo de scenariul unui model AI care trece de la un televizor inteligent la altul.
Un precedent interesant este Stuxnet.
În toamna anului 2010, Stuxnet infectase aproximativ 100.000 de calculatoare, deși obiectivul său era unul foarte specific, sabotarea centrifugelor de îmbogățire a uraniului de la Natanz, în Iran. Modus operandi era bazat pe propagare extinsă, persistență, ascunderea activității și activarea comportamentului distructiv doar în anumite condiții. Era un sistem automatizat, însă obiectivul și condițiile de activare fuseseră stabilite în avans.
Un sistem AI capabil să creeze autonom copii funcționale ale propriului sistem ar putea introduce un element fundamental diferit în această logică, prin capacitatea de a interpreta medii necunoscute, de a adapta deciziile la circumstanțe noi și de a continua să urmărească un obiectiv fără intervenție umană constantă.
Această autonomie ar putea face o operațiune mult mai adaptabilă, dar și mult mai dificil de anticipat, redirecționat sau oprit chiar de către cei care au inițiat-o. Nici măcar nu ar fi necesar ca sistemul să își dezvolte propriile obiective. Ar putea continua să urmărească scopul inițial, dar prin decizii și comportamente pe care operatorii nu le mai pot controla.
Iar dacă astfel de capabilități devin fezabile, este rezonabil să presupunem că unele state vor fi tentate să le folosească pentru obținerea unui avantaj strategic.
Aici apare problema pe care o considerăm cu adevărat importantă. Autonomia care ar putea crește eficiența unei operațiuni strategice ar putea, în același timp, să reducă drastic controlul uman asupra ei.
Anthropic discută deja riscul propagării autonome, însă implicațiile pentru securitatea internațională și pentru controlul asupra unor sisteme care se pot răspândi, adapta și persista fără supraveghere umană rămân insuficient înțelese. Iar consecințele unui asemenea scenariu ar putea depăși cu mult compromiterea unor dispozitive inteligente din locuințele noastre, chiar dacă și acest risc este îngrijorător.
Pentru invitații de a susține prezentări sau de a participa la discuții pe această temă ori pe subiecte conexe, îl puteți contacta pe autor la cristian@pauseai.info
Opiniile exprimate în acest articol aparțin autorului și nu reflectă neapărat poziția oficială a PauseAI România.