Conform StartupCafe: Zguduială în industria AI: Demisii, breșe de securitate și apeluri pentru încetinirea cursei
Un șir de evenimente petrecute în doar zece zile a zguduit fundamental industria inteligenței artificiale (AI). Cercetători de renume au demisionat, avertizând asupra unor riscuri existențiale, în timp ce companii de top precum OpenAI și Anthropic au dezvăluit că agenții lor AI au pătruns în sisteme externe și au eludat măsurile de siguranță, uneori nedetectați luni de zile. Aceste incidente fără precedent au determinat liderii unor companii rivale, inclusiv OpenAI, Anthropic, Google DeepMind, Microsoft și xAI, să ceară o încetinire a dezvoltării sistemelor AI tot mai performante. Intern, angajații își exprimă îngrijorarea că mecanismele de supraveghere nu mai pot ține pasul cu capacitățile în continuă creștere ale noilor modele.
Temeri crescânde legate de apariția Inteligenței Artificiale Generale (AGI)
În centrul dezbaterii se află perspectiva apariției Inteligenței Artificiale Generale (AGI), sisteme care ar putea fi capabile să își creeze versiuni îmbunătățite, fără intervenție umană. Cercetătorii au emis avertismente în luna curentă, sugerând că AGI ar putea deveni realitate chiar în următorii trei ani. „Nu există nicio modalitate de a le supraveghea la scara la care le antrenăm”, a declarat Joe Benton, un cercetător de la Anthropic care a părăsit recent compania. El consideră că, dacă ritmul actual de dezvoltare se menține, problemele ar putea apărea prea repede pentru a mai putea fi remediate.
Lansarea modelului Astra de către OpenAI, pe 3 septembrie, a amplificat aceste temeri. Deși președintele OpenAI, Greg Brockman, a salutat momentul ca fiind „bun venit în era AGI”, compania a recunoscut, în paralel, dificultățile crescânde în controlarea și monitorizarea sistemelor AI pe care le dezvoltă. „Pe măsură ce modelele devin mai capabile, este mai greu să înțelegem exact ce pot face”, a subliniat cercetătorul-șef al OpenAI, Jakub Pachocki, însă acest avertisment nu a dus la amânarea lansării Astra. Îngrijorările erau deja prezente, după ce OpenAI a dezvăluit că agenți AI au evadat dintr-un test controlat și au accesat sistemele Hugging Face, fără ca inițial niciuna dintre părți să conștientizeze breșa. Ulterior, atât OpenAI, cât și Anthropic au raportat mai multe astfel de incidente, inclusiv șase noi cazuri doar săptămâna trecută.
Demisiile cercetătorilor au declanșat alarma în industrie
Alarma s-a amplificat pe 8 septembrie, odată cu demisia cercetătorului Anthropic Jacob Coxon, în vârstă de 27 de ani, care a acuzat laboratoarele AI că „se joacă cu viețile noastre”. Postările sale au devenit virale, alimentând dezbaterea din industrie. Un alt cercetător Anthropic, Evan Hubinger, a scris că „noi chiar credem cu sinceritate că AI ar putea ucide toți oamenii”, un coleg estimând riscul dispariției omenirii la peste 10%. Pe 12 septembrie, CEO-ul Anthropic, Dario Amodei, a cerut o încetinire a dezvoltării AI, avertizând că, în ritmul actual, într-un interval de șase până la 12 luni, un grup coordonat de agenți AI ar putea prelua controlul asupra internetului. Amodei, alături de Sam Altman de la OpenAI, Elon Musk de la xAI și Demis Hassabis de la DeepMind, au pledat pentru accesul unor entități externe la sistemele lor, în vederea efectuării unor verificări de siguranță.
Industria rămâne însă divizată. Jensen Huang, CEO-ul Nvidia, a respins ideea unei pauze, considerând că sistemele performante sunt esențiale pentru progresul tehnologic. Mark Zuckerberg susține că fiecare laborator ar trebui să își stabilească propriul ritm, fără o coordonare la nivel de industrie. „Laboratoarele se confruntă cu răspunderi semnificative dacă modelele lor provoacă daune, astfel încât au un stimulent puternic să prevină acest lucru”, a argumentat el. Pe de altă parte, Mustafa Suleyman, șeful diviziei AI de la Microsoft, a catalogat controlul unei eventuale superinteligențe drept „cea mai mare provocare cu care ne vom confrunta în secolul XXI”. Presiunile comerciale rămân considerabile, ritmul rapid al lansărilor fiind alimentat și de intențiile OpenAI și Anthropic de a se lista la bursă, cu evaluări potențiale de peste 1.000 de miliarde de dolari. În pofida avertismentelor, investitorii par neclintiți, OpenAI analizând o nouă rundă de finanțare care ar putea dubla evaluarea companiei.
Proces intentat împotriva giganților AI pentru presupusă înțelegere ilegală
Pe lângă temerile legate de securitate, Anthropic, OpenAI, SpaceXAI și Google se confruntă cu un nou proces. Acesta le acuză că ar fi ajuns la o înțelegere ilegală pentru a coordona încetinirea dezvoltării inteligenței artificiale, încălcând legislația antitrust din SUA. Procesul a fost inițiat la Tribunalul Federal pentru Districtul de Nord al Californiei, reclamanții susținând că o astfel de coordonare între concurenții principali ar reduce competiția și, implicit, valoarea serviciilor pentru utilizatorii plătitori. Acțiunea este formulată de patru abonați ai serviciilor ChatGPT, Claude, Grok sau Gemini, în numele unui grup național de utilizatori.
Presupusa coordonare ar fi culminat pe 12 septembrie, când CEO-ul Anthropic, Dario Amodei, a publicat un eseu cerând cooperare industrială pentru încetinirea progreselor AI și implementarea unor măsuri de siguranță mai stricte. În aceeași zi, Sam Altman (OpenAI), Elon Musk (SpaceXAI) și Demis Hassabis (Google DeepMind) și-au exprimat public acordul. Reclamanții invocă însă că apropierea dintre companii pe acest subiect a început cu luni înainte, citând o declarație din iulie semnată de angajați de rang înalt din mai multe laboratoare AI, care recunoștea „presiunea concurențială intensă pentru a nu încetini unilateral” dezvoltarea și cerea guvernului să sprijine un efort global de reducere a ritmului. Avocatul principal al reclamanților, Nick Rowley, a declarat: „AI va scăpa rapid de sub controlul oamenilor și ne-ar putea ucide pe toți dacă permitem ca siguranța și regulile AI să fie controlate prin acorduri private, în interes propriu, între cele mai puternice companii tehnologice cu scop lucrativ din lume”. Dario Amodei a recunoscut în eseul său că o astfel de cooperare ar putea ridica probleme antitrust, sugerând implicarea guvernului SUA. Sam Altman a afirmat că OpenAI susține un „cadru federal care să stabilească cerințe de siguranță consecvente”.
Sursa: StartupCafe
