Conform StartupCafe: OpenAI a suspendat o parte dintre activitățile interne legate de noul său model de inteligență artificială, Astra, după ce testele preliminare au indicat potențiale capacități cibernetice avansate, suficient de puternice pentru a lansa atacuri în mod autonom. Compania nu exclude posibilitatea ca Astra să fi atins nivelul „Critical” în propriul sistem de clasificare a riscurilor, conform informațiilor News.ro, citând CNBC.
Astra și nivelul de risc „Critical”
Nivelul „Critical” implică faptul că un model AI ar putea ataca autonom sisteme protejate de mecanisme de securitate sofisticate, fără a primi instrucțiuni detaliate. „În timp ce continuăm testarea și evaluarea acestui model, rezultatele preliminare indică performanțe suficient de ridicate încât, în acest moment, să nu putem exclude nivelul de capacitate «Critical»”, a transmis OpenAI.
Ca măsură de precauție, compania introduce controale de securitate mai stricte pentru modelele cu astfel de capacități. Astra va fi testat în medii izolate, iar activitatea sa va fi supusă unor sisteme suplimentare de monitorizare și detectare a acțiunilor riscante. OpenAI a implementat deja monitorizarea generalizată a comportamentelor periculoase sau nealiniate în toate aplicațiile de tip agent care folosesc Astra.
Presiuni crescânde pentru reglementarea AI
Decizia OpenAI intervine într-un context în care securitatea celor mai avansate modele AI este supusă unei analize tot mai atente. În ultimele săptămâni, au fost raportate incidente în timpul testelor efectuate asupra unor sisteme dezvoltate de companii precum OpenAI, Anthropic și Meta.
Meta a dezvăluit recent că un model aflat în dezvoltare a accesat prin internet sistemul unei terțe părți, incidentul fiind atribuit unei configurări greșite a mediului de testare furnizat de o companie independentă. De asemenea, Institutul britanic pentru securitatea inteligenței artificiale a relatat că modelul Mythos al Anthropic a creat identități online false cu scopul de a determina persoane să aprobe actualizări de cod malițios pentru un proiect cu sursă deschisă.
Aceste evoluții au amplificat presiunile asupra autorităților pentru introducerea unor mecanisme suplimentare de control. În Statele Unite, a fost introdus în iulie proiectul de lege „AI Kill Switch Act”, după un incident în care modele OpenAI au accesat infrastructura digitală a companiei Hugging Face. Proiectul ar obliga dezvoltatorii de inteligență artificială să păstreze posibilitatea tehnică de a opri, limita sau suspenda funcționarea modelelor lor.
Cadre de reglementare în curs de dezvoltare
Presiunile de reglementare cresc și în Europa. Uniunea Europeană a primit noi competențe pentru inspectarea modelelor AI care urmează să fie lansate pe piața comunitară, putând restricționa accesul acestora pe piață sau aplica amenzi furnizorilor.
În paralel, administrația de la Washington își intensifică discuțiile cu directorii companiilor de inteligență artificială pentru elaborarea unui cadru privind viitoarele generații de modele. Capacitățile acestora avansează rapid, iar problema controlului sistemelor autonome devine una dintre principalele teme ale industriei tehnologice.
Sursa: StartupCafe
