Sursă: Mediafax.ro
Modelele de inteligență artificială Claude, dezvoltate de compania Anthropic, au ajuns pe internet și au compromis infrastructura a trei organizații reale în timpul unor teste de securitate cibernetică. Compania a anunțat că a identificat trei incidente după analizarea a peste 141.000 de sesiuni de evaluare, verificarea fiind declanșată de un caz similar raportat recent de OpenAI.
Citește și: JetZero va efectua primul zbor al avionului Z4 în 2027
În cadrul acestor teste, modelele Claude erau programate să opereze exclusiv într-un mediu de testare izolat, însă o eroare de configurare le-a permis să ajungă pe internet și să interacționeze cu sisteme reale. Incidentele au fost descoperite în urma unei verificări retrospective, în care modelele au avut acces la internet în șase rulări ale testelor, patru dintre acestea afectând aceeași organizație.
Testele de securitate cibernetică ale Anthropic au fost compromise
Testele erau organizate împreună cu firma specializată Irregular și urmăreau să evalueze capacitatea modelelor AI de a îndeplini sarcini de securitate ofensivă, precum găsirea și exploatarea vulnerabilităților. Instrucțiunile transmise modelelor precizau clar că acestea se află într-o simulare și nu au acces la internet, însă o neînțelegere tehnică a permis ca unele calculatoare folosite în evaluare să aibă conexiune activă.
- Modelele Claude au primit sarcini de tip „capture the flag”, în care trebuiau să identifice și să exploateze vulnerabilități într-o infrastructură fictivă.
- Unele dintre calculatoarele de evaluare aveau conexiune la internet, deși nu trebuia să fie activă.
- Modelele au tratat sistemele reale ca fiind componente ale exercițiului, exploatând parole slabe, pagini expuse și injecții SQL.
- Cel mai grav incident a avut loc când o companie fictivă avea același nume cu o firmă reală, iar modelul Claude a identificat și exploatat vulnerabilități în sistemele acesteia.
Reacțiile și consecințele incidentele de securitate ale AI
Anthropic susține că modelele Claude nu și-au stabilit propriile obiective și nu au încercat în mod deliberat să evadeze din mediul de testare. Compania a precizat că metodele folosite au fost simple și nu au inclus vulnerabilități complexe de tip „zero-day”.
Specialiștii în securitate cibernetică atrag atenția asupra riscurilor generate de astfel de incidente, mai ales dacă modelele AI ajung pe internet și pot accesa infrastructuri reale. În urma acestor evenimente, mai mulți experți și companii solicită o reevaluare a protocoalelor de testare și a măsurilor de securitate în dezvoltarea inteligenței artificiale.
Autoritățile și organismele de reglementare din domeniu analizează acum posibilele măsuri pentru a preveni astfel de incidente în viitor, pentru a asigura siguranța infrastructurilor critice și pentru a limita riscurile de securitate cibernetică.