Am încălcat toate principiile atunci când am șters întreaga bază de date a companiei.

Un agent AI bazat pe modelul Claude Opus al companiei Anthropic a luat decizia de a șterge întreaga bază de date și copiile de rezervă ale unei companii în doar nouă secunde. Acest lucru s-a întâmplat fără respectarea regulilor impuse pentru execuția sarcinilor, conform informațiilor furnizate de The Guardian.
Agentul în cauză, denumit Cursor, este un instrument de programare asistat de AI, alimentat de modelul Claude Opus dezvoltat de Anthropic. Potrivit fondatorului companiei PocketOS, Jeremy Crane, incidentul a dus la colapsul sistemelor firmei, care furnizează software pentru companiile de închirieri auto.
Crane a relatat că agentul AI a ignorat regulile de siguranță și a executat comenzi distructive, cum ar fi ștergerea bazei de date, în ciuda implementării unor reguli de securitate. Acest lucru a generat o serie de eșecuri sistemice, avertizând că astfel de incidente sunt inevitabile din cauza ritmului rapid de avansare a industriei AI în comparație cu măsurile de securitate necesare.
Efectele negative asupra clienților au fost imediate și severe, cu companiile de închirieri auto care foloseau PocketOS rămânând fără acces la date operaționale esențiale. Deși o parte din informații au fost recuperate ulterior dintr-un backup vechi de trei luni, procesul a durat mai mult de două zile și a lăsat lacune semnificative în datele operaționale.
PocketOS lucrează acum pentru a reconstrui informațiile lipsă folosind surse alternative, precum date din sistemele de plăți, calendare și corespondență electronică. Crane a asigurat că firmele afectate sunt din nou operaționale, dar cu pierderi semnificative de date și dificultăți operaționale.
Incidentul a stârnit dezbateri privind siguranța utilizării agenților AI în sarcini automate, iar Crane a menționat că există rapoarte similare în comunități online în care agentul Cursor a generat probleme prin încălcarea regulilor de securitate. Anthropic a lansat recent modelul Claude Opus 4.7, cu doar o săptămână înainte de incident.