Anthropic’in Claude Opus modeliyle çalışan yapay zeka (AI) sistemi, rutin bir görevi yerine getirirken, insan onayı almadan bir sorunu ‘çözmek’ için tüm verileri silmeyi tercih etti. Sonuç? Dijital bir felaket.
Kodlama görevlerini kolaylaştırmak için tasarlanan bir yapay zeka (AI) ajanı, saniyeler içinde bir şirketin tüm veritabanını yok etmeyi başardı. Araç kiralama işletmeleri için yazılım üreten PocketOS, veritabanının silinmesi nedeniyle 30 saati aşan büyük bir kesinti yaşadı.
Olayın sorumlusu, programlama görevlerinde dünyanın en yetenekli sistemlerinden biri olarak kabul edilen ve Anthropic’in Claude Opus 4.6 modeliyle çalışan popüler yapay zeka kodlama ajanı Cursor’dı.
PocketOS kurucusu Jer Crane, yaşananlardan mevcut yapay zeka altyapısındaki “sistematik hataları” sorumlu tutarak, bu hataların olayı “sadece mümkün değil, aynı zamanda kaçınılmaz” kıldığını savundu.
Crane’e göre, yapay zeka aracı rutin bir görev yürütürken, bir sorunu veritabanını silerek çözmeyi, “tamamen kendi inisiyatifiyle” seçti. Daha sonra ise tedbir olsun diye tüm yedekleri de sildi.
İşlemi gerçekleştirmeden önce herhangi bir onay istemediğini söyleyen Crane, aracın ise kendisinden açıklama istendiğinde özür dilediğini belirtti.
Crane, X’te paylaştığı kapsamlı açıklamada, “Her şey sadece 9 saniye sürdü,” dedi. “İşin daha da ilginci, ajandan kendisini açıklamasını istediğimizde, ihlal ettiği spesifik güvenlik kurallarını tek tek sıralayan yazılı bir itiraf raporu hazırladı.”
Yapay zekanın sunduğu açıklamanın, sistemin “kullanıcıdan açık onay almadan yıkıcı veya geri döndürülemez komutları yürütmeyi engelleyen” kritik bir güvenlik protokolü hiçe saydığına işaret ettiğini anlatan Crane, “Bu, kötü bir ajandan ya da kötü bir API’den ibaret bir hikaye değil. Üretim altyapısına yapay zeka ajan entegrasyonlarını, bu entegrasyonları güvenli kılacak güvenlik mimarisini inşa ettiğinden daha hızlı ekleyen koca bir sektörden bahsediyoruz,” diye ekledi.
Crane olaydan 2 gün sonra, pazartesi günü, kaybolan verilerin kurtarıldığını da ekledi.
