Yapay Zekâ ve LLM Güvenliği
Yapay Zekâ Tehdit Modellemesi
Yapay zekâ sisteminiz devreye alınmadan önce kötüye kullanım senaryolarını belirliyoruz. Yetki, onay ve izleme kontrollerini tasarım aşamasında sizinle birlikte tanımlıyoruz.
Nedir?
Tehdit modellemesi, bir sistemin nasıl kötüye kullanılabileceğini devreye alınmadan önce inceler. Klasik yöntemler veri ile talimatı ayrı varsayar, ancak modelin okuduğu her içerik talimat içerebilir. Bu nedenle güven sınırlarını içerik kaynaklarına ve araçlara göre belirleriz. Senaryoları OWASP LLM Top 10 ve MITRE ATLAS'a dayandırırız.
Kapsam
- Veri akış diyagramı ve güven sınırları
- Modelin okuduğu içerik kaynakları ve çağırdığı araçların listesi
- Kötüye kullanım senaryoları ve olası etkileri
- Yetki, insan onayı ve çıktı doğrulama gereksinimleri
- İzleme, loglama ve olay müdahale gereksinimleri
- Canlıya geçiş öncesi güvenlik testi planı
İhtiyaç
Hangi durumlarda ihtiyaç duyulur?
- Yapay zekâ projesi henüz tasarım aşamasındayken ve mimari değişiklik hâlâ kolayken.
- ISO/IEC 42001 yapay zekâ yönetim sistemi kurulurken risk değerlendirmesine teknik girdi gerektiğinde.
- Sistem, AB Yapay Zekâ Tüzüğü kapsamında yüksek riskli sayılabilecek bir alanda kullanılacağında.
Yöntem
Nasıl çalışıyoruz?
-
Mimariyi okuma
Tasarım belgeleri ve ekibinizle yapılan görüşmelerden veri akışını çıkarırız.
-
Senaryolar
Her güven sınırı için kim, hangi yolla, neyi kötüye kullanabilir, yazarız.
-
Önceliklendirme
Senaryoları etkisine ve gerçekleşme olasılığına göre sıralarız.
-
Gereksinimler
Her önemli senaryo için uygulanacak kontrolü ve doğrulama testini tanımlarız.
Sonuç
Çalışmanın sonunda elinizde olan
Sistem devreye alınmadan önce en önemli kötüye kullanım senaryoları ve bunlara karşılık gelen kontroller belirlenir. Geliştirme ekibi gereksinimleri, test ekibi ise sınanacak senaryoları bilir.
Sık sorulan sorular
Sistem zaten canlıdaysa tehdit modellemesi yapılabilir mi?
Evet. Bu durumda tehdit modeli mevcut mimariden çıkarılır. Sonuç, bir güvenlik testinin kapsamını belirlemek için de kullanılır.
Çalışmaya kimlerin katılması gerekir?
Sistemin mimarı, ürün sahibi ve bir geliştirici genellikle yeterlidir. Kişisel veriler işleniyorsa hukuk veya uyum ekibinden birinin katılması faydalı olur.
Yapay Zekâ ve LLM Güvenliği
Bu alandaki diğer hizmetler
Bu hizmet için görüşelim.
İhtiyacınızı kısaca anlatın. Kapsamı ve takvimi ilk görüşmede birlikte netleştirelim.
Görüşme Planlayın