Yapay Zekâ ve LLM Güvenliği
Prompt Injection Değerlendirmesi
Kullanıcının yazdığı veya bir belgeye gizlenmiş bir talimatın asistanınızı yönlendirip yönlendiremeyeceğini test ediyoruz. Asıl ölçtüğümüz, bu talimatın hangi veriye ve işleme erişebildiğidir.
Nedir?
Prompt injection, modele verilen bir girdinin sistem talimatlarını geçersiz kılmasıdır. Doğrudan talimatı kullanıcı yazar. Dolaylı talimat, modelin okuduğu e-posta, belge veya web sayfasına gizlenir. OWASP'a göre bu riski kesin olarak önleyen bir yöntem bilinmemektedir.
Kapsam
- Kullanıcının yazdığı doğrudan talimatlar
- E-posta, belge ve web sayfasına gizlenmiş dolaylı talimatlar
- Araç çıktılarından ve dosya meta verilerinden gelen talimatlar
- Yanıttaki bir bağlantı veya görsel üzerinden verinin dışarı taşınması
- Girdi ve çıktı filtrelerinin gerçekte neyi durdurduğu
İhtiyaç
Hangi durumlarda ihtiyaç duyulur?
- Asistanınız müşterilerden gelen e-postaları veya destek kayıtlarını özetlediğinde.
- Model, internetten veya paylaşılan klasörlerden içerik okuyabildiğinde.
- Bir prompt injection filtresi satın alındığında ve gerçekte neyi durdurduğu bilinmediğinde.
Yöntem
Nasıl çalışıyoruz?
-
Giriş yolları
Bir talimatın sisteme girebileceği her içerik kaynağını listeleriz.
-
Hedefler
Her yol için ulaşılabilecek en zararlı sonucu belirleriz, örneğin başka bir müşterinin verisini göstermek.
-
Deneme
Senaryoları farklı biçimlerde ve tekrar tekrar deneriz. Her senaryonun başarı oranını kaydederiz.
-
Etkiyi sınırlama
Model yönlendirilse bile işlemi durduracak yetki, onay ve çıktı kontrollerini öneririz.
Sonuç
Çalışmanın sonunda elinizde olan
Hangi kaynaktan gelen bir talimatın sisteminizi yönlendirebildiğini ve bunun hangi veriye ulaştığını görürsünüz. Model yanlış yönlendirildiğinde bile zararı sınırlayacak kontroller elinizdedir.
Sık sorulan sorular
Prompt injection tamamen önlenebilir mi?
Kesin olarak önleyen bir yöntem bilinmiyor. Bu yüzden amaç, enjekte edilen bir talimatın ulaşabileceği veriyi ve işlemi sınırlamaktır.
Sistem talimatına kurallar eklemek yeterli değil mi?
Hayır. Sistem talimatı da modelin okuduğu bir metindir ve aynı yolla geçersiz kılınabilir. Asıl kontrol, modelin dışındaki yetki ve onay katmanlarıdır.
Filtre kullanıyoruz. Yine de test gerekir mi?
Evet. Filtreler bilinen kalıpları yakalar ama farklı biçimde yazılmış talimatları kaçırabilir. Test, filtrenin gerçekte neyi durdurduğunu gösterir.
Yapay Zekâ ve LLM Güvenliği
Bu alandaki diğer hizmetler
Bu hizmet için görüşelim.
İhtiyacınızı kısaca anlatın. Kapsamı ve takvimi ilk görüşmede birlikte netleştirelim.
Görüşme Planlayın