Yapay Zekâ ve LLM Güvenliği
RAG ve Bilgi Kaynağı Güvenliği
Bilgi tabanındaki belge yetkilerinin asistan yanıtlarında korunup korunmadığını test ediyoruz. Dışarıdan eklenen içeriğin modeli nasıl etkilediğini gösteriyoruz.
Nedir?
RAG (retrieval-augmented generation), modelin yanıt vermeden önce bilgi tabanından ilgili belge parçalarını çekmesidir. Belgeler parçalara ayrılır ve bir vektör veritabanında saklanır. Yetki bilgisi bu aktarımda kaybolursa model, kullanıcının erişemeyeceği bir belgeden alıntı yapabilir. OWASP bu riskleri vektör ve embedding zayıflıkları başlığında ele alır.
Kapsam
- Belge yetkilerinin arama anında kullanıcı kimliğine göre uygulanıp uygulanmadığı
- Silinen veya yetkisi değişen belgelerin dizinde kalıp kalmadığı
- Vektör veritabanına doğrudan erişim ve müşteriler arası ayrım
- Bilgi tabanına kimlerin içerik ekleyebildiği
- Dışarıdan eklenen içeriğe gizlenmiş talimatlar
İhtiyaç
Hangi durumlarda ihtiyaç duyulur?
- İnsan kaynakları ve hukuk belgeleri, tüm çalışanların kullandığı asistanın bilgi tabanına eklendiğinde.
- Bilgi tabanı, müşterilerin veya tedarikçilerin yüklediği belgeleri de içerdiğinde.
- SharePoint, Confluence veya Google Drive gibi bir kaynak asistana bağlanacağında.
Yöntem
Nasıl çalışıyoruz?
-
Veri akışı
Belgelerin kaynaktan dizine, dizinden yanıta nasıl aktığını ve yetkinin nerede uygulandığını analiz ederiz.
-
Yetki testi
Farklı rollerdeki hesaplarla, erişimi olmayan belgelerin içeriğine ulaşmayı deneriz.
-
Güncellik
Silinen ve yetkisi kaldırılan belgelerin yanıtlarda görünüp görünmediğine bakarız.
-
İçerik güvenilirliği
Dışarıdan eklenen bir belgenin yanıtları veya araç çağrılarını yönlendirip yönlendiremeyeceğini test ederiz.
Sonuç
Çalışmanın sonunda elinizde olan
Bir kullanıcının asistan üzerinden yetkisi olmayan hangi belgelere ulaşabildiğini görürsünüz. Yetkinin arama anında nasıl uygulanacağı ve dizinin kaynakla nasıl eşitleneceği netleşir.
Sık sorulan sorular
Kaynak sistemde yetkiler doğruysa asistan da doğru davranmaz mı?
Her zaman değil. Belgeler dizine aktarılırken yetki bilgisi kaybolabilir veya geç güncellenebilir. Yetki, arama anında kullanıcının kimliğiyle kontrol edilmelidir.
Embedding'ler de korunmalı mı?
Evet. OWASP, embedding'lerden asıl bilginin önemli bir kısmının geri elde edilebildiği saldırıları bu risk başlığında sayar. Vektör veritabanı, belgeler kadar korunmalıdır.
Yapay Zekâ ve LLM Güvenliği
Bu alandaki diğer hizmetler
Bu hizmet için görüşelim.
İhtiyacınızı kısaca anlatın. Kapsamı ve takvimi ilk görüşmede birlikte netleştirelim.
Görüşme Planlayın