Yapay Zekâ ve LLM Güvenliği
Model Çıktısı İşleme Güvenliği
Model çıktısının tarayıcıda, veritabanı sorgusunda veya başka bir sistemde doğrulanmadan çalışıp çalışmadığını inceliyoruz. Modeli güvenilmeyen bir kullanıcı gibi ele alan kontroller öneriyoruz.
Nedir?
Model çıktısı, modeli etkileyebilen herkesin dolaylı olarak yazabildiği bir metindir. Bu çıktı denetlenmeden bir web sayfasında gösterilirse, bir sorguya eklenirse veya komut olarak çalıştırılırsa klasik zafiyetler oluşur. Siteler arası betik çalıştırma (XSS) ve SQL enjeksiyonu buna örnektir. OWASP bu riski uygunsuz çıktı işleme (Improper Output Handling) olarak tanımlar.
Kapsam
- Yanıtların arayüzde HTML veya Markdown olarak işlenmesi
- Çıktının veritabanı sorgusuna veya API çağrısına aktarılması
- Modelin ürettiği kodun veya komutun çalıştırıldığı ortamlar
- Yanıttaki bağlantı ve görsellerin dış adreslere istek göndermesi
- Çıktının e-posta, belge veya destek kaydı olarak başka sistemlere iletilmesi
İhtiyaç
Hangi durumlarda ihtiyaç duyulur?
- Asistanın yanıtları web arayüzünde zengin biçimli metin olarak gösterildiğinde.
- Kullanıcıların doğal dille sorduğu sorular model tarafından SQL sorgusuna çevrildiğinde.
- Modelin yazdığı kod veya betik bir ajan tarafından otomatik olarak çalıştırıldığında.
Yöntem
Nasıl çalışıyoruz?
-
Çıktı yolları
Model çıktısının ulaştığı her arayüzü, sorguyu ve sistemi listeleriz.
-
Etki testi
Modeli bu yollarda zararlı içerik üretmeye yönlendirmeyi ve sonucun çalışıp çalışmadığını deneriz.
-
Kontroller
Çıktı kodlama, parametreli sorgu, izin listesi ve içerik güvenliği politikası (CSP) gibi katmanları öneririz.
Sonuç
Çalışmanın sonunda elinizde olan
Model çıktısının hangi noktada kod, sorgu veya istek olarak çalışabildiğini görürsünüz. Bu noktaların her biri için modelden bağımsız çalışan bir doğrulama kontrolü elinizdedir.
Sık sorulan sorular
Modele zararlı çıktı üretmemesini söylemek yeterli mi?
Hayır. Model yönlendirilebilir ve talimatı her seferinde aynı biçimde uygulamaz. Çıktı, kullanıcıdan gelen bir girdi gibi doğrulanmalı ve kodlanmalıdır.
Bu çalışma klasik uygulama testinden farklı mı?
Zafiyet türleri aynıdır, ancak zararlı girdiyi model üretir. Bu yüzden önce modeli istenen çıktıyı üretmeye yönlendirmek gerekir. İki çalışma birlikte de yürütülebilir.
Yapay Zekâ ve LLM Güvenliği
Bu alandaki diğer hizmetler
Bu hizmet için görüşelim.
İhtiyacınızı kısaca anlatın. Kapsamı ve takvimi ilk görüşmede birlikte netleştirelim.
Görüşme Planlayın