Uygulama ve Yazılım Güvenliği

Yapay Zekâ ve LLM Güvenliği

Kurumlar yapay zekâ asistanlarını müşteri kayıtlarına ve iş akışlarına bağlıyor. Risk çoğunlukla modelde değil, bu bağlantılarda ortaya çıkar. Asistanı eriştiği veri ve araçlarla birlikte test ediyoruz. Modelin hangi koşullarda yetkisi dışına çıkabildiğini gösteriyoruz.

Yapay Zekâ Güvenliği Görüşmesi Planlayın Tüm Hizmet Alanları

Büyük dil modelleri talimatı veriden her zaman ayırt edemez. Okudukları bir belge de talimat içerebilir. Asistan kişisel verilere erişiyorsa, KVKK'nın öngördüğü güvenlik tedbirleri buna da uygulanır.

İhtiyaç

Hangi durumlarda ihtiyaç duyulur?

Müşteri hizmetleri asistanına sipariş ve müşteri kayıtlarına erişim verilmeden önce.
Farklı yetki düzeyindeki belgeler tek bir bilgi tabanında toplandığında.
Bir yapay zekâ ajanına ödeme adımı başlatma izni verilmeden önce.
Kurumsal bir müşteri, ürününüzdeki yapay zekâ özelliği için bağımsız bir test raporu istediğinde.

Sorular

Bu çalışma neyi yanıtlar?

Bir e-postaya veya belgeye gizlenmiş talimat asistanımızı yönlendirebilir mi?
Bir kullanıcı model üzerinden başka bir müşterinin verisine ulaşabilir mi?
Ajanlarımız onay almadan geri alınamaz bir işlem yapabilir mi?
Uygulamamız model çıktısını doğrulamadan çalıştırıyor mu?

Yapay Zekâ ve LLM Güvenliği

Neler yapıyoruz

LLM Uygulaması Güvenlik Testi

Asistanı arayüzü, yetki yapısı ve arka uç servisleriyle birlikte test ederiz.
Prompt Injection Değerlendirmesi

Kullanıcının yazdığı talimatları ve modelin okuduğu belgelere gizlenmiş talimatları deneriz. Sistemin davranışındaki değişiklikleri ölçeriz.
Yapay Zekâ Ajanı Yetki ve Araç Güvenliği

Ajan yanlış yönlendirildiğinde, araç yetkilerinin ve onay adımlarının işlemi durdurup durdurmadığını sınarız.
RAG ve Bilgi Kaynağı Güvenliği

Belge yetkilerinin modelin yanıtlarında korunup korunmadığını inceleriz. Dışarıdan eklenen içeriğe ne kadar güvenilebileceğini de değerlendiririz.
Hassas Veri ve Müşteri Ayrımı

Bir müşterinin verisinin konuşma geçmişi veya önbellek yoluyla başka birine geçip geçmediğini sınarız.
Model Çıktısı İşleme Güvenliği

Model çıktısının tarayıcıda veya bir veritabanı sorgusunda doğrulanmadan çalışıp çalışmadığını inceleriz.
Yapay Zekâ Tedarik Zinciri Güvenliği

Kullandığınız model, eklenti ve kütüphanelerin nereden geldiğini ve değiştirilip değiştirilmediğini değerlendiririz.
Yapay Zekâ Tehdit Modellemesi

Sistem devreye alınmadan önce kötüye kullanım senaryolarını çıkarırız. Bunlara karşı yetki ve onay kontrollerini sizinle birlikte tasarlarız.

Kapsam

Test, sistemi kullanıcıların gördüğü hâliyle ve her kullanıcı rolüyle ele alır. Model, bilgi kaynakları ve araçlar birlikte kapsama girer.

Çalışma yöntemi

Önce modelin okuduğu her kaynağı ve çağırabildiği her aracı belirleriz. Bir talimat sisteme bu yollardan girer. Senaryoları bu yollar üzerinden, sizin sağladığınız test hesaplarıyla deneriz. Model aynı girdiye her zaman aynı yanıtı vermez. Bu nedenle her senaryoyu birkaç kez tekrarlarız.

Çıktılar

Teslim edilenler

Her senaryo için modelin nasıl yönlendirildiği ve kaç denemenin kaçında başarılı olduğu. Senaryonun hangi veriye veya işleme ulaştığı. Model dışında, yetki ve onay katmanlarında uygulanacak kontroller.

NotSistem talimatına eklenen kısıtlar tek başına güvenlik kontrolü sayılmaz. Önerilerimiz, model yanlış yönlendirilse bile işlemi durduracak katmanlara odaklanır.

İlgili hizmetler

Kaynak Kod Analizi ve Uygulama Güvenliği Yetki ve iş mantığı hatalarını, yazılım yayına alınmadan kaynak kodda tespit ediyoruz. İnceleyin Zafiyet Araştırması Geliştirdiğiniz ve güvendiğiniz ürünlerdeki bilinmeyen zafiyetleri saldırganlardan önce tespit ediyoruz. İnceleyin Red Team ve Saldırı Simülasyonu Hedef odaklı, gerçekçi bir saldırıyla savunmanızın kritik varlıklarınızı ne kadar koruduğunu test ediyoruz. İnceleyin

Yapay Zekâ Güvenliği Görüşmesi Planlayın

Hedefinizi ve kritik sistemlerinizi paylaşın. Doğru kapsamı ilk görüşmede netleştirelim.

Görüşme Planlayın