Yapay Zekâ ve LLM Güvenliği
Yapay Zekâ Ajanı Yetki ve Araç Güvenliği
Yapay zekâ ajanınızın çağırabildiği araçları, yetkilerini ve onay adımlarını test ediyoruz. Ajan canlıya alınmadan, yanlış yönlendirilmiş bir ajanın neler yapabileceğini görürsünüz.
Nedir?
Yapay zekâ ajanı, görevini tamamlamak için araçları kendi çağıran bir modeldir. E-posta gönderebilir, kayıt güncelleyebilir veya ödeme başlatabilir. OWASP, ajana işinin gerektirdiğinden fazla araç, yetki veya özerklik verilmesini aşırı yetki (Excessive Agency) riski olarak tanımlar. Ajan yanlış yönlendirildiğinde zararı model değil, dışındaki yetki ve onay katmanları sınırlar.
Kapsam
- Ajanın çağırabildiği her araç ve aracın kullandığı yetki
- Ajanın kimin adına ve hangi hesapla işlem yaptığı
- Geri alınamaz işlemlerde insan onayının atlatılıp atlatılamadığı
- Onay ekranının ajanın özetini mi, gerçek işlem parametrelerini mi gösterdiği
- MCP sunucularının ve üçüncü taraf eklentilerin yetkileri
- Ajan işlemlerinin loglanması ve gerektiğinde durdurulabilmesi
İhtiyaç
Hangi durumlarda ihtiyaç duyulur?
- Muhasebe ekibinin kullandığı bir ajana ödeme talimatı hazırlama yetkisi verilmeden önce.
- Geliştiriciler, kod yazan bir ajanın kod depolarına ve CI/CD hattına erişmesini istediğinde.
- Bir MCP sunucusu veya hazır bir eklenti iç sistemlerinize bağlanacağında.
Yöntem
Nasıl çalışıyoruz?
-
Araç envanteri
Ajanın çağırabildiği araçları, her aracın yetkisini ve işlem sınırlarını çıkarırız.
-
Yönlendirme senaryoları
Ajanı, okuduğu içerik üzerinden görevinin dışına yönlendirmeyi deneriz.
-
Onay ve sınırlar
Onay adımlarının ve tutar, alıcı gibi sınırların yönlendirilmiş bir ajana karşı dayanıp dayanmadığını sınarız.
-
Yetkiyi daraltma
Her araç için gereken en dar yetkiyi ve onay gerektirecek işlemleri öneririz.
Sonuç
Çalışmanın sonunda elinizde olan
Ajanınız yanlış yönlendirildiğinde yapabileceği en zararlı işlemi bilirsiniz. Bu işlemi model dışında durduracak yetki ve onay kuralları elinizdedir.
Sık sorulan sorular
İnsan onayı eklemek yeterli mi?
Onay ekranının ne gösterdiğine bağlıdır. Ajanın kendi yazdığı özet yanıltıcı olabilir. Onay ekranı işlemin gerçek parametrelerini, örneğin alıcıyı ve tutarı göstermelidir.
Ajan kendi hesabıyla mı, kullanıcının yetkisiyle mi çalışmalı?
İkisinin riski farklıdır. Kullanıcının yetkisiyle çalışan ajan, o kullanıcının erişebildiği her şeye erişir. Kendi hesabıyla çalışan ajanda ise yetkinin işe göre daraltılması gerekir.
Yapay Zekâ ve LLM Güvenliği
Bu alandaki diğer hizmetler
Bu hizmet için görüşelim.
İhtiyacınızı kısaca anlatın. Kapsamı ve takvimi ilk görüşmede birlikte netleştirelim.
Görüşme Planlayın