Yapay zekâ güvenliği ve doğruluğu

“Peki ya yanlış bir şey söylerse veya yanlış bir şey yaparsa?” sorusunun yanıtı. Yanlış bir şey yapılmasını sunucu engeller; böylece model ne yazarsa yazsın bu koruma geçerli kalır. Yanlış bir şey söylenmesini ise talimatlar, maskeleme ve testler önler; bunlar ihtimali tamamen ortadan kaldırmadan düşürür. Aşağıdaki her satır bunun hangi tür olduğunu belirtir. Güvenlik özeti ayrıntıları içerir.

Yanlış bir şey yapılması: Sunucu zorunlu kılar

• Doğrulanmış parametrelerden sunucunun oluşturduğu bir onay kartı olmadan yazma işlemi yapılmaz. Sunucu, aksiyon çalışmadan önce kullanıcının yanıtını zamanı, cihazı ve kişisiyle birlikte bizzat kaydeder, bu kayıt olmadan sonucu reddeder ve bir kartın süresini 10 dakika sonra sonlandırır. Ekrana dokunma cihazın beyanıdır; backend'inizin kendi yetkilendirmesi ise asıl kontrol noktasıdır.
• Kullanıcının üzerinde işlem yaptığı değerler uygulamanızdan gelir. Bir butonun aradığı numara, kopyaladığı değer, kaydettiği zaman, bir yerin adresi ve koordinatları, bir geçiş kartının kodu: her biri aksiyonlarınızdan birinin döndürdüğü bir değere eşit olmalıdır.
• Görseller ve bağlantılar yalnızca kendi verilerinizin veya izin verilen alan adlarınızın kefil olduğu ana makinelere işaret edebilir; böylece bir yanıt resim yoluyla dışarıya veri gönderemez.
• Formlar kimlik doğrulama bilgilerini asla istemez: İngilizce ve Türkçe olarak şifre, tek kullanımlık kod, kart numarası, CVV, IBAN, T.C. kimlik numarası veya PIN.
• Ekranlar ve iletişim kişileri yalnızca sizin kaydettiğiniz şekildedir.
• Kararı yönetim paneliniz verir. Herhangi bir aksiyonu kapatabilir, risk seviyesini yükseltebilir ve Rendel'in herhangi bir ekranı önermesini durdurabilir.

Yanlış bir şey söylenmesi: Talimatlar, maskeleme ve testler

• Güvenilmeyen içerik sınırlandırılır. Knowledge, ekran bağlamı, ekrandaki formlar, aksiyon sonuçları ve ekli dosyalar modele veri olarak ulaşır ve modelin kuralları orada bulunan talimatlara asla uyulmayacağını belirtir. Bir sonuç kendi sınırının dışına çıkamaz.
• Dayanaklandırma. Fiyatlar, ücretler, oranlar ve şartlar yalnızca Knowledge içeriklerinizden veya aksiyonlarınızdan gelir; aksi takdirde asistan bilmediğini söyler ve iletişim kanallarınızı sunar. Çalışma zamanında yanlış bir sayıyı yeniden yazan hiçbir denetim yoktur; red-team test paketi bunun yerine aradan ne sıklıkla kaçtığını ölçer.
• Yasaklı konular. Bankacılık ön ayarı yatırım tavsiyesini, kredi kararlarını, hukuki veya vergisel tavsiyeleri, diğer müşterilerin verilerini, kurum içi prosedürleri, rakipleri, siyaseti, dini ve tıbbi soruları reddeder. Rendel kredi değerliliğini asla puanlamaz veya belirlemez.
• Maskeleme. Kullanıcıların yazdığı ve aksiyonlarınızın döndürdüğü e-postalar, telefon numaraları, IBAN'lar ve T.C. kimlik numaraları model görmeden önce maskelenir, kart numaraları ise kaldırılır. Strict PII ayrıca isimleri ve adresleri maskeler ve ekli dosyaları reddeder.

Red-team test paketi

Kurgusal bir banka uygulamasına karşı İngilizce ve Türkçe olarak tekrar çalıştırdığımız bir dizi saldırı. Başarı eşikleri:

Modele bağlı her senaryo üç kez çalıştırılır. Bir rapor model sürümlerini, kategoriye ve dile göre başarı oranını ve metin dökümüyle birlikte her başarısızlığı listeler.

Kayıt tutma

Her etkileşim maskelenmiş iletileri, denetlenmiş yanıtı, modeli ve belirteç sayılarını saklar; her aksiyon ise parametrelerini, sonucunu, onayını, cihazını ve kişisini saklar. Hesap sahibi bunları dışa aktarabilir: bkz. Her aksiyon kaydedilir.

Taahhüt edilmeyenler

Rendel düz metinde yine de yanlış bir şey söyleyebilir. “Halüsinasyonsuz” veya “enjeksiyona karşı korumalı” değildir ve herhangi bir yapay zekâ sertifikamız yoktur.