Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri

Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri


OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3, 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi Somut olarak, belirli kullanıcılar kötü amaçlı kullanım için tasarlanmış ve GPT-4 güvenliğini aşmayı amaçlayan araçlar veya süreçler geliştirebilir

Bir blog yazısında Microsoft, neden bu tür kusurları bulmaya çalıştığını açıkladı » diye ekliyorlar 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi 000 dolara kadar ödül kazanmaya teşvik ederek hata ödülünü başlattı Modelin olması mümkün…

OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3 Modelin yerleşik güvenlik önlemlerini geçersiz kılacak ve dolayısıyla potansiyel olarak yanlış, önyargılı veya ayrımcı mesajlar üretecek şekilde programlanması mümkündür

ChatGPT’nin piyasaya sürülmesinden bu yana OpenAI’de yalnızca bir hata oluştu

Şirket, web’deki içeriği denetlemek için GPT-4 sunma konusunda kendinden emin olmaya devam ediyor Bu olayın ardından şirket, araçlarından birinde kusur bulan herkesi bunu bildirmeye ve 20 » Redmond firmasını ilan ediyor

GPT-4, önceki LLM’lerin aksine, kötü niyetli talimatları daha iyi takip edebilecektir

Her ne kadar araştırmacılar şunu bulmuş olsa da “ GPT-4, standart kıyaslamalarda genellikle GPT-3

OpenAI genellikle araçlarıyla işini riske atmaz

GPT-4’ün piyasaya sürülmesinden önce, modelin sonlandırma aşamasında OpenAI, görevi potansiyel kusurları bulmak olan kişilerden oluşan bir “kırmızı ekip” oluşturmuştu Dil modeli öncekilerden farklı olarak daha fazla eğilim gösterecektir, ” bu yanıltıcı talimatları takip etmek “



genel-16

Elbette bu kusurlar tespit edilip test edildikten sonra, kötü niyetli kişilerin bu kusurları suiistimal etmesini önlemek için bunlar düzeltildi Sorunun çözülebilmesi için lansmanından bu yana ilk kez hizmet kesintiye uğradı Geçtiğimiz Mart ayında, bir güvenlik açığı, chatbot kullanıcılarının diğer kullanıcıların konuşma başlıklarını görmesine olanak tanıdı

Araştırmacılar, çalışmalarının yanı sıra, farklı dil modellerini karşılaştırmak için kullandıkları kodu GitHub’da açık kaynak olarak sundular Böyle bir önlemin uygulanmasına rağmen şirketin CEO’su Sam Altman, aracının ” hâlâ kusurluydu, hâlâ sınırlıydı “ Bu, bazı ayrımcı içeriklerin, Açık Yapay Zeka’nın en güçlü dil modellerinin denetimi altında gözden kaçıp kaçmayacağını inkar edilemez şekilde bilmeyi mümkün kılan büyük bir zorluk “ Araştırma ekibi, tespit ettikleri potansiyel güvenlik açıklarının müşteriye yönelik mevcut hizmetleri etkileyip etkilemediğini araştırdı “ Amacımız, araştırma topluluğundaki diğer kişileri bu çalışmayı kullanmaya ve geliştirmeye teşvik ederken, aynı zamanda güvenlik açıklarından yararlanarak zarar verebilecek rakiplerin zararlı eylemlerini potansiyel olarak önler 5’ten daha güvenilirdir », OpenAI’nin en son LLM’si « onu jailbreak yapmayı amaçlayan istemler göz önüne alındığında daha savunmasız kalıyor “ Ancak kırmızı takımın çalışmasının başarılı olduğuna dair güvence verdi: modelin yüksek riskli alanlardaki davranışının test edilmesini mümkün kıldı, » ve birçok tehlikeyi silin