من الممكن أن تكون الثغرة الأمنية التي تم تصحيحها الآن في تطبيق ChatGPT الخاص بـ OpenAI لنظام التشغيل macOS قد أتاحت للمهاجمين زرع برامج تجسس مستمرة طويلة المدى في ذاكرة أداة الذكاء الاصطناعي (AI).
هذه التقنية مدبلجة SpAIware، يمكن إساءة استخدامه لتسهيل “الاستخلاص المستمر للبيانات لأي معلومات كتبها المستخدم أو الردود التي تلقاها ChatGPT، بما في ذلك أي جلسات دردشة مستقبلية”، كما قال الباحث الأمني يوهان ريبيرجر. قال.
المشكلة، في جوهرها، تسيء استخدام ميزة تسمى ذاكرة، والتي قدمتها OpenAI في وقت سابق من شهر فبراير قبل طرحها لمستخدمي ChatGPT Free وPlus وTeam وEnterprise في بداية الشهر.
ما يفعله هو في الأساس السماح لـ ChatGPT بتذكر أشياء معينة عبر الدردشات بحيث يوفر على المستخدمين جهد تكرار نفس المعلومات مرارًا وتكرارًا. لدى المستخدمين أيضًا خيار توجيه البرنامج لنسيان شيء ما.
يقول OpenAI: “تتطور ذكريات ChatGPT مع تفاعلاتك ولا ترتبط بمحادثات محددة”. “حذف الدردشة لا يمحو ذكرياتها، يجب عليك حذف الذاكرة نفسها.”
تعتمد تقنية الهجوم أيضًا على النتائج السابقة والتي تنطوي على استخدام الحقن السريع غير المباشر للتلاعب بالذكريات لتذكر معلومات كاذبة، أو حتى تعليمات خبيثة، وبالتالي تحقيق شكل من أشكال المثابرة التي تبقى بين المحادثات.
وقال ريهبيرجر: “نظرًا لأنه يتم تخزين التعليمات الضارة في ذاكرة ChatGPT، فإن جميع المحادثات الجديدة التي ستتم في المستقبل ستحتوي على تعليمات المهاجمين وسترسل باستمرار جميع رسائل محادثة الدردشة والردود إلى المهاجم”.
“لذا، أصبحت ثغرة سرقة البيانات أكثر خطورة لأنها تنتشر الآن عبر محادثات الدردشة.”
في سيناريو الهجوم الافتراضي، يمكن خداع المستخدم لزيارة موقع ضار أو تنزيل مستند مفخخ يتم تحليله لاحقًا باستخدام ChatGPT لتحديث الذاكرة.
يمكن أن يحتوي موقع الويب أو المستند على تعليمات لإرسال جميع المحادثات المستقبلية سرًا إلى خادم يتحكم فيه الخصم من الآن فصاعدا، والتي يمكن بعد ذلك استردادها بواسطة المهاجم على الطرف الآخر بعد جلسة محادثة واحدة.
بعد الكشف المسؤول، عالجت OpenAI المشكلة مع إصدار ChatGPT 1.2024.247 عن طريق إغلاق ناقل التسرب.
وقال ريبيرجر: “يجب على مستخدمي ChatGPT مراجعة الذكريات التي يخزنها النظام عنهم بانتظام، بحثًا عن الذكريات المشبوهة أو غير الصحيحة وتنظيفها”.
“كانت سلسلة الهجوم هذه مثيرة للاهتمام للغاية، وهي توضح مخاطر إضافة ذاكرة طويلة المدى تلقائيًا إلى النظام، سواء من وجهة نظر التضليل/الاحتيال، ولكن أيضًا فيما يتعلق بالاتصال المستمر مع الخوادم التي يتحكم فيها المهاجم.”
ويأتي هذا الكشف في الوقت الذي كشفت فيه مجموعة من الأكاديميين عن تقنية جديدة لكسر حماية الذكاء الاصطناعي تحمل الاسم الرمزي MathPrompt والتي تستغل القدرات المتقدمة لنماذج اللغة الكبيرة (LLMs) في الرياضيات الرمزية للالتفاف على آليات السلامة الخاصة بها.
“يستخدم MathPrompt عملية من خطوتين: أولاً، تحويل المطالبات اللغوية الطبيعية الضارة إلى مسائل رياضية رمزية، ثم تقديم هذه المطالبات المشفرة رياضيًا إلى ماجستير في القانون المستهدف،” الباحثون وأشار.
وجدت الدراسة، بعد اختبارها على 13 ماجستيرًا في إدارة الأعمال، أن النماذج تستجيب بمخرجات ضارة بنسبة 73.6% من الوقت في المتوسط عند تقديمها بمطالبات مشفرة رياضيًا، مقابل ما يقرب من 1% بمطالبات ضارة غير معدلة.
كما أنه يتبع أيضًا ظهور Microsoft لأول مرة لقدرة التصحيح الجديدة التي، كما يوحي الاسم، تسمح بتصحيح مخرجات الذكاء الاصطناعي عندما تم الكشف عن عدم الدقة (أي الهلوسة)..
“بناءً على ميزة اكتشاف التأريض الحالية لدينا، تتيح هذه الإمكانية الرائدة لـ Azure AI Content Safety تحديد الهلوسة وتصحيحها في الوقت الفعلي قبل أن يواجهها مستخدمو تطبيقات الذكاء الاصطناعي التوليدية،” عملاق التكنولوجيا قال.
