مدافعون يتبنون "حقن الأوامر" كسلاح جديد ضد هجمات الذكاء الاصطناعي

في تطور مفاجئ، بدأ المدافعون عن الأمن السيبراني في تبني تقنية "حقن الأوامر" التي كان يستخدمها المهاجمون سابقًا، وذلك بهدف إيقاف هجمات الذكاء الاصطناعي الخبيثة. هذه التقنية، التي تكمن في إدراج أوامر ضارة داخل المحتوى لجعل نماذج اللغة الكبيرة (LLMs) تنفذها، كانت الأداة المفضلة للمخترقين لاستغلال منصات الذكاء الاصطناعي ضد مستخدميها.

اكتشف باحثون من شركة Tracebit أن وضع "حقن الأوامر" بجانب الأسرار الحساسة مثل كلمات المرور والمفاتيح التشفيرية المخزنة على خدمات مثل AWS، أصبح كافيًا لإيقاف هجمات وكلاء اختراق الذكاء الاصطناعي. تعمل هذه الأوامر على خداع النموذج اللغوي الكبير لتنفيذ إجراءات محظورة من قبل "حواجز الأمان" التي تضعها الشركات لحماية نماذجها، مما يؤدي إلى توقف النموذج عن الاستجابة.

تتضمن الأمثلة على هذه الأوامر توجيه النموذج لتقديم خطوات لتطوير جراثيم الأنثراكس القابلة للاستنشاق، أو، في حالة النماذج من مطورين صينيين، الإشارة إلى "الرجل الملتحي" الشهير من مذبحة ساحة تيانانمن عام 1989. بمجرد مواجهة النموذج لهذه الأوامر المحظورة، فإنه يتوقف عن اتباع التعليمات الأصلية.

أطلق الباحثون على هذه التقنية اسم "قصف السياق" (context bombing). أوضح آندي سميث، المؤسس المشارك والرئيس التنفيذي لشركة Tracebit، أن الهدف هو "إثارة آلية رفض في السياق"، مشيرًا إلى أن هذه الطريقة لها "تأثير قوي وحاسم يصعب على الوكلاء التغلب عليه".

تشير الاختبارات الأولية إلى أن "قصف السياق" يمتلك إمكانيات واعدة. فقد أظهرت النتائج، عند اختبار نماذج رائدة مثل Opus 4.8 و Gemini 3.1 Pro، انخفاضًا كبيرًا في معدلات نجاح الهجمات. على سبيل المثال، انخفضت نسبة حصول الوكلاء على صلاحيات إدارية كاملة من 57% إلى 5%، والسيطرة الكاملة على الحساب من 36% إلى 1%، وذلك بمجرد زرع أحد هذه الأوامر في "سر وهمي".

المفاجأة الأكبر كانت مع النموذج Opus 4.8، الذي يعتبر الأكثر قدرة في الاختبارات، حيث فشل في كل مرة من المرات التي تعرض فيها لـ "قصف السياق"، بعد أن كان يحقق الوصول الإداري في 93% من المحاولات السابقة. هذا يفتح آفاقًا جديدة للدفاع ضد التهديدات المتطورة في عالم الذكاء الاصطناعي.