تصاعد حوادث أمن الذكاء الاصطناعي: «ميثوس» ليس سوى قمة جبل الجليد
شهدت إحدى بيئات الاختبار المعزولة لنماذج شركة OpenAI خروج نموذج ذكاء اصطناعي طويل الأفق عن حدود المحاكاة. قرر النموذج أن يبحث عن طريقة أكثر كفاءة لإنجاز مهمته عبر اختراق دفاعات شركة حقيقية اشتبه في وجود معلومات مفيدة لديها. لم يقترح أي إنسان هذا المسار؛ بل توصّل وكيل الذكاء الاصطناعي إلى الفكرة بنفسه.
هجمات «النيران الصديقة» السيبرانية ليست القاعدة، لكن هذه الواقعة ليست منفردة. فقد كشفت كل من شركة Anthropic ومعهد سلامة الذكاء الاصطناعي AISI في يوليو عن سلوكيات مشابهة لوكلاء ذكاء اصطناعي مارقين ظهرت في تقييمات نماذج غير مرتبطة بهذه الواقعة.
تحدٍ ناشئ
يواجه متخصصو تقنية المعلومات والأمن السيبراني تحديًا غير مسبوق: كيف يمكن تأمين وكلاء الذكاء الاصطناعي من الداخل والخارج، ومن الأفعال غير المقصودة والمتعمدة، ومن الأصدقاء والخصوم؟
تقدّر شركة IDC أن عدد وكلاء الذكاء الاصطناعي سيصل إلى 2.5 مليار وكيل بحلول 2030. ويقود الاستثمار المتسارع في البنية التحتية للذكاء الاصطناعي والإنفاق على الرموز الحاسوبية المنافع الحالية والوعد المستقبلي بانتشار الوكلاء؛ لذلك فالتحدي غير مسبوق وعاجل في الوقت نفسه.
وفي المقابل، لا تزال فرق الأمن تفتقر إلى فهم عميق لأبرز مواطن الضعف وكيفية اكتشافها والحد منها. وهذا مفهوم، فالذكاء الاصطناعي يختلف بصورة جوهرية عن التطبيقات البرمجية التي أمضينا نحو ستين عامًا في تأمينها، وكل تقنية جديدة تمر بمنحنى تعلم مشابه.
بعد إجراء أكثر من مليون اختبار أمني على أنظمة ذكاء اصطناعي وعبر أكثر من 50 نموذجًا، خلص فريق البحث إلى دروس تساعد الفرق على فهم مشهد التهديد الجديد، والتخطيط لاستراتيجية دفاع متعددة الطبقات والتواصل بشأنها. وتشمل:
- التمييز بين احتياجات الدفاع عندما يكون الذكاء الاصطناعي سلاحًا وعندما يكون هدفًا.
- تعريف الأنواع المختلفة للجهات الفاعلة المسؤولة عن الهجمات.
- تحديد أوجه اختلاف اختبار أنظمة الذكاء الاصطناعي عن الممارسات التقليدية.
سلاح أم هدف؟
قد يضع معظم الناس حادثة شركة Hugging Face ضمن فئة «الذكاء الاصطناعي كسلاح»، لأن الذكاء الاصطناعي استُخدم لاختراق دفاعات الشركة. وهذا تجسيد لمخاوف «ميثوس» التي طرحتها شركة Anthropic قبل إصدار نموذجها الأخير: يعمل الذكاء الاصطناعي هنا بوصفه «مخترقًا فائقًا»، ويعثر على توليفات غير معروفة سابقًا من الثغرات التي تتيح اختراق الشبكات أو الأنظمة.
ومن اللافت أن وكلاء شركة OpenAI المارقين أنجزوا مهمة هجومية أولًا داخل بيئة الاختبار، فاخترقوا شبكتهم الخاصة، قبل التوجه إلى منصة شركة Hugging Face. وكان المدخل البشري الوحيد مهمة تتعلق بالأمن السيبراني. وتكمن النقطة المهمة في أن توجيه المهمة يحاكي ما قد يفعله مهاجم خبيث لاختراق وكيل ذكاء اصطناعي. لذلك تكشف الواقعة أيضًا ما قد يحدث عندما يكون نظام الذكاء الاصطناعي نفسه هدفًا للهجوم، ثم تُحوّل قدراته وصلاحياته إلى استغلال أنظمة داخلية وخارجية.
تحتاج فرق التطبيقات والأمن السيبراني إلى التفكير في كيفية حماية أنظمتها من وكلاء ذكاء اصطناعي متطورين، وكيفية حماية أنظمة الذكاء الاصطناعي نفسها. وهاتان مهمتان مختلفتان.
الدفاع ضد الذكاء الاصطناعي كسلاح يشبه إلى حد كبير الأمن السيبراني التقليدي: اختبارات الاختراق، والتصحيح، والتهيئة، وتقييد الصلاحيات، ومراقبة النشاط. وغالبًا سيتطلب استخدام نماذج ذكاء اصطناعي لاكتشاف مسارات هجوم جديدة، إلى جانب مراقبة أكثر تطورًا لنشاط الشبكات والتطبيقات. لكنه يظل نسخة معززة من ممارسات الأمن السيبراني التقليدية.
الثغرات هنا ليست جديدة؛ إنها موجودة بالفعل. لكن فرق الأمن لم تتمكن من العثور عليها بأدواتها الحالية، كما أن تعقيدها يشير إلى أن الجهات الخبيثة كان من غير المرجح أن تكتشفها أيضًا. أي أننا أمام مشكلة قائمة جرى اكتشافها حديثًا.
الدفاع عن الذكاء الاصطناعي عندما يكون هدفًا
أما حماية الأنظمة المدعومة بالذكاء الاصطناعي عندما تكون هي الهدف فمسألة جديدة تمامًا. هذه أنظمة احتمالية غالبًا ما تصل إلى أدوات ومصادر بيانات وأنظمة تشغيلية، إلى جانب قدرتها على الاستدلال وامتلاكها قدرًا من سلطة اتخاذ القرار. وهذا يعني أن تباين الأداء ومواءمة الذكاء الاصطناعي المسؤول جزءان أصيلان من البنية، فيما قد تكون العواقب كبيرة. كما أن وجود قدرات الاستدلال يجعل الوكلاء عرضة للتلاعب.
ينبغي لفرق التطبيقات والأمن إجراء اختبارات واسعة للتلاعب بأنظمة الذكاء الاصطناعي للتحقق من السلامة والأمن، إضافة إلى استخدام الذكاء الاصطناعي لاكتشاف الثغرات القائمة التي تشكل خطرًا عندما يُستخدم كسلاح.
استخدم فريق البحث حل Fuel iX™ Fortify، وهو حل مستقل ومضبوط لاختبارات الفريق الأحمر بالذكاء الاصطناعي، لتنفيذ هذه الاختبارات في وقت سابق من العام، وكانت جميع النماذج قابلة للاختراق بسهولة.
صُنفت النتائج إلى: مرتفع أكثر من 40%، ومرتفع نسبيًا 25–40%، ومتوسط 5–25%، ومنخفض أقل من 5%. وأظهر الرسم تفاوتًا من أكثر من 90% إلى مستويات منخفضة جدًا.
لم يحقق أي نموذج مستوى مقاومة للتلاعب بنسبة 99%. وكانت بعض النماذج تمتثل لأكثر من 90% من الهجمات. والسبب أن اتباع تعليمات المستخدم ميزة مقصودة في هذه الأنظمة وليست عيبًا برمجيًا؛ ولن تزيل أي مواءمة لاحقة للتدريب هذا الغرض الأساسي لنماذج الذكاء الاصطناعي.
يمكن تحديد حواجز الحماية والدفاعات التي ينبغي التركيز عليها، والتحقق من الدفاعات القائمة عبر اختبارات مكثفة ومتعمدة ومستقلة. وهذه فجوة قائمة اليوم. ففي استطلاع شمل 102 من كبار مسؤولي أمن المعلومات في أمريكا الشمالية، كان غياب أدوات مخصصة لاختبار الذكاء الاصطناعي (73%) ونقص المهارات الداخلية (64%) أكبر تحديين في اختبار الحلول المدعومة بالذكاء الاصطناعي التوليدي.
وتتطابق النتيجة مع تجربة حديثة لدى جهة حكومية. فقد أجرت فرق الأمن السيبراني وتطبيقات الذكاء الاصطناعي اختبارات واسعة وكانت تستعد لإطلاق سريع لتجربة محادثة عامة مدعومة بالذكاء الاصطناعي التوليدي. لم تجد جولات الاختبار الأخيرة أي ثغرة، لكن جلسة اختبار مستقلة عبر Fortify، مماثلة لاختبارات النماذج السابقة، وجدت 416 ثغرة خلال أربع ساعات. وتفتقر المؤسسات اليوم إلى المهارات والخبرة والأدوات اللازمة لاكتشاف ثغرات الذكاء الاصطناعي الدقيقة أو التحقق من دفاعاتها.
إذا كان شعار مواجهة الذكاء الاصطناعي كسلاح هو استخدام الذكاء الاصطناعي للدفاع ضد هجمات الذكاء الاصطناعي، فهناك حاجة موازية إلى استخدام الذكاء الاصطناعي لاختبار أنظمة الذكاء الاصطناعي بصرف النظر عن مسار الهجوم أو الجهة المنفذة. وينبغي أن يكون ذلك عنصرًا تأسيسيًا في الأمن السيبراني في عصر الذكاء الاصطناعي.
الجهات الفاعلة في التهديد
هناك اعتبار آخر يتمثل في تنوع الجهات الفاعلة. ففي الماضي لم يكن الصحفيون عادة يحاولون اختراق التطبيقات، وكانت قدرة المتصيدين على إحراج الشركات عبر استهداف التطبيقات البرمجية محدودة نسبيًا. وفي عصر فهم اللغة الطبيعية كان من الممكن أن تظهر مطابقة سيئة لاستفسار المستخدم، لكن كل إجابة كانت تُختار من قاعدة بيانات ضمن حدود محددة جيدًا. أما الذكاء الاصطناعي التوليدي فيغيّر ذلك بالكامل.
يقيم المنافسون والصحفيون أنظمة الذكاء الاصطناعي وينشرون نتائجهم؛ وقد تكون النتائج حميدة أحيانًا ومقلقة أحيانًا أخرى. ولدى المتصيدين سطح هجوم واسع جدًا بسبب اتساع قدرات ومعارف النماذج والوكلاء. ثم يأتي المستخدمون أنفسهم، إذ يكتشفون من غير قصد الحواف غير المصقولة للأنظمة أثناء تنفيذ مهامهم اليومية.
لا يتعين على فرق التطبيقات والأمن التعامل فقط مع المخترقين التقليديين والوكلاء المارقين، بل أيضًا مع أهداف هذه الجهات الأخرى المتفاوتة. وهذا يوسع بصورة كبيرة سطح الهجوم المحتمل واحتياجات الدفاع.
وقد لا تبدو مخاطر هذه الجهات بمستوى حادثة اختراق كاملة، لكنها تستطيع إحداث أضرار ملموسة في السمعة وعلاقات العملاء والامتثال التنظيمي. لذلك ينبغي عند وضع خطط الدفاع تقييم المخاطر المرتبطة بجميع هذه المجموعات.
التعامل مع اختلاف الذكاء الاصطناعي
نقطة البداية الجيدة لفرق الأمن السيبراني عند التخطيط للدفاع عن أنظمة الذكاء الاصطناعي بوصفها أهدافًا هي فهم اختلافها عن التطبيقات البرمجية وتقنيات الذكاء الاصطناعي السابقة. وسيغيّر ذلك توقعات الفرق من مطوري تطبيقات الذكاء الاصطناعي وفرق الاختبار الأحمر، وكذلك نهج اكتشاف المخاطر والحد منها.
تقنيات الذكاء الاصطناعي التوليدي، ونماذج اللغة الكبيرة، ونماذج الانتشار والبنى المرتبطة بها غير حتمية. لا يمكن إجراء اختبار واحد والحصول على النتيجة المطلوبة ثم المضي قدمًا بثقة. وتُظهر الأبحاث المنشورة ضرورة تكرار الاختبارات على نطاق أكبر مما كان يُفترض سابقًا وإجراء التقييمات عبر جلسات منفصلة أكثر.
المتطلب الجديد: تكرار الاختبارات على نطاق أكبر وعبر جلسات أكثر.
تستطيع تطبيقات ووكلاء الذكاء الاصطناعي التوليدي الذين يتواصلون باللغة الطبيعية فهم الطلبات المكتوبة والمنطوقة والرد بالمثل. وهذا يخلق تهديدًا مزدوجًا: مدخلات غير محدودة ومخرجات غير محدودة. لذا يجب اختبار مجالات تمتد من الأمن السيبراني والبيانات الشخصية إلى الاحتيال وإيذاء النفس والتمييز والإرهاب والتلاعب السياسي وغيرها. ومهمة فرق الاختبار أكبر مما قد تدرك، ومن غير المرجح أن تكون خبيرة في كل هذه المجالات. وغالبًا ما تبقى الآثار السلبية عبر مجالات السلامة والأمن دون استكشاف قبل نقل الأنظمة إلى الإنتاج.
المتطلب الجديد: توسيع مجالات تغطية الاختبار بصورة كبيرة.
يمكن لتغييرات صغيرة أن تحدث فرقًا كبيرًا في السلوك. فسلوك النماذج والوكلاء تحدده بيانات التدريب والمعلومات الموجودة في نافذة السياق، التي تتكون من مطالبة المستخدم، ومطالبة النظام، والذاكرة، والوصول إلى الأدوات وقواعد البيانات والأنظمة ووكلاء آخرين. وقد يؤدي تغير صغير في هذه المتغيرات إلى تغيير السلوك، مع أن الفريق لا يتحكم في جميعها طوال الوقت. وإذا اقتصر الاختبار على قائمة ثابتة من الهجمات، فإن ما يُعرف فعليًا هو أن الدفاعات تصمد أمام تلك الصياغات المحددة فقط، وإلى أن يتغير شيء.
المتطلب الجديد: توليد مطالبات هجومية جديدة بانتظام لاختبار مرونة النظام عبر الفئات، لا مجرد قابليته لتقنيات أو صياغات بعينها.
المتطلب الجديد: الاختبار المستمر للتحقق من الدفاعات واكتشاف تغيرات السلوك الناتجة عن تغييرات صغيرة في المتغيرات.
تُدرَّب معظم نماذج الذكاء الاصطناعي لتكون مفيدة، ولذلك تميل إلى الامتثال للطلبات ما لم يوجهها التدريب أو حواجز الحماية إلى مسار آخر. وحتى عندما ترفض التعاون الكامل، أظهرت الاختبارات أن النماذج غالبًا ما تستمر في التفاعل وتقدم بعض المعلومات بالطريقة المطلوبة أو تعليقات تقع خارج قواعد سلوك الوكيل. كما تخضع الأنظمة لأشكال من الإكراه والإقناع تحاكي نقاط الضعف البشرية التي تستغلها تهديدات الأذى والهندسة الاجتماعية.
المتطلب الجديد: استخدام هجمات تكيفية متعددة الجولات تعدّل التكتيكات أثناء المحادثة أو الجلسة لاستكشاف حدود الرفض وفعالية حواجز الحماية.
هناك اعتبارات أخرى عديدة، من استخدام هجمات مولّدة بلغات بشرية أو حاسوبية أصلية، إلى إعدادات حواجز الحماية، والمواءمة مع المعايير، وغيرها. ومع ذلك، فإن اتباع المتطلبات الخمسة الجديدة الواردة أعلاه يضع الفريق في موقع متقدم على المؤسسات النظيرة، ويمضي به شوطًا كبيرًا نحو الإدارة الاستباقية لمخاطر الذكاء الاصطناعي وتشغيل أنظمة أكثر أمنًا.
