رئيس مايكروسوفت يحذر من اختراق نماذج الذكاء الاصطناعى ويطالب بزر إيقاف طوارئ

حذر ساتيا ناديلا، الرئيس التنفيذي لشركة مايكروسوفت، من التعامل مع نماذج الذكاء الاصطناعي باعتبارها أنظمة آمنة بطبيعتها، داعيًا إلى افتراض احتمال تعرضها للاختراق منذ البداية، وتصميم وسائل تسمح باحتوائها وإيقاف تشغيلها عند ظهور سلوك غير متوقع، في موقف يعكس تصاعد المخاوف من الأنظمة القادرة على تنفيذ المهام والوصول إلى البيانات والتطبيقات دون تدخل بشري في كل خطوة، خاصة مع توسع الشركات في استخدام وكلاء الذكاء الاصطناعي داخل مؤسساتها.

ووفقًا لتقرير نشره موقع The Verge، طرح ناديلا رؤيته عبر منشور على منصة إكس، دعا فيه إلى بناء بيئات تشغيل تعتمد على الشفافية والتحكم والتحقق من سلامة الأنظمة، مؤكدًا أهمية وجود ما يشبه مكابح الطوارئ التي تسمح للمسؤولين بإيقاف النموذج أثناء تنفيذ المهام، إلى جانب اعتماد مراجعات مستقلة والإبلاغ عن الحوادث الأمنية، وعدم الاكتفاء بإجراءات الحماية التي تضعها الشركات المطورة داخل نماذجها.

لماذا يفترض ناديلا أن النماذج قد تكون مخترقة؟

تقوم الفكرة على مبدأ في الأمن السيبراني يُعرف بعدم الثقة المسبقة، حيث لا يحصل أي نظام على صلاحيات لمجرد وجوده داخل بيئة العمل، بل يتعين التحقق من هويته وحدود الوصول المسموح بها، ومراقبة العمليات التي ينفذها بصورة مستمرة.

وتزداد أهمية هذا المبدأ مع وكلاء الذكاء الاصطناعي الذين يستطيعون استخدام الأدوات والاتصال بالخدمات وتنفيذ التعليمات، لأن تعرض أحدهم للتلاعب قد يؤدي إلى اتخاذ إجراءات لم يقصدها المستخدم، حتى إذا كانت الأدوات المستخدمة تعمل دون أخطاء تقنية.

ولا يعني تحذير ناديلا أن جميع النماذج تعرضت بالفعل للاختراق، بل إنه يدعو إلى تصميم أنظمة الحماية على أساس أن احتمالات الاختراق أو التلاعب قائمة.

هل تصبح مكابح الطوارئ شرطًا لتشغيل الذكاء الاصطناعي؟

يرى ناديلا أن الأنظمة المتقدمة تحتاج إلى وسائل تسمح بإيقافها واحتواء آثار سلوكها، مع توفير معلومات يمكن التحقق منها بشأن العمليات التي نفذتها، حتى تستطيع المؤسسات تحديد ما حدث عند وقوع مشكلة، ويختلف هذا التوجه عن الاعتماد على تعليمات نصية تطلب من النموذج تجنب السلوك الضار، إذ يتعلق بوجود ضوابط داخل البنية التشغيلية نفسها، تمنع النظام من تجاوز صلاحياته أو الاستمرار في تنفيذ إجراءات عند ظهور مؤشرات خطر.

وتطرح هذه الرؤية تحديًا أمام الشركات التي تسعى إلى منح وكلاء الذكاء الاصطناعي استقلالية أكبر، لأن زيادة قدرتهم على تنفيذ المهام تتطلب في المقابل وسائل تمنح المؤسسات قدرة على المراقبة والتدخل والمساءلة.