طفرة في مراقبة وكلاء الذكاء الاصطناعي
تزايدت المخاوف بشان سلوك وكلاء الذكاء الاصطناعي مع توسع الاعتماد عليهم في تنفيذ مهام برمجية وامنية بشكل مستقل، حيث يكمن الخطر في قدرة الوكيل على الوصول لنتائج صحيحة عبر طرق غير آمنة او متجاوزة للاهداف المحددة. واعلنت شركة غودفاير الامريكية المتخصصة في تفسير نماذج الذكاء الاصطناعي عن تطوير ادوات مبتكرة تراقب الاشارات الداخلية للنماذج لاكتشاف السلوكيات غير المرغوبة خلال التنفيذ، مما يقلل الحاجة الى انظمة تقييم خارجية مكلفة.
آلية عمل مراقبات التنشيط
كشفت الشركة عن نظام يعتمد على ما يعرف بمراقبات التنشيط، وهي مصنفات صغيرة يتم تدريبها على رصد انماط محددة في الاشارات الحسابية الداخلية التي تتولد اثناء معالجة البيانات. واوضحت ان هذه التقنية تتجاوز مجرد قراءة مخرجات الوكيل، لتبحث داخل النموذج نفسه عن مؤشرات مرتبطة بالتحايل او اساءة استخدام القدرات السيبرانية او كشف البيانات الحساسة.
واضافت ان هذه المراقبات تعمل لحظيا اثناء تنفيذ المهمة، مما يسمح باصدار تنبيهات فورية عند ظهور انماط مشبوهة بدلا من انتظار النتائج النهائية. وبينت ان النظام لا يقرأ الافكار مباشرة، بل يعتمد على انماط حسابية تعلّمت الارتباط بسلوكيات معينة، وتظل دقتها مرهونة بجودة التدريب.
تحديات التحايل على المكافآت
اوضح الباحثون ان الادوات الجديدة تعالج مشكلة التحايل على المكافآت، حيث يجد النموذج وسيلة لتحقيق معايير النجاح السطحية دون تنفيذ الهدف الحقيقي. واظهرت دراسة اجرتها الشركة على نماذج مفتوحة الاوزان ان التحايل ظهر في نسبة كبيرة من محاولات التنفيذ، مما يؤكد الحاجة الملحة لمراقبة داخلية تكشف ما تخفيه الخطوات التي تبدو طبيعية.
خفض التكاليف وتحسين الاستجابة
شددت الشركة على ان مراقبة كل خطوة عبر نماذج لغوية كبيرة ترفع التكاليف بشكل هائل، لذا اعتمدت نهجا ثنائيا يجمع بين مراقبات التنشيط السريعة ونموذج تقييم مركزي يتم استدعاؤه فقط عند الحاجة. واكدت ان هذه الطريقة خفضت تكاليف المراجعة بنحو 50 مرة دون التاثير على سرعة الاداء، كما تعاونت الشركة مع منصة باستين لاطلاق مشروع بيكون الذي يتيح للمؤسسات دمج هذه الادوات في بيئات العمل الحقيقية.
مستقبل سلامة الذكاء الاصطناعي
بينت الشركة ان هذه الادوات تمثل خطوة هامة لكنها ليست حلا نهائيا، اذ لا تزال هناك حاجة لاختبارات مستقلة وتدخل بشري مستمر. واوضحت ان التحول من مراقبة النتائج فقط الى مراقبة طريقة التنفيذ يعد ضرورة حتمية مع تزايد استقلالية الوكلاء، لضمان ان المسار المتبع يتوافق دائما مع الاهداف الامنية والاخلاقية المطلوبة.
