تشات جي بي تي في المؤسسة: أعلى المخاطر الأمنية وطرق التخفيف منها

ما هو ChatGPT؟

ChatGPT هي أداة ذكاء اصطناعي توليدية عبر الإنترنت تم تطويرها بواسطة OpenAI، استنادًا إلى سلسلة نماذج اللغة الكبيرة (LLMs) المعروفة باسم GPT (المحول المدرب مسبقًا). تم تصميمها لفهم وتوليد نصوص تشبه النصوص البشرية، مما يمكنها من الانخراط في تبادلات حوارية، والإجابة على الأسئلة، وكتابة المحتوى، وتوليد الشيفرات، بناءً على تحليلها لكميات هائلة من البيانات النصية.

إن استخدام ChatGPT وأدوات الذكاء الاصطناعي التوليدية المماثلة ينمو بسرعة. وفقًا لأبحاث أجرتها SalesForce، فإن أكثر من 45% من سكان الولايات المتحدة يستخدمون أدوات الذكاء الاصطناعي التوليدية، و75% من المستخدمين يتطلعون إلى أتمتة المهام في العمل ودعم الاتصالات في العمل. في الوقت نفسه، يمكن استغلال قدرة ChatGPT على معالجة وتوليد نصوص شبيهة بالنصوص البشرية لأغراض خبيثة، مما يزيد من المخاطر المتعلقة بالأمن السيبراني.

من صياغة رسائل تصيد معقدة يمكن أن تخدع حتى أكثر العيون يقظة، إلى توليد كود يمكن استخدامه في الهجمات الإلكترونية، يبرز الاستخدام المحتمل لـ ChatGPT الطبيعة ذات الحدين لتقنيات الذكاء الاصطناعي المتقدمة. مع تزايد تكامل هذه النماذج في العمليات التجارية الحيوية، تزداد احتمالية خروقات البيانات وانتهاكات الخصوصية، مما يستلزم اتخاذ تدابير أمنية صارمة لحماية المعلومات الحساسة، وضمان عدم تحول قدرات الذكاء الاصطناعي المتقدمة إلى ثغرات أمنية.

كيف تستخدم المنظمات نماذج اللغة الكبيرة (LLMs) اليوم؟

تقوم نماذج الذكاء الاصطناعي الكبيرة، مثل النماذج التي تدعم ChatGPT، بإحداث ثورة في طريقة عمل المؤسسات عبر الصناعات. إليك بعض حالات الاستخدام في المؤسسات لأدوات مثل ChatGPT:

• أتمتة دعم العملاء: تستفيد العديد من الشركات من نماذج اللغة الكبيرة لتعزيز خدمة العملاء. من خلال دمج هذه النماذج في أنظمة دعم العملاء الخاصة بها، يمكن للشركات تقديم ردود فورية، على مدار الساعة طوال أيام الأسبوع، على استفسارات العملاء.
• إنشاء المحتوى وإدارته: تساعد نماذج اللغة الكبيرة في إنشاء وإدارة المحتوى على نطاق واسع. من كتابة المقالات والتقارير إلى إنشاء مواد تسويقية ووصف المنتجات، تساعد هذه النماذج في تبسيط عمليات إنشاء المحتوى.
• توليد الشيفرة ومراجعتها: في مجال تطوير البرمجيات، يتم استخدام نماذج اللغة الكبيرة لتوليد مقتطفات من الشيفرة، ومراجعة الشيفرة بحثًا عن الأخطاء، واقتراح تحسينات وتعديلات.
• ترجمة اللغة: تستخدم المنظمات ذات الحضور العالمي نماذج اللغة الكبيرة (LLMs) لخدمات الترجمة الفورية، مما يمكّن من التواصل السلس عبر لغات وثقافات مختلفة. يساعد ذلك الشركات على توسيع نطاقها وتلبية احتياجات جمهور أوسع.
• حملات تسويقية مخصصة: من خلال تحليل بيانات العملاء، يمكن لنماذج اللغة الكبيرة (LLMs) المساعدة في تخصيص الرسائل التسويقية والحملات لتناسب تفضيلات وسلوكيات الأفراد.
• تحليل البيانات: يمكن لنماذج اللغة الكبيرة معالجة وتحليل مجموعات البيانات الكبيرة لاستخراج الرؤى والاتجاهات. تستخدم الشركات هذه القدرة لإبلاغ اتخاذ القرارات، وتحديد الفرص في السوق، وتحسين العمليات.
• أدوات وموارد تعليمية: تتبنى المؤسسات التعليمية ومنصات التعلم الإلكتروني نماذج اللغة الكبيرة لإنشاء تجارب تعلم مخصصة. يمكن لهذه النماذج توليد مواد دراسية، اختبارات، وحتى تقديم دروس خصوصية في مجموعة واسعة من المواضيع.

نصائح من الخبير

ستيف مور هو نائب الرئيس ورئيس استراتيجيات الأمن في إكزبيم، يساعد في تقديم الحلول لاكتشاف التهديدات وتقديم المشورة للعملاء بشأن برامج الأمن والاستجابة للاختراقات. وهو مضيف بودكاست "The New CISO Podcast"، و عضو في Forbes Tech Council، ومؤسس مشارك لـ TEN18 at Exabeam.

من خلال تجربتي، إليكم استراتيجيات متقدمة لنشر وإدارة أدوات مثل ChatGPT بشكل آمن في بيئات الشركات:

نشر أدوات الكشف عن التصيد الاحتيالي التي تم إنشاؤها بواسطة الذكاء الاصطناعي
تدريب الأنظمة الداخلية على التعرف على رسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي ومحاولات الهندسة الاجتماعية. دمج هذه الأدوات مع برامج توعية الموظفين لتقليل خطر التعرض لهجمات متطورة، تم إنشاؤها بواسطة الذكاء الاصطناعي.

تنفيذ سياسة استخدام نماذج اللغة الكبيرة عبر المؤسسة
تطوير سياسة واضحة تحكم استخدام أدوات الذكاء الاصطناعي التوليدية مثل ChatGPT. تضمين إرشادات حول حالات الاستخدام المقبولة، والأنشطة المحظورة، والعمليات اللازمة لتدقيق التكاملات من الأطراف الثالثة. التأكد من فهم الموظفين للمخاطر المرتبطة باستخدام نماذج اللغة الكبيرة لمعالجة البيانات الحساسة.

استخدم نسخة خاصة من نموذج اللغة الكبيرة في البيئات الحساسة
بالنسبة للمؤسسات التي تتعامل مع بيانات سرية أو منظمة، يُنصح بنشر نسخ خاصة، مستضافة ذاتيًا من نماذج اللغة الكبيرة. تعمل هذه النسخ ضمن شبكتك وتوفر تحكمًا كاملاً في معالجة البيانات وتكوينات الأمان، مما يقضي على المخاطر المرتبطة بواجهات برمجة التطبيقات العامة.

دمج استخدام نماذج اللغة الكبيرة مع أنظمة إدارة معلومات الأمان
مراقبة تفاعلات نماذج اللغة الكبيرة باستخدام منصات إدارة معلومات الأمان مثل Exabeam للكشف عن الأنشطة غير العادية، مثل الاستفسارات المتكررة أو المشبوهة. يساعد ذلك في تحديد أي استخدام محتمل غير صحيح أو سلوك خبيث يتعلق بالأدوات المدعومة بالذكاء الاصطناعي.

تحديث وتأمين الإضافات وواجهات برمجة التطبيقات بانتظام
تأكد من أن الإضافات وواجهات برمجة التطبيقات المتصلة بـ ChatGPT محدثة لأحدث الإصدارات وتتبع ممارسات البرمجة الآمنة. قم بإجراء تقييمات للثغرات على الإضافات وقيّد استخدام GPTs المخصصة لتكوينات تم التحقق منها والموافقة عليها.

ما هي المخاطر الأمنية للنماذج اللغوية الكبيرة في المؤسسات؟

هناك العديد من المخاطر والتحديات الأمنية التي تنشأ عند استخدام نماذج اللغة الكبيرة مثل ChatGPT.

تعرض البيانات الحساسة

تُعتبر مشكلة تسرب البيانات الحساسة مصدر قلق كبير في نماذج اللغة الكبيرة، حيث إنها تعالج وتدمج المعلومات من مجموعات بيانات التدريب الخاصة بها. في السيناريوهات التي تسترجع فيها هذه النماذج تفاصيل من تلك المجموعات بشكل غير مقصود، يمكن أن يؤدي ذلك إلى تسرب البيانات بشكل غير مقصود، مما يهدد الخصوصية والأمان.

تشكل الاستعلامات الخبيثة المصممة لاستخراج المعلومات السرية خطرًا كبيرًا، خاصة عندما يتم دمج نماذج اللغة الكبيرة في الخدمات العامة. إن تنفيذ سياسات صارمة للتعامل مع البيانات وحماية الخصوصية أمر حيوي في التخفيف من هذه الثغرات.

هجمات حقن نماذج اللغة الكبيرة

تشمل هجمات حقن نماذج اللغة الكبيرة (LLM) قيام الخصوم بالتلاعب بالمدخلات للنموذج من أجل تحفيز استجابات معينة، وغالبًا ما تكون غير مصرح بها، أو للتسبب في تصرف النظام بطرق غير مقصودة. تستغل هذه الهجمات قدرة النموذج على توليد المحتوى بناءً على المدخلات التي يتلقاها، مما قد يؤدي إلى كشف معلومات حساسة، أو تنفيذ أفعال ضارة، أو نشر محتوى مضلل.

في سياق تنظيمي، قد يؤدي ذلك إلى استغلال أدوات الذكاء الاصطناعي التوليدية من قبل الموظفين أو المهاجمين الخارجيين، مما يعرض المنظمة للخطر. لمكافحة هذه التهديدات، من الضروري تنفيذ عمليات تحقق وتنظيف قوية للمدخلات. يمكن أن يساعد مراقبة وتسجيل جميع التفاعلات مع نماذج اللغة الكبيرة أيضًا في تحديد وتخفيف محاولات الحقن.

تسمم البيانات

تسميم البيانات هو تقنية يقوم فيها المهاجمون بإدخال بيانات مضللة أو ضارة عمدًا في مجموعة بيانات تدريب النموذج، بهدف إفساد عملية تعلمه والتأثير على مخرجاته المستقبلية. يمكن أن يؤدي ذلك إلى إنتاج النموذج لمحتوى غير صحيح أو متحيز أو ضار. في سياق نماذج اللغة الكبيرة، يمكن أن يظهر ذلك في شكل مخرجات تميل بشكل خفي لصالح أجندة المهاجم، أو مخرجات تتضمن محتوى أو نصائح ضارة مخفية.

يتطلب منع تلوث البيانات عمليات تحقق وتنظيم صارمة للبيانات. من المهم مراقبة البيانات المستخدمة في تدريب نماذج اللغة الكبيرة (LLMs) بعناية والتحكم فيها، والتأكد من أنها تأتي من مصادر موثوقة. بالإضافة إلى ذلك، يمكن أن تساعد إعادة تقييم النموذج وتحديثه باستمرار ببيانات نظيفة وموثوقة في التخفيف من آثار أي بيانات ملوثة تم تناولها سابقًا. يجب على المنظمات التأكد من أن مزودي نماذج اللغة الكبيرة، مثل OpenAI، يتخذون التدابير المناسبة لمنع تلوث البيانات.

تصميم الإضافات غير الآمن

يوفر ChatGPT الوصول إلى الآلاف من الإضافات وGPTs المخصصة التي أنشأها أفراد من جميع أنحاء العالم. عند استخدامها في منظمة، هناك خطر من دمج إضافات أو ملحقات لم يتم تأمينها بشكل كاف.

يمكن أن يؤدي تصميم المكونات الإضافية غير الآمن إلى ثغرات أمنية خطيرة. نظريًا، يمكن أن تسمح هذه الثغرات للمهاجمين بتجاوز الضوابط الأمنية، وتنفيذ كود عشوائي، أو الوصول إلى معلومات حساسة.

كيف يمكن استخدام نماذج اللغة الكبيرة مثل ChatGPT في الأنشطة الإجرامية؟

تحسين مهارات المجرمين الإلكترونيين

توفر نماذج اللغة الكبيرة (LLMs) للمجرمين الإلكترونيين وصولاً سهلاً إلى تقنيات القرصنة المتقدمة والمعرفة. يمكن للخصوم استعلام هذه النماذج للحصول على معلومات حول استغلال الثغرات، مما يزيد من مستوى التهديد الذي يشكلونه. بالإضافة إلى ذلك، يمكن للمهاجمين الذين يسعون لاختراق الأنظمة التنظيمية استخدام نماذج اللغة الكبيرة لتعلم وتوليد الشيفرات أو التكوينات بسرعة لأي نظام برمجي تقريبًا.

الاستخدام في هجمات الهندسة الاجتماعية

يمكن لنماذج اللغة الكبيرة (LLMs) إنتاج نصوص مقنعة ومعقدة للغاية، مما يمكن أن يُساء استخدامه في صياغة رسائل تصيد احتيالي متقنة أو مخططات هندسة اجتماعية. وغالبًا ما تكون هذه الرسائل التي يتم إنشاؤها بواسطة الذكاء الاصطناعي غير قابلة للتمييز عن الاتصالات الحقيقية، مما يزيد من معدل نجاح الاحتيالات التي تستهدف الأفراد أو المنظمات.

إن تحسين نماذج اللغة يشكل خطرًا كبيرًا، حيث يمكّن من تنفيذ حملات تصيد احتيالي مستهدفة على نطاق واسع. يتطلب التصدي لهذا التهديد تعزيز اليقظة، وتثقيف المستخدمين، وتطوير أنظمة كشف متقدمة، مصممة للتعرف على العلامات الدقيقة للخداع في المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي.

جيل البرمجيات الخبيثة

يمكن أن يستغل المهاجمون أدوات مثل ChatGPT لتحسين أو إنشاء برمجيات خبيثة جديدة، باستخدام قدرات الذكاء الاصطناعي لتوليد وإعادة صياغة الشيفرات. من خلال إدخال أوصاف للوظائف الخبيثة المرغوبة، يمكن للمهاجمين الحصول على مقتطفات من الشيفرات أو حتى حمولات برمجية خبيثة كاملة.

تقلل أدوات الذكاء الاصطناعي التوليدي من الحواجز أمام دخول المجرمين الأقل مهارة تقنية، مما يؤدي إلى ظهور مشهد تهديدات أكثر تعقيدًا. بالإضافة إلى ذلك، يمكن للمهاجمين أتمتة تعديل كود البرمجيات الخبيثة لجعلها أكثر مقاومة للكشف، حيث يمكن أن تتطور بسرعة لتجاوز تدابير الأمان.

استراتيجيات التخفيف: كيفية استخدام ChatGPT بشكل آمن في المؤسسات

إليك بعض الاستراتيجيات المفيدة لحماية نفسك من المخاطر الأمنية التي تشكلها نماذج اللغة الكبيرة مثل ChatGPT.

تحقق من صحة جميع المحتويات المُنتَجة.

يتطلب استخدام نموذج لغة كبير مثل ChatGPT التحقق من دقة المحتوى الناتج. يمكن أن تنتشر المعلومات الخاطئة بسرعة، مما يؤدي إلى اتخاذ قرارات بناءً على أسس خاطئة. يضمن وضع بروتوكولات للتحقق من الحقائق موثوقية المخرجات التي ينتجها الذكاء الاصطناعي، مما يحمي من انتشار الأخطاء.

يجب على المنظمات دمج خطوات التحقق المتبادل واستشارة المصادر الموثوقة للتحقق من المحتوى الناتج. تعزز هذه التدابير مصداقية وفائدة تطبيقات نماذج اللغة الكبيرة في بيئات الأعمال.

إخفاء الهوية للبيانات

تحمي إخفاء الهوية البيانات الحساسة التي تتم معالجتها بواسطة نماذج اللغة الكبيرة. إن إزالة أو إخفاء التفاصيل القابلة للتعرف يمنع تسرب البيانات ويحافظ على الخصوصية. إن تطبيق تقنيات إخفاء الهوية أمر ضروري عند إدخال بيانات العالم الحقيقي في نماذج اللغة الكبيرة للتدريب أو استجابة الاستفسارات.

تقنيات مثل إخفاء البيانات، والتوكنيزيشن، والخصوصية التفاضلية يمكن أن تخفي البيانات بشكل فعال، مما يقلل من خطر التعرض مع الاحتفاظ بفائدة المعلومات لتطبيقات الذكاء الاصطناعي.

ملاحظة: قدمت OpenAI مؤخرًا مستويات الفريق والمؤسسة من أداة ChatGPT، حيث تدعي أن البيانات الخاصة لا تُستخدم لتدريب نماذجها. ومع ذلك، يتطلب الأمر عناية دقيقة للتحقق من تفاصيل هذه الادعاءات، ولا تزال التدابير الوقائية على المستوى التنظيمي موصى بها.

كن حذرًا مع واجهات برمجة التطبيقات والتطبيقات التابعة لجهات خارجية.

يُؤدي دمج تطبيقات وواجهات برمجة تطبيقات خارجية في تكاملات LLM إلى ثغرات أمنية إضافية. يُعدّ التدقيق الدقيق للأدوات الخارجية وضوابط الوصول الصارمة أمرًا بالغ الأهمية للحماية من الوصول غير المصرح به وتسريب البيانات. في البيئات عالية الأمان، يُنصح بحظر استخدام المكونات الإضافية الخارجية أو بروتوكولات GPT المُخصصة في ChatGPT.

يجب على المنظمات إجراء تقييمات أمنية شاملة للحلول المقدمة من طرف ثالث، مع التأكد من التزامها بأفضل الممارسات والمعايير. كما أن الحفاظ على رقابة صارمة على استخدام واجهات برمجة التطبيقات (API) ومراقبة الأنشطة غير الطبيعية يساعد أيضًا في تقليل المخاطر المرتبطة بالتكاملات الخارجية.

لا تتجاهل أدوات الأمان التقليدية.

بينما تطرح نماذج اللغة الكبيرة تحديات أمنية جديدة، تظل أدوات الأمن السيبراني التقليدية ضرورية. لا تزال برامج مكافحة الفيروسات، وجدران الحماية، وأنظمة إدارة معلومات الأمن والأحداث (SIEM) تلعب أدوارًا حاسمة في الحماية من الوصول غير المصرح به، وهجمات الحقن، وغيرها من الأنشطة المشبوهة المتعلقة باستخدام نماذج اللغة الكبيرة.

يمكن أن يؤدي دمج هذه الأدوات في استراتيجية أمنية شاملة إلى توسيع نطاق الحماية لتغطية التهديدات الناشئة المرتبطة بتقنيات الذكاء الاصطناعي التوليدي. كما هو الحال مع جميع التطبيقات الحيوية للأعمال، فإن المراقبة المستمرة مهمة لتحديد الحوادث الأمنية والحصول على رؤية واضحة حول مشهد التهديدات.

منصة دمج أمني: الرائدة في أنظمة إدارة معلومات الأمان المدعومة بالذكاء الاصطناعي

تقدم شركة Exabeam تجربة مدعومة بالذكاء الاصطناعي عبر سير عمل TDIR بالكامل. يجمع ذلك بين أكثر من 1800 قاعدة مطابقة أنماط ونماذج سلوكية قائمة على التعلم الآلي للكشف تلقائيًا عن التهديدات الأمنية المحتملة مثل الهجمات المعتمدة على بيانات الاعتماد، والتهديدات الداخلية، ونشاط برامج الفدية من خلال تحديد الأنشطة عالية المخاطر للمستخدمين والكيانات. تقوم تحليلات سلوك المستخدم والكيان (UEBA) الرائدة في الصناعة بتحديد النشاط الطبيعي لجميع المستخدمين والكيانات، وتعرض جميع الأحداث الملحوظة بالتسلسل الزمني.

الجدول الزمني الذكي يسلط الضوء على المخاطر المرتبطة بكل حدث، مما يوفر على المحلل كتابة مئات الاستفسارات. يقوم التعلم الآلي بأتمتة سير عمل فرز التنبيهات، مضيفًا سياق UEBA لتحديد التنبيهات ذات الأولوية وتصعيدها بشكل ديناميكي.

يمكن لمنصة Exabeam تنسيق وأتمتة سير العمل المتكرر لأكثر من 100 منتج خارجي مع إجراءات وعمليات، من النشاط شبه الآلي إلى النشاط الآلي بالكامل. وتقوم أداة Exabeam Outcomes Navigator برسم مصادر البيانات التي تدخل إلى منتجات Exabeam مقابل أكثر حالات الاستخدام الأمني شيوعًا وتقترح طرقًا لتحسين التغطية.