فهرس المحتويات
حتى لو لم تكن على دراية، فإن معظم الأجهزة التي تستخدمها منظمتك تنتج أو قادرة على إنتاج بيانات سجلات الأحداث التي تحتوي على معلومات قيمة حول نشاطها، وصحة نظامك، ووظائفه. يمكن أن تساعدك تجميع السجلات في الاستفادة القصوى من هذه السجلات وتقليل الوقت والصداع الناتج عن البحث اليدوي فيها. سترغب في استخدام حل لإدارة السجلات، مثل SIEM، الذي يتضمن قدرات تجميع السجلات.
هذا المحتوى هو جزء من سلسلة حول تسجيل الأحداث.
ما هي السجلات؟
السجلات هي سجلات تحتوي على تدفقات مستمرة من الأحداث الموقعة زمنياً التي يتم إنشاؤها بواسطة الأنظمة والتطبيقات. تسجل أنواع الأحداث، الأوقات، المصادر، وأي مستوى من التفاصيل تم تحديده. تُستخدم في تصحيح الأخطاء البرمجية، تحديد خروقات الأمان، وتوفير رؤى حول عمليات النظام. يختلف نوع ملف السجلات وبنية البيانات حسب المطور، التطبيق، والنظام.
السجلات ضرورية لفهم صحة التطبيقات والبنية التحتية للشبكات وقضايا الأمان. عند استخدامها بشكل صحيح، تساعد فرق تكنولوجيا المعلومات في تحديد المشكلات ومعالجتها بسرعة، مما يضمن عدم تأثير الأنظمة المعطلة على إنتاجية العمال أو تجربة العملاء. تعتبر بيانات السجلات حاسمة عند استخدام التطبيقات أو البنى التحتية من طرف ثالث، مثل السحابة، حيث يمكن أن تؤدي التعقيدات الإضافية وعدم القدرة على تعديل الوظائف إلى مشكلات في تكنولوجيا المعلومات.
حتى لو لم تكن ترغب في استخدام السجلات، فإن معظم المنظمات ملزمة بالاحتفاظ بها للامتثال للهيئات التنظيمية وكدليل على العمليات في حالة التدقيق المالي أو الجنائي.
ما هو تجميع السجلات؟
تجميع السجلات هو عملية جمع السجلات من أنظمة حوسبة متعددة، وتحليلها واستخراج البيانات المنظمة منها، وتجميعها في تنسيق يسهل البحث والاستكشاف بواسطة أدوات البيانات الحديثة.
هناك أربع طرق شائعة لتجميع السجلات - حيث تجمع العديد من أنظمة تجميع السجلات بين عدة طرق.
نظام تسجيل الأحداث
بروتوكول تسجيل قياسي. يمكن لمديري الشبكات إعداد خادم Syslog يستقبل السجلات من أنظمة متعددة، ويخزنها في تنسيق مضغوط وفعال يسهل استعلامه. يمكن لمجمعات السجلات قراءة ومعالجة بيانات Syslog مباشرة.
تدفق الأحداث
تسمح بروتوكولات مثل SNMP وNetflow وIPFIX للأجهزة الشبكية بتوفير معلومات قياسية حول عملياتها، والتي يمكن اعتراضها من قبل مجمع السجلات، وتحليلها، وإضافتها إلى التخزين المركزي للسجلات.
جامعو السجلات
وكلاء البرمجيات الذين يعملون على أجهزة الشبكة، يلتقطون معلومات السجل، يحللونها، ويرسلونها إلى مكون مركزي لتخزينها وتحليلها.
الوصول المباشر
يمكن لمجمعات السجلات الوصول مباشرة إلى الأجهزة الشبكية أو أنظمة الحوسبة، باستخدام واجهة برمجة التطبيقات (API) أو بروتوكول الشبكة لاستقبال السجلات مباشرة. تتطلب هذه الطريقة تكاملًا مخصصًا لكل مصدر بيانات.
ما هي معالجة السجلات؟
معالجة السجلات هي فن أخذ السجلات الخام من أنظمة متعددة، وتحديد هيكلها أو مخططها، وتحويلها إلى مصدر بيانات موحد ومعياري.
تدفق معالجة السجلات
01 – تحليل السجلات
كل سجل له تنسيق بيانات متكرر يتضمن حقول البيانات والقيم. ومع ذلك، يختلف التنسيق بين الأنظمة، حتى بين السجلات المختلفة على نفس النظام.
محلل السجلات هو مكون برمجي يمكنه أخذ تنسيق سجل محدد وتحويله إلى بيانات منظمة. تشمل برامج تجميع السجلات العشرات أو المئات من المحللات المكتوبة لمعالجة السجلات للأنظمة الشائعة.
02 – تطبيع السجلات وتصنيفها
تطبيع السجلات يدمج الأحداث التي تحتوي على بيانات مختلفة في تنسيق مختصر يحتوي على سمات أحداث شائعة. معظم السجلات تلتقط نفس المعلومات الأساسية - الوقت، عنوان الشبكة، العملية المنفذة، إلخ.
يتضمن التصنيف إضافة معنى للأحداث - تحديد بيانات السجل المتعلقة بأحداث النظام، والمصادقة، والعمليات المحلية/عن بُعد، وما إلى ذلك.
03 – إثراء السجلات
إثراء السجلات ينطوي على إضافة معلومات مهمة يمكن أن تجعل البيانات أكثر فائدة.
على سبيل المثال، إذا كان السجل الأصلي يحتوي على عناوين IP، ولكن ليس على المواقع الفعلية للمستخدمين الذين يصلون إلى النظام، يمكن لمجمع السجلات استخدام خدمة بيانات تحديد المواقع الجغرافية لمعرفة المواقع وإضافتها إلى البيانات.
04 – فهرسة السجلات
تولد الشبكات الحديثة أحجامًا هائلة من بيانات السجلات. للبحث واستكشاف بيانات السجلات بشكل فعال، هناك حاجة لإنشاء فهرس للسمات الشائعة عبر جميع بيانات السجلات.
يمكن أن تكون عمليات البحث أو استعلامات البيانات التي تستخدم مفاتيح الفهرس أسرع بمقدار درجة واحدة مقارنةً بالفحص الكامل لجميع بيانات السجلات.
05 – تخزين السجلات
بسبب الأحجام الضخمة من السجلات، ونموها الأسي، فإن تخزين السجلات يتطور بسرعة. تاريخياً، كانت مجمعات السجلات تخزن السجلات في مستودع مركزي. اليوم، يتم تخزين السجلات بشكل متزايد على تكنولوجيا بحيرات البيانات، مثل Amazon S3 أو Hadoop.
يمكن أن تدعم بحيرات البيانات أحجام تخزين غير محدودة بتكلفة تخزين إضافية منخفضة، ويمكن أن توفر الوصول إلى البيانات عبر محركات المعالجة الموزعة مثل MapReduce، أو أدوات التحليل الحديثة عالية الأداء.
أنواع السجلات
تقريبًا كل نظام حوسبة يولد سجلات. فيما يلي بعض من أكثر المصادر شيوعًا لبيانات السجلات.
سجلات نقاط النهاية
نقطة النهاية هي جهاز حاسوبي ضمن شبكة – مثل جهاز كمبيوتر مكتبي، أو لابتوب، أو هاتف ذكي، أو خادم، أو محطة عمل. تولد نقاط النهاية سجلات متعددة، من مستويات مختلفة من مجموعة البرمجيات الخاصة بها – الأجهزة، ونظام التشغيل، والبرمجيات الوسيطة، وقواعد البيانات، والتطبيقات. يتم أخذ سجلات نقطة النهاية من المستويات الأدنى من المجموعة، وتستخدم لفهم الحالة، والنشاط، وصحة جهاز نقطة النهاية.
سجلات جهاز التوجيه
تعتبر أجهزة الشبكة مثل أجهزة التوجيه والمبدلات وموازني الحمل العمود الفقري لبنية الشبكة. توفر سجلاتها بيانات حيوية حول تدفقات الحركة، بما في ذلك الوجهات التي يزورها المستخدمون الداخليون، ومصادر الحركة الخارجية، وأحجام الحركة، والبروتوكولات المستخدمة، والمزيد. عادةً ما تنقل أجهزة التوجيه البيانات عبر تنسيق Syslog، ويمكن التقاط البيانات وتحليلها عبر خوادم Syslog في شبكتك.
سجلات أحداث التطبيق
تقوم التطبيقات التي تعمل على الخوادم أو أجهزة المستخدمين النهائيين بتوليد وتسجيل الأحداث. يوفر نظام التشغيل ويندوز سجل أحداث مركزي يجمع أحداث بدء التشغيل، وإيقاف التشغيل، ونبض القلب، وأخطاء وقت التشغيل من التطبيقات التي تعمل. في لينكس، يمكن العثور على رسائل سجل التطبيق في مجلد /var/log. بالإضافة إلى ذلك، يمكن لمجمعات السجلات جمع وتحليل السجلات مباشرة من التطبيقات المؤسسية، مثل خوادم البريد الإلكتروني، والويب، أو قواعد البيانات. يتم أخذ سجلات النقاط النهائية من المستويات الأدنى من المكدس، وتستخدم لفهم الحالة، والنشاط، وصحة جهاز النقطة النهائية.
سجلات إنترنت الأشياء
مصدر جديد ومتزايد لبيانات السجلات هو أجهزة إنترنت الأشياء (IoT) المتصلة. قد تقوم أجهزة إنترنت الأشياء بتسجيل نشاطها الخاص و/أو بيانات المستشعرات التي تلتقطها. تعتبر رؤية إنترنت الأشياء تحديًا كبيرًا لمعظم المؤسسات، حيث إن العديد من الأجهزة لا تحتوي على أي تسجيل على الإطلاق، أو تقوم بحفظ بيانات السجلات في أنظمة الملفات المحلية، مما يحد من القدرة على الوصول إليها أو تجميعها. تقوم عمليات نشر إنترنت الأشياء المتقدمة بحفظ بيانات السجلات في خدمة سحابية مركزية؛ حيث يتبنى العديد بروتوكول جمع سجلات جديد، syslog-ng، الذي يركز على قابلية النقل وجمع السجلات المركزية.
سجلات الوكيل
تقوم العديد من الشبكات بالحفاظ على بروكسي شفاف، مما يوفر رؤية لحركة مرور المستخدمين الداخليين. تحتوي سجلات خادم البروكسي على الطلبات المقدمة من المستخدمين والتطبيقات على الشبكة المحلية، وطلبات التطبيقات أو الخدمات المقدمة عبر الإنترنت، مثل تحديثات التطبيقات. لكي تكون صالحة، يجب تطبيق البروكسي عبر جميع، أو على الأقل الأجزاء الحرجة، من حركة مرور المستخدمين، ويجب أن تكون هناك تدابير لفك تشفير وتفسير حركة مرور HTTPS.
تنسقات السجلات الشائعة
تنسيقات السجلات الشائعة: CSV، JSON، زوج القيمة المفتاحية، تنسيق الحدث الشائع (CEF)
تنسيق سجل CSV
5:39:55 → الوقت
[الاسم الأول، الاسم الأخير، name@company] → بيانات اعتماد المستخدم
فشل تسجيل الدخول → حدث المصادقة
173.0.0.0 → عنوان IP /app/office365 → المستخدم سجل الدخول إلى التطبيق
تنسيق سجل JSON
اسم الجهاز → مضيف المستخدم
الرسالة → الحدث هو تذكرة خدمة Kerberos (المستخدم تم التحقق من هويته بالفعل ويرسل طلب وصول لخدمة معينة)
وقت الإنشاء → وقت الحدث
اسم المستخدم المستهدف → اسم المستخدم الذي يحاول تسجيل الدخول
اسم المجال المستهدف → المجال الذي حاول المستخدم تسجيل الدخول إليه
اسم الخدمة → الخدمة التي حاول المستخدم تسجيل الدخول إليها
تنسيق الأحداث الشائع (CEF)
CEF هو معيار مفتوح لإدارة السجلات يسهل مشاركة البيانات المتعلقة بالأمان من أجهزة الشبكة المختلفة والتطبيقات. كما أنه يوفر تنسيق سجل أحداث مشترك، مما يسهل جمع وتوحيد بيانات السجلات. يستخدم CEF تنسيق رسالة syslog.
تنسيق الحدث الشائع
CEF:Version|بائع الجهاز|منتج الجهاز|إصدار الجهاز|التوقيع
ID|الاسم|الخطورة|الامتداد
القوس الذي يحتوي على Trend Micro .. 3.5.4 → يحدد بشكل فريد الجهاز المرسل. لا يمكن لمنتجين استخدام نفس زوج البائع-المنتج.
600 → معرف فريد لكل نوع حدث، على سبيل المثال في أنظمة IDS، كل توقيع أو قاعدة لها توقيع فريد
ID 4 → خطورة الحدث من 1-10
Suser=Master.. → مجموعة من أزواج المفتاح-القيمة التي تسمح لسجل الإدخال باحتواء معلومات إضافية، من قاموس امتداد شامل يتضمن أحداث مثل deviceAction، ApplicationProtocol، deviceHostName، destinationAdress و DestinationPort، أو أحداث مخصصة.
مدخل سجل عينة
18 يناير 11:07:53 dsmhost CEF:0|Trend Micro|Deep Security Manager|3.5.4|600|تم تسجيل دخول المسؤول|4|suser=Master…
طرق تجميع السجلات
مع توسع المنظمات واعتمادها على مجموعة واسعة من التطبيقات والخدمات والبنى التحتية، تصبح السجلات متوزعة عبر مواقع مختلفة وتقل فائدتها بشكل كبير بسبب عدم الوصول إليها واختلاف تنسيق البيانات. يمكن حل هذه المشكلة من خلال تجميع السجلات، الذي يركز بيانات السجلات، مما يسهل تحليلها والبحث فيها.
عندما يتم تجميع السجلات، فإن الوقت الذي تحتاجه لتتبع الملفات، وفك تشفير تنسيقات البيانات، والبحث عن أخطاء معينة داخل السجلات، ناهيك عن ربط المعلومات بين السجلات، ينخفض بشكل كبير. السجلات المجمعة أسهل في التحليل وتوفر رؤية أكثر قوة لعملياتك مما يمكن تحقيقه من خلال الفحص الفردي.
هناك عدة طرق يمكنك اختيارها لتجميع سجلاتك، اعتمادًا على قدراتك التقنية واحتياجاتك. تشمل هذه الطرق:
- Syslog– يجمع بيانات السجل من خلال بروتوكول تسجيل قياسي؛ يتطلب وجود خادم مركزي للشبكة وعملاء لكل مصدر سجل ليتم توجيهها
- بث الأحداث– يجمع بيانات السجل من أجهزة الشبكة من خلال بروتوكولات البث مثل SNMP أو Netflow أو IPFIX
- جامعو السجلات– يجمعون السجلات من مصادر في الوقت الحقيقي من خلال وكيل، وعادة ما يكون خيارًا من طرف ثالث
- الوصول المباشر– يجمع بيانات السجل مباشرة من الأجهزة أو الأنظمة عبر تكامل API أو بروتوكول الشبكة
3 أدوات مفتوحة المصدر لتجميع السجلات
هناك العديد من الأدوات الخارجية التي تم إنشاؤها لجمع السجلات، والأدوات التي تختارها ستعتمد على احتياجاتك الخاصة. إذا كنت تبحث عن حلول يمكنك تخصيصها بالكامل، فقد تكون الأدوات مفتوحة المصدر التالية مناسبة لك. تذكر أنه على الرغم من أن الأدوات نفسها مجانية للعديد من الحلول، إلا أنها تتطلب منك إدارة وصيانة نظامك وتكلفتك من حيث التعقيد التشغيلي.
1. إلساتيك (المعروفة سابقًا باسم ELK)
حل شائع يتضمن إنشاء خدمة لإدارة السجلات باستخدام مجموعة أدوات Elastic Stack، والمعروفة أيضًا باسم ELK بسبب تكوينها من الأدوات التالية:
- Elasticsearch– محرك بحث وتحليلات يعمل في الوقت الحقيقي تقريبًا ويستخدم واجهة RESTful، يقوم بفهرسة البيانات لاستخدام أسرع ويمكنه التكامل مع Hadoop
- Logstash– نظام لجمع السجلات ومعالجة البيانات يقوم بتحويل البيانات وتحميلها إلى Elasticsearch للتحليل
- كيبانا– أداة لتصور البيانات تتضمن وظائف التعلم الآلي
Beats، وهي أداة يمكن تضمينها، هي مجموعة من الوكلاء الذين يجمعون ويرسلون البيانات إلى Elasticsearch مباشرة أو من خلال Logstash، بالإضافة إلى البيانات الوصفية لتوفير السياق.
إيلاستيك مرن للغاية وقابل للتخصيص، ويمكنه حتى توفير بعض ميزات نظام إدارة معلومات وأحداث الأمان (SIEM)، لكنه لا يمكنه توليد التنبيهات بدون إضافة مدفوعة. يمكن استضافة إيلاستيك محليًا أو في السحابة، وشعبيته تعني أنه مدعوم بشكل جيد، بما في ذلك الخدمات الخارجية التي يمكن أن تدير النظام نيابة عنك مقابل رسوم.
2. فلوانتد
موصى به من قبل AWS وGoogle Cloud، يُعتبر Fluentd مجمعًا محليًا يُستخدم غالبًا كبديل لـ Logstash في مجموعة Elastic. يستخدم نظام المكونات الإضافية لإنشاء طبقة تسجيل موحدة تدمج مجموعة متنوعة من مصادر البيانات التي يجمع منها السجلات ويرسلها إلى نظام تخزين مركزي.
يمتلك Fluentd حاليًا حوالي 500 مكون إضافي متاح، وطبيعته مفتوحة المصدر تتيح لك إنشاء مكونات جديدة حسب الحاجة. جزء من شعبيته يعود إلى متطلبات الموارد المنخفضة. يعمل على ذاكرة تتراوح بين 30-40 ميغابايت ويمكنه معالجة 13,000 حدث في الثانية لكل نواة مستخدمة، ويمكن استخدامه مع أداة نقل بيانات أخف وزنًا تُدعى Fluent Bit.
اعتبارات لاختيار أدوات تجميع السجلات وإدارتها
يجب أن تكون حلول إدارة السجلات قوية بما يكفي لاستيعاب كميات هائلة من البيانات من مجموعة واسعة من المصادر بغض النظر عن تنسيق السجل، ويجب أن تكون قابلة للتوسع لاستيعاب الزيادات في حجم السجلات. إذا تم استيفاء هذه الشروط، يجب أن تأخذ في اعتبارك ما يلي قبل اختيار الحل الخاص بك.
جمع السجلات
يجب أن يمنح الحل الذي تختاره التحكم في كيفية ووقت جمع السجلات، ويجب أن يركز البيانات المجمعة خارج التطبيقات الحية. تحتاج إلى أن تكون قادرًا على أتمتة عملية جمع السجلات لتقليل التأثير على موارد النظام، وضمان جمع جميع الأخطاء، وحماية البيانات من الفقدان بسبب فشل الخادم.
استيراد السجلات
يجب أن تكون الحلول قادرة على جمع البيانات وتنسيقها واستيرادها من مصادر خارجية، بما في ذلك التطبيقات والخوادم والمنصات. يجب أن تتضمن السجلات المجمعة جميع البيانات الضرورية، وأن يتم تخزينها وفهرستها بكفاءة، وأن تكون سهلة الوصول للفرق من أجل التحليل والمراقبة.
تحليل السجلات والبحث
الحل الجيد يمكّن المستخدمين من البحث باستخدام هياكل اللغة الطبيعية ويعيد النتائج بسرعة. يجب أن تقدم الحلول نشاط السجل بأقرب شكل ممكن من الوقت الحقيقي وتسمح بالبحث في نقاط زمنية محددة.
مراقبة السجلات والتنبيهات
يجب أن تتضمن الحلول القدرة على إعداد تنبيهات مخصصة، بما في ذلك القواعد المتعلقة بوقت إنشاء التنبيهات والأشخاص الذين يتم إرسالها إليهم. يجب أن تكون قادرًا على تفعيل التنبيهات من مجموعة واسعة من الأحداث باستخدام معايير مثل عدد الأخطاء في الدقيقة، وإرسالها إلى مجموعة متنوعة من المصادر، بدءًا من مجموعات Slack إلى عناوين البريد الإلكتروني الشخصية.
التصور والتقارير
توفر الحلول الفعالة تصورات وتقارير حول حالات النظام وحجم السجلات لتحليل النقاط الزمنية والفترات المحددة من قبل المستخدم. إن الانتقال إلى DevSecOps يتطلب استخدام أدوات تبسط عملية الإبلاغ وتسمح بمشاركة وعرض التقارير المطلوبة بسهولة، بما في ذلك الرسوم البيانية في تصور البيانات.
فعالية التكلفة
يجب أن تكون الحلول الفعالة قادرة على تلبية متطلبات بياناتك، من حيث الحجم ومدة الاحتفاظ، بتكلفة معقولة. الحلول التي تقدم المرونة وقابلية التوسع، وتلك التي توفر تسعيرًا تفصيليًا، هي أفضل الخيارات.
استنتاج
يمكن أن يعني تجميع السجلات الفرق بين تحديد مشكلة في التطبيق خلال ساعة واحدة وترك هذا التطبيق خارج الخدمة لمدة أسبوع بينما تكافح للربط بين عدد لا يحصى من السجلات. يمكن أن يبسط نظام إدارة السجلات الجيد بحثك عن الأخطاء وحتى ينبهك إلى المشكلات المحتملة قبل أن تؤثر على الإنتاجية، مما يتيح لك الاستفادة القصوى من وقتك وطاقتك.
إكزابيم: تعزيز كشف التهديدات من خلال تحليلات أمنية متقدمة.
منصة عمليات الأمن من Exabeam تقدم مزيجًا قويًا من SIEM، وتحليلات سلوكية، وأتمتة، ورؤية الشبكة لتحويل كيفية اكتشاف المنظمات للتهديدات والتحقيق فيها والاستجابة لها. من خلال ربط سجلات جدران الحماية مع بيانات من نقاط النهاية، والبيئات السحابية، وأنظمة الهوية، ومصادر الأمان الأخرى، توفر Exabeam رؤى أعمق حول التهديدات المتطورة التي قد تظل غير مكتشفة.
تمكن التحليلات المدفوعة بالسلوك Exabeam من تجاوز القواعد الثابتة والتوقيعات، حيث تحدد الأنشطة الشاذة التي تشير إلى إساءة استخدام بيانات الاعتماد، والتهديدات الداخلية، أو الحركة الجانبية عبر الشبكة. من خلال تحليل سلوك المستخدمين والكيانات العادية على مر الزمن، تكشف Exabeam عن الأنشطة عالية المخاطر التي قد تتجاهلها أدوات الأمان التقليدية.
تعمل التحقيقات الآلية على تبسيط عمليات الأمن من خلال ربط نقاط البيانات المتفرقة في خطوط زمنية شاملة للتهديدات، مما يقلل من الوقت الذي يقضيه المحللون في تجميع الحوادث يدويًا. وهذا يسمح للفرق بتحديد السبب الجذري للهجوم بسرعة والاستجابة بدقة.
تعلم المزيد عن إكزابييم
تعرف على منصة Exabeam ووسع معرفتك في أمن المعلومات من خلال مجموعتنا من الأوراق البيضاء، البودكاست، الندوات، والمزيد.
-
دليل
Four Ways to Augment Microsoft Sentinel With the Exabeam Microsoft Sentinel Collector
- عرض المزيد
