تحويل قائمة من القواميس إلى إطار بيانات Pandas

0

تحويل قائمة من القواميس إلى إطار بيانات Pandas pandas,بيانات,pandas replace,nan values pandas,pandas missing data,pandas missing values,install pandas library,pandas replace tutorial,handle missing data pandas,fill missing values pandas,pandas missing data tutorial,how to handle null values in pandas,تطبيقات,بايثون بالعربي,python بالعربية,python in data science,python in data analytics,قواعد,واجهات,command,how to fill missing values in dataset,how to send data from python to database


 في هذا الدرس سنتعلم كيفية تحويل قائمة قواميس بايثون إلى إطار بيانات Pandas، جيث يوفر هذا الأخير عددًا من الطرق المختلفة التي يمكن من خلالها تحويل القواميس إلى  إطار بيانات.

مع نهاية هذا الذرس ستكون قادرا على:

  •  تحويل قائمة القواميس إلى إطار بيانات Pandas
  •  العمل مع مجموعات مختلفة من الأعمدة عبر القواميس

تحويل قائمة من القواميس إلى إطار بيانات Pandas

في هذا الجزء سنتعلم كيفية تحويل قائمة القواميس إلى  إطار بيانات Pandas باستخدام فئة  DataFrame
سيمثل كل قاموس سجلاً في إطار بيانات بينما تصبح المفاتيح هي الأعمدة، دعونا نلقي نظرة على مثال حيث يحتوي كل قاموس على مفتاح:
تحويل قائمة من القواميس إلى إطار بيانات الباندا

التعامل مع المفاتيح المفقودة عند تحويل قائمة من القواميس إلى إطار بيانات

دعنا الآن نلقي نظرة على مثال أكثر تعقيدًا، حيث سيكون هناك مجموعة من القواميس وسيكون أحدها لا يحتوي على مفتاح وسنستخدم from_dict () لقراءة القائمة لمعرفة كيفية قراءة البيانات:
قراءة قواميس بمفاتيح مفقودة

وكما تلاحظ فإن أي قاموس يحتوي على مفتاح مفقود ستقوم Pandas بتعويضه بالقيمة NaN

قراءة بعض الأعمدة فقط عند تحويل قائمة من القواميس إلى  إطار بيانات

قد يكون هناك مرات تريد فيها قراءة القواميس في إطار بيانات Pandas ولكنك تريد فقط قراءة مجموعة فرعية من الأعمدة، في هذه الحالة يمكنك استخدام =columns، ولكن ضع في إعتبارك أنه يمكنك فقط إستخدامه مع pd.DataFrame.from_records()أو  pd.DataFrame()و إذا قمت بإستخدامه مع pd.DataFrame.from_dict() فستحصل على ValueError

لنقم بتحميل نفس قائمة القواميس ولكن لنقرأ سوى عمودين من الأعمدة:
قراءة مجموعة فرعية فقط من الأعمدة

أكتفي بهذا القدر من طرق التعامل مع القواميس و Pandas في دروس أخرى حول هذه المكتبة الرائعة.

كيفية استخدام Pandas لقراءة ملفات Excel في بايثون

0

باندا بايثون إكسل pandas excel

 
في هذا الدرس ستتعلم كيفية استخدام بايثون و Pandas لقراءة ملفات Excel باستخدام دالة read_excel.

توجد ملفات Excel في كل مكان – وعلى الرغم من أنها قد لا تكون نوع البيانات المثالي للعديد من علماء البيانات فإن معرفة كيفية التعامل معها يعد مهارة أساسية.

بنهاية هذا الدرس سنكون قد تعلمنا:

كيفية استخدام دالة read_excel لقراءة ملف Excel
كيف نقرأ ورقة Excel بإسم محدد في Pandas
كيف تقرأ عدة أوراق أو ملفات إكسل
كيفية عمل أعمدة معينة من ملف Excel في Pandas
كيفية تخطي الصفوف عند قراءة ملفات Excel في Pandas

لقراءة ملفات Excel في لغة بايثون بإستخدام Pandas استخدم دالة read_excel () و يمكنك تحديد مسار الملف واسم ورقة الإكسل كما هو موضح أدناه:

قراءة ملفات Excel في لغة بايثون بإستخدام Pandas

في الأقسام التالية من هذا الدرس سنتعرف على المزيد حول دالة read_excel () لفهم كيفية تخصيص قراءة ملفات Excel بشكل أفضل.

كما هو مبين في الكود السابق فإن أسهل طريقة لقراءة ملف Excel باستخدام Pandas هي ببساطة تمرير مسار الملف إلى المعامل = io لذا يمكنك ببساطة تمرير السلسلة إلى الملف.

يقبل المعامل كل المسارات سواء كان الملف على جهاز محلي أو مسار HTTP أو مسار FTP أو أكثر، دعونا نرى ما يحدث عندما نقرأ في ملف Excel مستضاف على صفحة Github .

قراءة ملفات Excel في لغة بايثون بإستخدام Pandas

إذا قمت بتنزيل الملف وألقيت نظرة عليه ستلاحظ أن الملف يحتوي على ثلاث أوراق، إذن كيف يعرف Pandas أي ورقة يجب قراءتها وعرضها؟ بشكل افتراضي سيستخدم Pandas الورقة الأولى (موضعياً) في حالة عدم تحديد أي ورقة ل Pandas.

في القسم التالي سنتعرف على كيفية تحديد الورقة التي تريد تحميلها في DataFrame.

كيفية تحديد أسماء أوراق Excel في read_excel

كما وضحنا في السابق تعلمنا أنه في حالة عدم تحديد إسم الورقة سيقوم Pandas بتحميل الورقة الأولى إفتراضيا في مصنف Excel ، وفي حالتنا هذه يحتوي ملفنا على ثلاث أوراق مبينة كالتالي:

Sales.xlsx
|---East
|---West
|---North

نحن نعلم أنه تم تحميل البيانات من ورقة “East” في المثال السابق و إذا أردنا تحميل البيانات من الورقة “West” فيمكننا استخدام المعامل =sheet_name لتحديد الورقة التي نريد تحميلها.

يقبل المعامل كلاً من السلاسل و الأعداد الصحيحة، فإذا كان إسم الورقة عبارة عن سلسلة فيمكننا تحديد اسم الورقة الذي نريد تحميله.

دعنا نلقي نظرة على كيفية تحديد اسم الورقة الذي هو “West “:


كما يمكننا أيضا تحميل اسم ورقة من خلال موضعها و بشكل افتراضي يستخدم Pandas الوضع 0 والذي يعني الورقة الأولى، لنفترض أننا نريد تكرار مثالنا السابق وتحميل البيانات من الورقة المسماة “West” فسنحتاج إلى معرفة مكان الورقة.

و لأننا نعلم أن ورقة “West” هي الورقة الثانية فسنقوم بإختيار الرقم 1 و هو رقم موضع ورقة “West”:


يمكننا أن نرى أن كلا الطريقتين أعادت لنا نفس بيانات الورقة و لهذا ستتعلم كيفية تحديد الأعمدة المراد تحميلها عند استخدام دالة read_excel.

كيفية تحديد أسماء الأعمدة في read_excel

قد تكون هناك مرات لا تريد فيها تحميل كل عمود في ملف Excel، قد يكون هذا بسبب احتواء الملف على عدد كبير جدًا من الأعمدة أو بسبب احتوائه على أعمدة مختلفة لأوراق عمل مختلفة.

للقيام بذلك يمكننا استخدام المعامل =usecols ويتيح لنا تحديد مايلي :

  • قائمة بأسماء الأعمدة
  • سلسلة من نطاقات أعمدة Excel ،
  • قائمة الأعداد الصحيحة التي تحدد فهارس الأعمدة المراد تحميلها

لنقم بتحميل DataFrame الخاص بنا من المثال السابق ولكن هذه المرة سنقوم بتحميل عمودي “العميل” و “المبيعات”:


يمكننا أن نرى أنه من خلال تمرير قائمة السلاسل التي تمثل الأعمدة تمكنا من جلب بيانات تلك الأعمدة فقط.

أخيرًا يمكننا أيضًا تمرير قائمة الأعداد الصحيحة التي تمثل مواضع الأعمدة التي أردنا تحميلها لأن العمودين هما العمودين الثاني والثالث سنقوم بتحميل قائمة من الأعداد الصحيحة كما هو موضح أدناه:


كيفية تحديد أنواع البيانات في read_excel

تسهل pandas تحديد نوع البيانات لأعمدة مختلفة عند قراءة ملف Excel وهذا يخدم ثلاثة أغراض رئيسية:

  • منع قراءة البيانات بطريقة خاطئة
  • تسريع عملية القراءة
  • حفظ الذاكرة

يمكنك تمرير قاموس حيث تكون المفاتيح هي الأعمدة والقيم هي أنواع البيانات. هذا يضمن أن البيانات جاهزة بشكل صحيح. دعونا نرى كيف يمكننا تحديد أنواع البيانات لأعمدتنا.


من المهم ملاحظة أنك لست بحاجة إلى المرور على جميع الأعمدة حتى يعمل معك و في القسم التالي سنتعلم كيفية تخطي الصفوف عند قراءة ملفات Excel.

كيفية تخطي الصفوف عند قراءة ملفات Excel

في بعض الحالات سوف تواجه ملفات حيث توجد صفوف العناوين منسقة في ملف Excel الخاص بك كما هو موضح أدناه:


و إذا قررنا قراءة هذه الورقة سنحصل على التالي :


يجعل Pandas من السهل تخطي عدد معين من الصفوف عند قراءة ملف Excel و يمكن القيام بذلك باستخدام =skiprows و يمكننا أن نرى أننا بحاجة إلى تخطي صفين بحيث يمكننا ببساطة تمرير القيمة 2 كما هو موضح أدناه:

الأن يمكنك قراءة الملف بشكل أكثر دقة! و يمكن أن يكون منقذا عند العمل مع الملفات سيئة التنسيق، أما الأن سنتعرف على كيفية قراءة أوراق متعددة في ملف Excel في Pandas.

كيف تقرأ أوراق متعددة في ملف Excel في Pandas

من السهل جدًا قراءة أوراق متعددة في نفس الوقت مع Pandas إذ يمكن القيام بذلك باستخدام = sheet_name، في الأمثلة السابقة مررنا سلسلة واحدة فقط لقراءة ورقة واحدة ولكنك يمكنك أيضًا تمرير قائمة الأوراق لقراءة أوراق متعددة في وقت واحد.

دعونا نرى كيف يمكننا قراءة أول ورقتين لدينا:


في المثال أعلاه مررنا في قائمة ورقتين للقراءة، و عندما استخدمنا دالة ()type للتحقق من نوع القيمة التي تم إرجاعها رأينا أنه تم إرجاع قاموس.

كل ورقة هي مفتاح القاموس اما DataFrame هي قيمة المفتاح، دعونا نرى كيف يمكننا الوصول إلى DataFrame الخاصة ب “West“:


يمكنك أيضًا قراءة جميع الأوراق مرة واحدة عن طريق تحديد None لقيمة =sheet_name و سيؤدي هذا إلى إرجاع قاموس لجميع الأوراق:


إلى هنا أكون قد أنتهيت من درس اليوم وقد تعلمنا كيفية استخدام Python و Pandas لقراءة ملفات
Excel باستخدام دالة ()read_excel، كما تعلمنا كيفية استخدام الدالة لقراءة Excel وتحديد أسماء
الأوراق وقراءة أعمدة معينة فقط وتحديد أنواع البيانات كما تعلمنا بعد ذلك كيفية تخطي الصفوف
وقراءة عدد محدد من الصفوف فقط وقراءة أوراق متعددة.

الدليل الكامل لبروتوكول NETFLOW

0

 

ماهو بروتوكول Netflow

سنغطي في هذه المقالة أساسيات Netflow بما في ذلك حالات الاستخدام والأجهزة المدعومة من Netflow وسجل Netflow والمتغيرات، كما سنغوص أيضًا في التفاصيل الفنية لكيفية عمل بروتوكول Netflow بما في ذلك منافذ Netflow وإصدارات Netflow المختلفة.

مقدمة عن NETFLOW و ماهي إستخداماته

تلعب الرؤية دورًا رئيسيًا في صيانة وأمن أي شبكة و بها يمكن للمسؤولين تحديد المشكلات واكتشاف المستخدمين غير المتوافقين وتحسين التزويد الخاص بهم والمزيد. Netflow هو بروتوكول طورته CISCO لهذا الغرض ويسمح للأطراف المهتمة بفهم أنماط الشبكة مع دعم المزيد من البيانات الدقيقة مثل نوع خدمة IP للتشخيص.

تعد NetFlow ميزة تم تقديمها على أجهزة راوتر Cisco سنة 1996 والتي توفر القدرة على جمع حركة مرور شبكة IP أثناء دخولها أو خروجها من المنافذ، من خلال تحليل البيانات المقدمة من NetFlow يمكن لمسؤول الشبكة تحديد أشياء مثل مصدر ووجهة حركة المرور وفئة الخدمة وأسباب الازدحام. يتكون إعداد مراقبة التدفق النموذجي (باستخدام NetFlow) من ثلاثة مكونات رئيسية

مصدر التدفق: تجميع الحزم في التدفقات وسجلات تدفق الصادرات نحو واحد أو أكثر من جامعي التدفق.

جامع التدفق: مسؤول عن الاستقبال والتخزين والمعالجة المسبقة لبيانات التدفق الواردة من مصدر التدفق.

تطبيق التحليل: يحلل بيانات التدفق المتلقاة في سياق كشف التسلل أو تحديد السمات المرورية ، على سبيل المثال.

البروتوكول الذي طورته Cisco مدعوم بعدد من أجهزة شبكات CISCO، كما تستخدم أجهزة توجيه IOS-XR الخاصة بالشركة تطبيقًا برمجيًا يعمل على وحدة المعالجة المركزية للبطاقة الخطية، بينما يقوم خط IOS بتشغيل البرامج على معالج المسار، وفي الوقت نفسه تحتوي محولات Catalyst و Nexus على تنفيذ TCAM للأجهزة مما يدعم بشكل عام المزيد من التدفقات.

  تاريخ NETFLOW

بدأ تطوير Netflow في عام 1996 مع IOS 11.x كتقنية برمجية بدلا من تقنية تبديل حزم Cisco لأجهزة توجيه و تم تصميمه للشبكة المحلية و كان في الأصل موجها ل Cisco 7000 و 7200 و 7500 حيث كان يُعتقد أنه أفضل مقارنة بـ Cisco Fast Switching الحالي، تم اختراع Netflow بواسطة دارين كير وباري بروين من شركة سيسكو

كانت الفكرة أن الحزمة الأولى من التدفق ستنشئ سجل تحويل NetFlow و سيتم بعد ذلك استخدام هذا السجل لجميع الحزم اللاحقة من نفس التدفق إلى غاية انتهاء صلاحية التدفق.

تتطلب الحزمة الأولى فقط من التدفق إجراء تحقيق في جدول التوجيه للعثور على المسار المطابق الأكثر تحديدًا و تعتبر هذه العملية مكلفة في تطبيقات البرامج خاصة القديمة منها بدون إعادة توجيه قاعدة المعلومات. كان سجل تبديل NetFlow في الواقع نوعًا من سجل ذاكرة التخزين المؤقت للمسار ولا تزال الإصدارات القديمة من IOS تشير إلى ذاكرة التخزين المؤقت لـ NetFlow على أنها ذاكرة تخزين مؤقت لمسار IP.

كانت هذه التكنولوجيا مفيدة للشبكات المحلية إذ كان يجب تصفية بعض حركة المرور بواسطة قائمة التحكم بالوصول (ACL) حيث يجب تقييم الحزمة الأولى فقط من التدفق بواسطة قائمة التحكم بالوصول (ACL).

تم استبدال NetFlow سنة 1995 بواسطة Cisco Express Forwarding و ظهر لأول مرة على أجهزة توجيه Cisco 12000 ، واستبدل لاحقًا على IOS المتقدم لـ Cisco 7200 و Cisco 7500.

سيسكو لم تكن البائع الوحيد للأجهزة التي تدعم Netflow و مع إنتشار Netflow جاء عدد من البائعين المشهورين الذين حاولوا الاستفادة منها و في محاولة لتجنب معارك العلامات التجارية طبق العديد من المنافسين نكهاتهم الخاصة من هذه التقنية، يعد برنامج Juniper’s jflow أحد الأمثلة على ذلك بالإضافة إلى NetStream من Huawei و SFlow من HP.

   مالذي يمكنني رؤيته مع Netflow

كما ذكرنا سابقًا يفحص الجهاز المفعل لـ Netflow عددًا من المعلمات لتحديد التدفقات المميزة و يمكن لعناوين المصدر والوجهة إخبار المسؤولين بمن يقوم بإرسال واستقبال حركة المرور، على سبيل المثال تُظهر المنافذ التطبيقات التي تستخدم حركة المرور و كيف يستخدم الجهاز حركة المرور.

يمكن لأجهزة التوجيه والمحولات التي تدعم NetFlow جمع إحصائيات حركة مرور IP على جميع المنافذ التي تم تفعيل NetFlow عليها ثم تقوم بتصدير هذه الإحصائيات لاحقًا كسجلات NetFlow نحو جامع NetFlow واحد على الأقل — عادةً ما يكون الخادم الذي يقوم بتحليل حركة المرور الفعلية

تدفقات الشبكة

يُعرّف الإصدار 5 من NetFlow من Cisco التدفق على أنه تسلسل أحادي الاتجاه للحزم تشترك جميعها في سبع قيم تحدد مفتاحًا فريدًا للتدفق:

  • واجهة الدخول (SNMP ifIndex)
  • عنوان IP المصدر
  •  عنوان IP الوجهة
  • بروتوكول IP
  • منفذ المصدر لـ UDP أو TCP ، 0 للبروتوكولات الأخرى
  • منفذ الوجهة لـ UDP أو TCP ، ورمز ICMP أو 0 للبروتوكولات الأخرى
  • نوع خدمة IP

لاحظ أن واجهة الخروج أو IP Nexthop أو BGP Nexthops ليست جزءًا من المفتاح ، وقد لا تكون دقيقة إذا تغير المسار قبل انتهاء صلاحية التدفق ، أو إذا تم موازنة التحميل لكل حزمة.

يستخدم تعريف التدفقات هذا أيضًا لـ IPv6 ، ويستخدم تعريف مشابه لتدفقات MPLS و Ethernet.

تصدير السجلات

سيخرج جهاز التوجيه سجل تدفق عندما يقرر أن التدفق قد انتهى، يقوم بذلك عن طريق تقادم التدفق عندما يرى جهاز التوجيه حركة مرور جديدة لتدفق موجود ، فإنه يعيد تعيين عداد التقادم، يؤدي إنهاء جلسة TCP في تدفق TCP إلى انتهاء صلاحية جهاز التوجيه للتدفق و يمكن أيضًا تكوين أجهزة التوجيه لإخراج سجل التدفق في فاصل زمني ثابت حتى إذا كان التدفق لا يزال مستمراً.

بروتوكول نقل الحزم

يتم تصدير سجلات NetFlow بشكل تقليدي باستخدام بروتوكول (UDP) ويتم تجميعها باستخدام أداة تجميع NetFlow. يجب تكوين عنوان IP الخاص بمجمع NetFlow ومنفذ UDP الوجهة على جهاز التوجيه المرسل. القيمة الشائعة هي منفذ UDP 2055 ، ولكن يمكن أيضًا استخدام قيم أخرى مثل 9555 أو 9995 و 9025 و 9026 وما إلى ذلك.

   لأسباب تتعلق بالكفاءة لا يتتبع جهاز التوجيه سجلات التدفق التي تم تصديرها بالفعل لذلك إذا تم إسقاط حزمة NetFlow بسبب ازدحام الشبكة أو تلف الحزمة فستفقد جميع السجلات المضمنة إلى الأبد. لا يُعلم بروتوكول UDP جهاز التوجيه بالخسارة حتى يتمكن من إرسال الحزم مرة أخرى. قد تكون هذه مشكلة حقيقية خاصةً مع NetFlow v8 أو v9 الذي يمكنه تجميع الكثير من الحزم أو التدفقات في سجل واحد. يمكن أن تتسبب خسارة حزمة UDP واحدة في إحداث تأثير كبير على إحصائيات بعض التدفقات.

ولهذا السبب تقوم بعض تطبيقات NetFlow الحديثة بإستخدام بروتوكول نقل التحكم في التدفق (SCTP) لتصدير الحزم و توفير بعض الحماية ضد فقدان الحزمة والتأكد من استلام قوالب NetFlow v9 قبل تصدير أي سجل ذي صلة، لاحظ أن TCP لن يكون مناسبًا لـ NetFlow لأن الطلب الصارم للحزم قد يتسبب في زيادة التخزين المؤقت والتأخير.

رأس الحزمة

تبدأ جميع حزم NetFlow بالرأس المعتمد على الإصدار والذي يحتوي على الأقل على هذه الحقول:

  •  رقم الإصدار (v1، v5، v7، v8، v9)
  • رقم التسلسل لاكتشاف الضياع والازدواجية
  • الطوابع الزمنية في لحظة التصدير كوقت تشغيل النظام أو الوقت المطلق.
  • عدد السجلات (الإصدار 5 أو الإصدار 8) أو قائمة القوالب والسجلات (الإصدار 9)

التسجيلات

يمكن أن يحتوي سجل NetFlow على مجموعة متنوعة من المعلومات حول حركة المرور في تدفق معين.

يحتوي الإصدار 5 من NetFlow (أحد أكثر الإصدارات استخدامًا ، متبوعًا بالإصدار 9) على ما يلي:

  • فهرس واجهة الإدخال المستخدم بواسطة SNMP (ifIndex في IF-MIB).
  • فهرس واجهة الإخراج
  • الطوابع الزمنية لوقت بدء التدفق وانتهائه ، بالمللي ثانية منذ آخر تمهيد.
  • عددد البايت والحزم التي لوحظت في التدفق
  • رؤوس الطبقة الثالثة:                                 عناوين IP المصدر والوجهة                   نوع ICMP ورمزه                                 بروتوكول IP
  • قيمة نوع الخدمة (ToS)
  • ارقام منفذ المصدر والوجهة لـ TCP و UDP و SCTP
  • معلومات توجيه الطبقة 3:                               عنوان IP للخطوة التالية المباشرة (وليس BGP nexthop) على طول الطريق إلى الوجهة      أقنعة IP المصدر والوجهة

  من خلال تحليل بيانات التدفق يمكن بناء صورة لتدفق حركة المرور وحجم حركة المرور في الشبكة، لقد تطور تنسيق تسجيل NetFlow بمرور الوقت ومن ثم تم تضمين أرقام الإصدارات. تحتفظ Cisco بتفاصيل أرقام الإصدارات المختلفة وتخطيط الحزم لكل إصدار.

المنافذ

عادةً ما يتم تفعيل NetFlow على أساس كل منفذ للحد من الحمل على مكونات جهاز التوجيه المتضمنة في NetFlow ، أو للحد من كمية سجلات NetFlow المصدرة.

عادةً ما يلتقط NetFlow جميع الحزم التي تتلقاها منافذ IP ، ولكن بعض تطبيقات NetFlow تستخدم مرشحات IP لتحديد ما إذا كان يمكن لـ NetFlow ملاحظة الحزمة.

الفرق بين Netflow و SNMP

إذا كنت قد سمعت عن Netflow فمن المحتمل أنك تعرف SNMP، ومع ذلك هناك اعتقاد خاطئ شائع أنهما متشابهان سيكون لدينا شرح مفصل قريبًا ولكن المحصلة النهائية هي أن البروتوكولين مختلفان للغاية يتخ أساليب مختلفة للرصد ، وهي قابلة للتطبيق في سيناريوهات مختلفة.

يمكن أن يكشف SNMP أن هناك مشكلة لكنها ليست مثالية لمعرفة السبب بينما يمكن استخدام Netflow لمزيد من التحليل المتعمق.

و في الأخير أرجو ان تكون هذه المقالة قدمت لك فهمًا أساسيًا لبروتوكول Netflow وكيف يعمل، بما في ذلك Netflow Exporter و Netflow Collector و Netflow Analyzers، لقد غطينا تاريخها وعمليات النقل عبر البروتوكول والموانئ المشتركة ، فضلاً عن حالة RFC الخاصة بها.

كما تطرقنا إلى أيضًا الفوائد التي يوفرها Netflow لمشرفي الشبكة والسماح لهم بالحصول على نظرة عامة على أنماط حركة المرور مع المساعدة أيضًا في تشخيص الاختناقات ، والإبلاغ عن هجمات DoS ، وتعزيز تخطيط الشبكة




















3 طرق لتحسين الأمن السيبراني في البنية التحتية للذكاء الاصطناعي

0

تحسين الأمن السيبراني في البنية التحتية للذكاء الاصطناعي

نماذج الذكاء الاصطناعي وتطبيقاته وأنظمته ليست منيعة أمام الهجمات الإلكترونية لذلك يجب على المنظمات بذل جهود لحماية البنية التحتية للذكاء الاصطناعي من مثل هذه التهديدات. 

و نظرًا لقائمة الفوائد الكثيرة فقد زاد اعتماد جميع أنواع الشركات على الذكاء الاصطناعي بشكل كبير في العقد الماضي و تُترجم القابلية المذهلة للذكاء الاصطناعي إلى اعتماد المؤسسات عليه في العديد من العمليات المختلفة.

لسوء الحظ يصبح الاعتماد الشديد على الذكاء الاصطناعي أيضًا نقطة ضعف للشركات خاصةً عندما تفكر في إمكانية وقوع هجمات إلكترونية يمكن أن تؤثر على البنية التحتية للذكاء الاصطناعي، و للبقاء بعيدًا عن مثل هذه الهجمات في عملك ولتهدئة نفسك فيما يتعلق بكل ما يتعلق بالذكاء الاصطناعي  يمكنك اتباع الأفكار الواردة أدناه:

1) إنشاء إطار تنظيمي لتطوير النموذج

في الوقت الحالي لا توجد قواعد امتثال للأمن السيبراني موحدة عالميًا للتحكم في مراحل تطوير النموذج في المؤسسات، ولهذا تقوم المؤسسات الكبيرة التي يمكنها تحمل تكلفة تنفيذ أنظمة الذكاء الاصطناعي في عملها بإجراء البحث والتطوير داخل الشركة مع مطوريها ومحللي البيانات.

كما نعلم تلعب نماذج الذكاء الاصطناعي دورًا كبيرًا في العمل العام للمؤسسة على المدى الطويل و مثل الأطفال حديثي الولادة فإن نماذج الذكاء الاصطناعي حساسة للغاية لأي نوع من المعرفة التي يتم تغذيتها لهم خلال مراحل دورة حياة التعلم الآلي المبكر لذلك من الضروري أن تلتزم المنظمات بالأطر التنظيمية ذاتية الصنع أثناء تطوير النموذج، واسترشادًا بمبادئ الأمن خلال التصميم ستشمل اللوائح الكشف عن أنواع الهجوم المحتملة وتحديد مدى خطورتها وإنشاء قواعد تكنولوجيا المعلومات لجعل الهجمات الإلكترونية صعبة التنفيذ وغير ذلك من استراتيجيات الاستجابة العامة للتهديدات، على الرغم من أن إنشاء إطار امتثال للأمن السيبراني هو أهم مهمة لحماية البنية الخاصة بك إلا أنه يجب اتباع أفكار أخرى أيضًا لضمان عمليات آمنة للذكاء الاصطناعي.

2) حماية مجموعات البيانات المتعلقة بالذكاء الاصطناعي لمنع هجمات تسمم البيانات

يجب على الشركات حماية البيانات المستخدمة في البحث والتدريب والتطوير و التشغيل طويل الأمد للنماذج والتطبيقات التي تعمل بالذكاء الاصطناعي فكما نعلم تُستخدم البيانات بكثرة في التحليل التنبئي وميزات أخرى للذكاء الاصطناعي، و لإحداث فوضى في هذه البيانات يمكن لمجرمي الإنترنت تسهيل هجوم إلكتروني يُعرف باسم تسمم البيانات حيث يمكن لمجرمي الإنترنت إتلاف مجموعات بيانات الذكاء الاصطناعي لإحداث ضرر في قدراتهم على اتخاذ القرار و هذا هو السبب في ضرورة استخدام جدران الحماية وأدوات أمان البيانات الأخرى في أجهزة نقطة النهاية للذكاء الاصطناعي، بينما قد تحدث هجمات النزاهة حتى بعد استخدام تطبيقات البرامج أو الأجهزة لنفسها يجب على المؤسسات نسخ البيانات احتياطيًا لاسترداد سريع في حالة التلاعب بالبيانات الموجودة في قواعد البيانات الخاصة بهم أو سرقتها.

3) إشراك خبراء الأمن السيبراني لإنشاء أفضل الممارسات

أخيرًا يجب على المؤسسات نشر أفضل ممارسات الأمن السيبراني أثناء البحث والتطوير ونشر أنظمة الذكاء الاصطناعي في الشركات، كما يجب إنشاء معايير فنية معينة تملي أفضل الممارسات بالتشاور مع خبراء وشركات الأمن السيبراني.
 ISGSAI هي واحدة من العديد من الأمثلة على مثل هذه المعايير التي يتم تطويرها في جميع أنحاء العالم، يجب أن تكون حماية العمليات والأتمتة في المؤسسات هي السبب وراء الرغبة في وجود بنى تحتية آمنة للذكاء الاصطناعي .

أفضل 5 أطر عمل لبايثون يجب عليك تعلمها في عام 2022

0

 

أفضل 5 أطر عمل لبايثون يجب عليك تعلمها في عام 2022a

بايثون واحدة من أشهر لغات البرمجة وأكثرها ربحية و هي لغة الترميز الأساسية المستخدمة من قبل معظم المطورين، و تأتي بايثون مع العديد من المكتبات والأطر التي يمكن استخدامها لتشغيل عمليات مختلفة مما يجعلها واحدة من أسرع لغات البرمجة نموًا.

تستخدم العديد من الشركات الشهيرة  مثل Amazon و Oracle و Goole و Instagram  بايثون بطرق متنوعة و تعد بايثون أساس بعض أكثر التقنيات شيوعًا مثل التعلم الآلي والذكاء الاصطناعي.

هذه بعض من أكثر ميزات بايثون روعة:

  • سهلة  التعلم.
  • من الممكن استخدام البرمجة الشيئية.
  • تحتوي على مجتمع قوي.
  • حرة و مفتوحة المصدر
  • لغة برمجة عالية المستوى
  • قابلة للإمتداد

هناك العديد من الصناعات بما في ذلك الرعاية الصحية والتعليم والتمويل والمصارف والإلكترونيات والتعليم قامت بالتوجه إلى إستخدام بايثون لما تحتويه على أهم الخصائص والمكتبات اللازمة لتنفيذ مختلف المهام.


ستناقش هذه المقالة أفضل أطر عمل بايثون التي يمكنك تعلمها في عام 2022.

1. جانغو 

هو منصة برمجية لتطبيقات الإنترنت حر ومفتوح المصدر مكتوب بلغة البرمجة بايثون و هو رابع أكثر إطار مطلوب لتطوير الويب

يتم استخدام Django في العديد من المواقع الشهيرة ، بما في ذلك Mozilla و Pinterest و National Geographic.

يحتوي جانغو على ميزات لا تصدق مثل:

  • سهولة الإستخدام
  • المكونات الجاهزة متاحة للتطوير السريع.
  • ميزات أمان محسّنة بإستمرار.
  • مرنة للغاية وقابلة للتطوير بدرجة كبيرة
  • يناسب أي مشروع لتطبيق الويب

2. فلاسك

تمت كتابة إطار العمل الصغير هذا بلغة بايثون ويوفر أدوات لتطوير الويب، هذا الإطار معياري وقابل للتكيف مع مجموعة متنوعة من عمليات التطوير.

يتم استخدام Flask بواسطة Red Hat و Netflix و Reddit و من بين أهم مزياه سهل الاستخدام للغاية ولا يتطلب سوى القليل من الجهد و من بين أهم مميزاته الإخرى : 

  • سهل الفهم والتعلم.
  • دعم التكامل متاح لاختبار الوحدة
  • متوافق مع محرك تطبيقات جوجل
  • بيئة رائعة لبناء تطبيقات وظيفية.

3. pyramid

إطار تطوير ويب مجاني يمكن استخدامه لإنشاء تطبيقات ويب باستخدام بايثون، يحظى هذا الإطار بتقدير كبير من قبل مطوري بايثون ذوي الخبرة لإنه يوفر المرونة وقابلية الاختبار وقابلية التوسع، يتم استخدام تطبيق Pyramid من قبل شركات محترمة مثل Kallibr و Dropbox و Thinkr .

و من بين أهم الميزات الرئيسية:

  • سهل التوسيع ومستقل عن النظام الأساسي.
  • يعمل بشكل جيد مع التطبيقات الصغيرة والكبيرة.
  • يمكن تطوير تطبيقات الويب باستخدام نهج أضيق الحدود.
  • يدعم إنشاء نماذج HTML والتحقق من صحتها

4. cherrypy

CherryPy هو إطار عمل ويب موجه للكائنات يسمح للمطورين بإنشاء تطبيقات الويب بشكل أسرع ويعنبر من أقدم  إطارات عمل بايثون تم إصداره لأول مرة في عام 2002، يعتبر هذا الإطار موثوق وآمن وسريع للغاية.

 يتم استخدامه من قبل المطورين لبناء تطبيقات ويب محمولة تعتمد على قواعد البيانات ويتم استخدام CherryPy من قبل شركات معروفة مثل Netflix و Indigo Domotics و Hulu.

ومن مييزاته الرئيسية:

  • يحتوي على أدوات مضمنة للمحتوى الثابت والتخزين المؤقت والتشفير.
  • يوفر الدعم للاختبار والتغطية.
  • يمكنه تشغيل جلسات HTTP متعددة في وقت واحد.

5. bottle

 واجهة بوابة خادم الويب (أو إطار عمل WSGI للويب المصغر لبايثون) سهل الاستخدام وسريع جدًا ومتوافق مع واجهات برمجة التطبيقات، يسمح إطار bottle للمطورين بالتفاعل عن كثب مع الأجهزة للحصول على معلومات حول النماذج الأولية وتنظيم أطر عمل الويب.


كل ما يجب معرفته عن بايثون للأمن السيبراني

0

بايثون للأمن السيبراني

أدى التصعيد الكبير في كمية البيانات اليوم إلى تهديدات أمنية مثل هجمات البرامج الضارة والتهديدات الإلكترونية المتقدمة، إنترنت الأشياء (IoT) هو تقدم آخر يزيد من التهديدات السيبرانية، لقد أتاح الآن لكل جهاز تقريبًا الوصول إلى الإنترنت والاتصال و على الرغم من أنه لا يزال سائدًا إلا أننا نواجه العديد من مشكلات أمنية، وازدادت الحاجة إلى الحماية ضد تهديدات النظام والبيانات حيث أصبح ما يقرب من 64 ٪ من الشركات تتعرض لهجمات على شبكة الإنترنت، ويستخدم المتسللون أو المهاجمون برامج ضارة لاقتحام الشبكات والأنظمة و التغلب على البيانات مما يؤدي إلى الجرائم الإلكترونية.

ما هو الأمن السيبراني؟

الأمن السيبراني هو ممارسة للدفاع عن أنظمة الكمبيوتر والأجهزة المحمولة والبيانات والشبكات والخوادم وحمايتها من الهجمات الضارة التخريبية، كما يضمن الحماية من التوجيه الخاطئ أو الانقطاع عن الخدمات التي يقدمونها، يؤدي خرق البيانات إلى خسارة مليارات الدولارات للشركات ويمكن أن يؤدي أيضًا إلى عواقب مدمرة أخرى للموظفين أو الأشخاص الآخرين.

أصبح الأمن السيبراني مصدر قلق دولي الآن بسبب انتهاكات البيانات البارزة التي حدثت، مما أثار مخاوف كبيرة من الشركات الناشئة وصولا إلى عمالقة التكنولوجيا حيث بدأت جميع الشركات تقريبًا في التأكيد على أهمية الأمن وهذا هو السبب في أن Cyber Security أصبح أحد المجالات الأكثر طلبًا.

أدت تهديدات الأمن السيبراني الجديدة والمتطورة يومًا بعد يوم الجميع في حالة تأهب قصوى، حتى أن الهجمات الإلكترونية الأكثر تعقيدًا التي تنطوي على التصيد والبرامج الضارة والعملات المشفرة والتعلم الآلي والذكاء الاصطناعي قد عرّضت أصول الشركة وبياناتها للخطر، يتصاعد وباء الجرائم الإلكترونية باستمرار والمخاطر أكبر بكثير مما يؤدي إلى زيادة احتمالية:

التشويه : يؤدي النقل المتعمد للمعلومات الخاطئة من خلال روبوتات المحادثة والمصادر الآلية إلى تعريض ثقة سلامة المعلومات للخطر.

التعطيل: نعتمد على الاتصال الدقيق الذي يزيد من احتمال زيادة مخاطر استخدام برامج الفدية لاختطاف إنترنت الأشياء.

التدهور: التطورات السريعة في التقنيات الذكية والطلبات المعاكسة التي تفرضها لوائح الخصوصية الفردية والأمن القومي تؤثر سلبًا على قدرة المؤسسة على حماية معلوماتها.

الأمن السيبراني – الأهمية والغرض

تتزايد أهمية الأمن السيبراني يومًا بعد يوم و يتم تخزين المعلومات الحساسة والسرية مثل أرقام الضمان الاجتماعي والحساب المصرفي وتفاصيل بطاقة الائتمان في أجهزة التخزين السحابية مثل Google Drive و Dropbox.

  •  تؤثر الهجمات الإلكترونية على المجتمع بأسره.
  •  سيكون الأمن السيبراني طفرة في العالم بأسره.
  • تتسبب التهديدات الإلكترونية في إلحاق الضرر بالأعمال التجارية وفقدان الوظائف.
  • يمكن إدراج لوائح وتشريعات جديدة لحماية الأفراد من الهجمات المحتملة.

يضمن أمان الشبكة القوي مع خطة الاستجابة الفعالة للحوادث في المؤسسة التخفيف والوقاية من التهديدات السيبرانية. على سبيل المثال ضمانات حماية المستخدم النهائي ضد السرقات الإلكترونية أو فقدان البيانات أثناء فحص أنظمة الكمبيوتر بحثًا عن التعليمات البرمجية الخبيثة، يحتاج أصحاب الإختصاص في المؤسسة إلى البقاء على اطلاع دائم بالتقنيات والتهديدات الناشئة لحماية الأصول والمعلومات القيمة من أي نوع من التهديدات السيبرانية.

تهديدات الأمن السيبراني

تتعدد أنواع تهديدات الأمن السيبراني وهي موضحة أدناه:

التصيد الاحتيالي: يرسل طرف احتيالي أو مزيف بريدًا أو شكلًا من أشكال الاتصال يبدو من ظاهره أنه من مصدر موثوق يطلب من الضحية بعض المعلومات الحساسة والسرية مثل تفاصيل البنك أو بطاقة الائتمان، يقوم الضحية بإدخال المعلومات وتقديمها عن غير قصد ويتمكن المهاجم أو المحتال من الوصول إلى جميع المعلومات لذلك  يمكن أن يكون التصيد الاحتيالي خطيرًا جدًا وقد يؤدي إلى عواقب وخيمة.

البرمجيات الخبيثة: البرمجيات الخبيثة هي شكل شائع من أشكال الهجمات الإلكترونية هذه الأيام، إنه نوع من البرامج الخطيرة أو الضارة التي تخترق الشبكة من خلال بعض الثغرات الأمنية و عند تثبيته في النظام أو الشبكة فإنه يمزق الوظائف ويسرق البيانات.

هجوم Man-in-the-middleهو نوع من الاختراق حيث يتسلل المهاجم بين متحاورين في شبكة دون علم كل منهما عبر برامج ضارة أو شبكات Wi-Fi غير آمنة و يقوم بالتنصت سرقة المعلومات.

هجمات إنترنت الأشياء: يوجد إنترنت الأشياء (IoT) في كل مكان الآن ويستمر في الحفاظ على وجوده يومًا بعد يوم، وهي تتألف من أجهزة الكمبيوتر المحمولة والهواتف الذكية وكاميرات الويب وأجهزة التوجيه والساعات الذكية والسيارات والأجهزة الطبية والأجهزة المنزلية وحتى أنظمة الأمن المنزلي. هناك طلب كبير على الأجهزة المتصلة اليوم لأنها مفيدة للمستهلكين مما يشكل خطرًا أكبر. إنها تجعل اتصالات إنترنت الأشياء أكثر عرضة للغزو السيبراني و يمكن لأجهزة إنترنت الأشياء بمجرد اختراقها أن تسبب تداعيات فادحة وخطيرة.

هجمات كلمة المرور: يمكن للمهاجم الإلكتروني الحصول على ثروة من المعلومات من خلال سرقة كلمة المرور، هناك عدة أنواع من هجمات كلمات المرور مثل الهندسة الاجتماعية أو التخمين المباشر أو الوصول إلى قاعدة بيانات كلمات المرور و يعتمد المتسللون على التفاعل البشري ويخدعون الناس لخرق ممارسات الأمان القياسية.

حقن SQL: هجوم إلكتروني يحدث مع إدخال رمز خبيث في خادم باستخدام SQL. يكشف الخادم عن معلومات سرية عند الإصابة.

رفض الخدمة: رفض الخدمة (DoS) هو نوع من التهديد السيبراني الذي يخنق شبكة الكمبيوتر حتى لا تتمكن من الرد على الطلبات.

لغة بايثون – مقدمة وفوائد

بايثون لغة برمجة تحظى بشعبية كبيرة و مع نموها بشكل لا يصدق على مدى السنوات القليلة الماضية أصبحت تهيمن على صناعة الأمن السيبراني إذ تدعم بايثون بناء الجملة بشكل سلس ومفهوم ولديها مجموعة واسعة من التطبيقات مما يجعلها لغة برمجة متعددة الاستخدامات.

هناك عدد من العوامل التي تجعل بايثون لغة مفضلة بين محترفي الأمن السيبراني من بينها:

سهلة التعلم والفهم والتنفيذ: لغة بايثون سهلة التعلم والتصميم والتنفيذ مما يجعلها لغة برمجة أكثر راحة، إنها لغة سهلة الاستخدام تهدف إلى تحسين بناء الجملة والتنفيذ وقابلية قراءة الكود.

بايثون هي لغة برمجة مجانية ومفتوحة المصدر: لقد تم تصميمها كلغة برمجة كاملة مفتوحة المصدر مما يجعلها في متناول أي شخص يريد تحسينها بشكل أكبر.

بساطة تصحيح أخطاء الكود : تتطلب بايثون الحد الأدنى من الأكواد نظرًا لوجود العديد من المكتبات المدمجة لأداء بعض الوظائف مما يسهل على المبرمج تصحيح أخطاء التعليمات البرمجية مما يقلل من مخاطر مشاكل اللغة.

مكتبات الدعم الشامل وهياكل البيانات سهلة الاستخدام: تضم بايثون مكتبات كبيرة تدعم وظائف وميزات شاملة مثل عمليات السلسلة والبروتوكولات وأدوات خدمات الويب، و هذا ما يضع حدًا لطول الشيفرة التي يجب على المبرمجين كتابتها وبالتالي تقليل الأخطاء، كما يشمل أيضًا هياكل البيانات مثل القوائم والقواميس المضمنة.

يدعم الإدارة التلقائية للذاكرة: تدعم بايثون ميزات إدارة الذاكرة المدمجة تلقائيًا حسب التصميم. مما يريح المبرمجون بشأن عوامل مثل التقسيم وتخصيص الذاكرة والتخزين المؤقت.

بايثون للأمن السيبراني – الغرض والفوائد

بايثون هي لغة برمجة نصية للأغراض العامة من جانب الخادم يتم تنفيذها بواسطة آلاف المشاريع الأمنية، لا تتطلب بعض الوظائف المدعومة باستخدام البرمجة الأساسية في بايثون أي أدوات تابعة لجهات خارجية ونورد أمثلة على ذلك أدناه:

  • محاكاة الهجمات
  • مسح المنافذ
  • بصمة خادم الويب
  • الوصول إلى خوادم البريد
  • اختبار المواقع
  • مسح الشبكة اللاسلكية
  • نقل الحركة في الشبكة
  • أنظمة كشف ومنع التسلل

لكي تكون محترفًا فعالاً في مجال الأمن السيبراني فأنت بحاجة إلى إنشاء محفظة فعالة وتطوير البرامج والتي تحتاج من أجلها إلى تجهيز نفسك بأطر عمل بايثون والمكتبات المناسبة السائدة في الصناعة.

أدوات الأتمتة: تتضمن المهام اليومية لأخصائي الأمن كتابة نصوص بايثون فعالة لأتمتة المهام، و يوصى باستخدام بايثون نظرًا لسهولة تركيبها ونطاقها الواسع من المكتبات المدعومة مع الكثير من الوظائف. تحتاج إلى التعرف على أدوات أتمتة بايثون لأن معظم مهام الأمان تتطلب منك تطبيق نفس العملية عبر عدة نقاط نهاية، لا تقلل عملية الأتمتة الوقت فحسب بل تقلل الأخطاء أيضًا إلى حد كبير.

التعابير القياسية Regex: يشير Regex إلى التعبيرات العادية وتمكنك هذه الأداة من البحث عن أنماط معينة داخل بعض النصوص، يمكنك استخراج المعلومات من ملفات السجل أثناء التحقيق أو الكشط من الإنترنت باستخدام Regex و يمكنك حتى تحديد عناوين IP لاكتشاف نشاط القرصنة من خلال دمج regex مع مكتبات بايثون الأخرى للأمان الإلكتروني.

Pyperclip: يمكنك الوصول مباشرة إلى الحافظة من خلال بايثون باستخدام Pyperclip بطريقة بسيطة وفعالة للغاية، و هو مفيد تحديدًا للنصوص التي تحتوي على مجموعات كبيرة جدًا من العبارات.

اختبار الإختراق: اختبار الاختراق هو عملية محاولة اختراق نظام أو شبكة أو برنامج لاختبار الأمان، وهو  تطبيق مهم جدًا لبايثون في الأمن السيبراني و يحتاج المحترفون إلى إنشاء البرامج النصية والأدوات الخاصة بهم لتحقيق هذا التأثير.

فحص منفذ الشبكة: تُستخدم أداة Python Nmap لفحص منفذ الشبكة باستخدام برمجة مقبس بايثون بغض النظر عن أي أداة خارجية.

شم الحزمة: يمكن استخدام أدوات مثل Wireshark أو برامج بايثون المكتوبة ببساطة لتحقيق Sniffing Packet. تحتاج إلى NIC لتنفيذ الوضع المختلط في حالة شم حركة المرور على شبكتك المحلية.

برمجة المقبس: تتطلب برمجة Socket في بايثون استيراد مقبس الحزمة أولاً ثم استدعاؤه بالطرق ذات الصلة.

استخراج الموقع الجغرافي: وحدة “pygeoip” مسؤولة عن استخراج الموقع في الوقت الفعلي لعنوان IP باستخدام واجهات برمجة تطبيقات Google و Python.

استخراج في الوقت الفعلي من وسائل التواصل الاجتماعي: يمكنك استخدام بايثون للأمان الإلكتروني لتنزيل بيانات حية في الوقت الفعلي من العديد من منصات الوسائط الاجتماعية.

أصبح الأمن السيبراني إلزاميًا للغاية مع زيادة شدة الهجمات الإلكترونية والتقدم التكنولوجي أصبحت بايثون مفيدة للغاية في Cyber Security لأنها تدعم وتؤدي العديد من وظائف Cyber Security مثل وظائف تحليل البرامج الضارة والمسح الضوئي واختبار الاختراق.