تعلم الآلة العدائي

جزء من سلسلة مقالات حول
تعلم الآلة
والتنقيب في البيانات
مشكلات
التعليم بالإشراف
تحليل عنقودي
اختزال الأبعاد
التوقع المهيكل
تشخيص الشذوذ
الشبكات العصبونية الاصطناعية
تعليم معزز
النظرية
أنظمة تعلم الآلة

تعلم الآلة العدائي[1] (بالإنجليزية: Adversarial machine learning)‏ هو دراسة الهجمات على خوارزميات تعلم الآلة والدفاعات ضد مثل هذه الهجمات. [2] كشفت دراسة استقصائية حديثة حقيقة أن الممارسين أبلغوا عن حاجة ماسة لحماية أنظمة تعلم الآلة بشكل أفضل في التطبيقات الصناعية. [3]

لفهم ، لاحظ أن معظم تقنيات تعلم الآلة مصممة في الغالب للعمل على مجموعات مشاكل محددة على افتراض أن بيانات التدريب والاختبار يتم إنشاؤها من نفس التوزيع الإحصائي ( IID ). ومع ذلك غالبًا ما يتم انتهاك هذا الافتراض بشكل خطير في التطبيقات العملية ذات الأهمية الكبيرة، حيث قد يقوم المستخدمون عمدًا بتزويد بيانات ملفقة تنتهك الافتراض الإحصائي.

تتضمن بعض نماذج التهديد الأكثر شيوعًا في تعلم الآلة العدائي هجمات المراوغة و هجمات تسمم البيانات [4] والهجمات البيزنطية [5] واستخراج النماذج. [6]

تاريخ

في عام 2004 لاحظ نيليش داليفي وآخرون أن المصنفات الخطية المستخدمة في مرشحات البريد العشوائي يمكن هزيمتها من خلال "هجمات المراوغة " البسيطة حيث يقوم مرسلو البريد العشوائي بإدراج "كلمات جيدة" في رسائل البريد الإلكتروني العشوائية الخاصة بهم. (في حوالي عام 2007 ، أضاف بعض مرسلي البريد العشوائي تشويشًا عشوائيًا للكلمات المزعجة داخل "البريد العشوائي للصور" من أجل التغلب على عوامل التصفية المستندة إلى التعرف الضوئي على الحروف. ) في عام 2006 ، نشر ماركو بارينو وآخرون "هل يمكن أن يكون تعلم الآلة آمنًا؟" ، يحدد تصنيفًا واسعًا للهجمات. في أواخر عام 2013 ، واصل العديد من الباحثين الأمل في أن المصنفات غير الخطية (مثل آلات ناقلات الدعم والشبكات العصبية ) قد تكون قوية للخصوم ، إلى أن أظهر باتيستا بيجيو وآخرون الهجمات الأولى القائمة على التدرج على نماذج تعلم الآلة (2012). -2013 [7] ). في عام 2012 ، بدأت الشبكات العصبية العميقة في السيطرة على مشاكل الرؤية الحاسوبية. بدءًا من عام 2014 ، أظهر كريستيان سيجيدي وآخرون أن الشبكات العصبية العميقة يمكن أن تنخدع من قبل الأعداء ، مرة أخرى باستخدام هجوم قائم على التدرج لصياغة الاضطرابات العدائية. [8]

في الآونة الأخيرة لوحظ أن الهجمات العدائية يصعب إنتاجها في العالم العملي بسبب القيود البيئية المختلفة التي تلغي تأثير الضوضاء. [9] على سبيل المثال ، أي دوران صغير أو إضاءة طفيفة على صورة معادية يمكن أن تدمر الخصومة. بالإضافة إلى ذلك ، يشير باحثون مثل نيكولاس فروست من Google Brain إلى أنه من الأسهل بكثير صنع سيارات ذاتية القيادة [10] تفوت علامات التوقف عن طريق إزالة العلامة نفسها جسديًا ، بدلاً من إنشاء أمثلة معادية. [11] يعتقد Frosst أيضًا أن مجتمع تعلم الآلة العدائي يفترض بشكل غير صحيح أن النماذج المدربة على توزيع معين للبيانات ستؤدي أيضًا بشكل جيد في توزيع مختلف تمامًا للبيانات. يقترح أنه يجب استكشاف نهج جديد للتعلم الآلي ، ويعمل حاليًا على شبكة عصبية فريدة لها خصائص تشبه الإدراك البشري أكثر من الأساليب الحديثة. [11]

بينما لا يزال تعلم الآلة العدائي متجذرًا بشكل كبير في الأوساط الأكاديمية بدأت شركات التكنولوجيا الكبيرة مثل Google و Microsoft و IBM في تنسيق التوثيق وقواعد التعليمات البرمجية مفتوحة المصدر للسماح للآخرين بتقييم متانة نماذج تعلم الآلة وتقليل مخاطر العداء. الهجمات. [12] [13] [14]

أمثلة

تشمل الأمثلة الهجمات على تصفية البريد العشوائي ، حيث يتم إخفاء الرسائل العشوائية من خلال الخطأ الإملائي للكلمات "السيئة" أو إدخال كلمات "جيدة" ؛ [15] [16] الهجمات في أمن الكمبيوتر ، مثل إخفاء شفرة البرامج الضارة داخل حزم الشبكة أو تعديل خصائص تدفق الشبكة لتضليل اكتشاف التسلل ؛ [17] [18] هجمات التعرف على القياسات الحيوية حيث يمكن استغلال سمات القياسات الحيوية المزيفة لانتحال شخصية مستخدم شرعي ؛ [19] أو المساومة على معارض قوالب المستخدمين التي تتكيف مع السمات المحدثة بمرور الوقت.

أظهر الباحثون أنه من خلال تغيير بكسل واحد فقط كان من الممكن خداع خوارزميات التعلم العميق. [20] قام آخرون بطباعة لعبة سلحفاة ثلاثية الأبعاد بنسيج مصمم هندسيًا لجعل اكتشاف الكائنات من Google يصنفها AI على أنها بندقية بغض النظر عن الزاوية التي شوهدت منها السلحفاة. [21] يتطلب إنشاء السلحفاة تقنية طباعة ثلاثية الأبعاد منخفضة التكلفة ومتاحة تجاريًا.

تم عرض صورة معدلة آليًا لكلب على شكل قطة لكل من أجهزة الكمبيوتر والبشر. [22] أفادت دراسة أجريت عام 2019 أنه يمكن للبشر تخمين كيفية تصنيف الآلات للصور العدائية. [23] اكتشف الباحثون طرقًا للتشويش على مظهر علامة التوقف مثل أن تصنفها مركبة ذاتية القيادة على أنها علامة اندماج أو علامة حد للسرعة. [10] [24] [25]

هاجم McAfee نظام Mobileye السابق لشركة Tesla ، وخدعه ليقود 50 ميل في الساعة فوق الحد الأقصى للسرعة ، وذلك ببساطة عن طريق إضافة شريط بطول بوصتين من الشريط الأسود إلى علامة حد السرعة. [26] [27]

أدت الأنماط العدائية على النظارات أو الملابس المصممة لخداع أنظمة التعرف على الوجه أو أجهزة قراءة لوحات الترخيص ، إلى صناعة متخصصة من "ملابس الشارع الخفية". [28]

يمكن للهجوم العدائي على الشبكة العصبية أن يسمح للمهاجم بحقن الخوارزميات في النظام المستهدف. [29] يمكن للباحثين أيضًا إنشاء مدخلات صوتية معادية لإخفاء الأوامر للمساعدين الأذكياء في صوت يبدو حميدًا ؛ [30] يستكشف الأدب الموازي الإدراك البشري لمثل هذه المحفزات.

تستخدم خوارزميات التجميع في تطبيقات الأمن. يهدف تحليل البرامج الضارة وفيروسات الكمبيوتر إلى تحديد عائلات البرامج الضارة ، وإنشاء توقيعات كشف محددة. [31] [32]

المصادر

  1. ^ معجم البيانات والذكاء الاصطناعي (PDF) (بالعربية والإنجليزية)، الهيئة السعودية للبيانات والذكاء الاصطناعي، 2022، ص. 39، QID:Q111421033
  2. ^ Kianpour, Mazaher; Wen, Shao-Fang (2020). "Timing Attacks on Machine Learning: State of the Art". Intelligent Systems and Applications. Advances in Intelligent Systems and Computing (بالإنجليزية). Vol. 1037. pp. 111–125. DOI:10.1007/978-3-030-29516-5_10. ISBN:978-3-030-29515-8.
  3. ^ Siva Kumar، Ram Shankar؛ Nyström، Magnus؛ Lambert، John؛ Marshall، Andrew؛ Goertzel، Mario؛ Comissoneru، Andi؛ Swann، Matt؛ Xia، Sharon (مايو 2020). "Adversarial Machine Learning-Industry Perspectives". 2020 IEEE Security and Privacy Workshops (SPW): 69–75. DOI:10.1109/SPW50608.2020.00028. ISBN:978-1-7281-9346-5. مؤرشف من الأصل في 2023-06-11.
  4. ^ (بالإنجليزية). {{استشهاد بمنشورات مؤتمر}}: الوسيط |title= غير موجود أو فارغ (help)
  5. ^ El-Mhamdi, El Mahdi; Farhadkhani, Sadegh; Guerraoui, Rachid; Guirguis, Arsany; Hoang, Lê-Nguyên; Rouault, Sébastien (6 Dec 2021). "Collaborative Learning in the Jungle (Decentralized, Byzantine, Heterogeneous, Asynchronous and Nonconvex Learning)". Advances in Neural Information Processing Systems (بالإنجليزية). 34. arXiv:2008.00742. Archived from the original on 2023-06-11.
  6. ^ (بالإنجليزية). pp. 601–618. {{استشهاد بمنشورات مؤتمر}}: الوسيط |title= غير موجود أو فارغ (help)
  7. ^ Biggio، Battista؛ Corona، Igino؛ Maiorca، Davide؛ Nelson، Blaine؛ Srndic، Nedim؛ Laskov، Pavel؛ Giacinto، Giorgio؛ Roli، Fabio (2013). "Evasion attacks against machine learning at test time". ECML PKDD. Lecture Notes in Computer Science. Springer. ج. 7908. ص. 387–402. DOI:10.1007/978-3-642-40994-3_25. ISBN:978-3-642-38708-1.
  8. ^ Biggio، Battista؛ Roli، Fabio (ديسمبر 2018). "Wild patterns: Ten years after the rise of adversarial machine learning". Pattern Recognition. ج. 84: 317–331. arXiv:1712.03141. Bibcode:2018PatRe..84..317B. DOI:10.1016/j.patcog.2018.07.023.
  9. ^ Gupta, Kishor Datta, Dipankar Dasgupta, and Zahid Akhtar. "Applicability issues of Evasion-Based Adversarial Attacks and Mitigation Techniques." 2020 IEEE Symposium Series on Computational Intelligence (SSCI). 2020.
  10. ^ ا ب Lim, Hazel Si Min; Taeihagh, Araz (2019). "Algorithmic Decision-Making in AVs: Understanding Ethical and Technical Concerns for Smart Cities". Sustainability (بالإنجليزية). 11 (20): 5791. arXiv:1910.13122. Bibcode:2019arXiv191013122L. DOI:10.3390/su11205791.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  11. ^ ا ب "Google Brain's Nicholas Frosst on Adversarial Examples and Emotional Responses". Synced. 21 نوفمبر 2019. مؤرشف من الأصل في 2023-06-11. اطلع عليه بتاريخ 2021-10-23.
  12. ^ "Responsible AI practices". Google AI (بالإنجليزية). Archived from the original on 2023-05-26. Retrieved 2021-10-23.
  13. ^ Adversarial Robustness Toolbox (ART) v1.8، Trusted-AI، 23 أكتوبر 2021، مؤرشف من الأصل في 2023-06-11، اطلع عليه بتاريخ 2021-10-23
  14. ^ amarshal. "Failure Modes in Machine Learning - Security documentation". docs.microsoft.com (بالإنجليزية الأمريكية). Archived from the original on 2023-06-11. Retrieved 2021-10-23.
  15. ^ Biggio، Battista؛ Fumera، Giorgio؛ Roli، Fabio (2010). "Multiple classifier systems for robust classifier design in adversarial environments". International Journal of Machine Learning and Cybernetics. ج. 1 ع. 1–4: 27–41. DOI:10.1007/s13042-010-0007-7. ISSN:1868-8071. مؤرشف من الأصل في 2023-01-19. اطلع عليه بتاريخ 2023-01-19.
  16. ^ Brückner، Michael؛ Kanzow، Christian؛ Scheffer، Tobias (2012). "Static Prediction Games for Adversarial Learning Problems" (PDF). Journal of Machine Learning Research. ج. 13 ع. Sep: 2617–2654. ISSN:1533-7928. مؤرشف (PDF) من الأصل في 2023-06-11.
  17. ^ Apruzzese، Giovanni؛ Andreolini، Mauro؛ Ferretti، Luca؛ Marchetti، Mirco؛ Colajanni، Michele (3 يونيو 2021). "Modeling Realistic Adversarial Attacks against Network Intrusion Detection Systems". Digital Threats: Research and Practice. ج. 3 ع. 3: 1–19. DOI:10.1145/3469659. ISSN:2692-1626.
  18. ^ Vitorino, João; Oliveira, Nuno; Praça, Isabel (Mar 2022). "Adaptative Perturbation Patterns: Realistic Adversarial Learning for Robust Intrusion Detection". Future Internet (بالإنجليزية). 14 (4): 108. DOI:10.3390/fi14040108. ISSN:1999-5903.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  19. ^ Rodrigues، Ricardo N.؛ Ling، Lee Luan؛ Govindaraju، Venu (1 يونيو 2009). "Robustness of multimodal biometric fusion methods against spoof attacks" (PDF). Journal of Visual Languages & Computing. ج. 20 ع. 3: 169–179. DOI:10.1016/j.jvlc.2009.01.010. ISSN:1045-926X. مؤرشف (PDF) من الأصل في 2023-06-11.
  20. ^ Su، Jiawei؛ Vargas، Danilo Vasconcellos؛ Sakurai، Kouichi (أكتوبر 2019). "One Pixel Attack for Fooling Deep Neural Networks". IEEE Transactions on Evolutionary Computation. ج. 23 ع. 5: 828–841. arXiv:1710.08864. DOI:10.1109/TEVC.2019.2890858. ISSN:1941-0026.
  21. ^ "Single pixel change fools AI programs". BBC News. 3 نوفمبر 2017. مؤرشف من الأصل في 2023-06-11. اطلع عليه بتاريخ 2018-02-12.
  22. ^ "AI Has a Hallucination Problem That's Proving Tough to Fix". WIRED. 2018. مؤرشف من الأصل في 2023-06-11. اطلع عليه بتاريخ 2018-03-10.
  23. ^ Zhou، Zhenglong؛ Firestone، Chaz (2019). "Humans can decipher adversarial images". Nature Communications. ج. 10 ع. 1: 1334. arXiv:1809.04120. Bibcode:2019NatCo..10.1334Z. DOI:10.1038/s41467-019-08931-6. PMID:30902973. {{استشهاد بدورية محكمة}}: الوسيط غير المعروف |PMCID= تم تجاهله يقترح استخدام |pmc= (مساعدة)
  24. ^ Jain، Anant (9 فبراير 2019). "Breaking neural networks with adversarial attacks – Towards Data Science". Medium. مؤرشف من الأصل في 2023-01-19. اطلع عليه بتاريخ 2019-07-15.
  25. ^ Ackerman، Evan (4 أغسطس 2017). "Slight Street Sign Modifications Can Completely Fool Machine Learning Algorithms". IEEE Spectrum: Technology, Engineering, and Science News. مؤرشف من الأصل في 2023-06-11. اطلع عليه بتاريخ 2019-07-15.
  26. ^ "A Tiny Piece of Tape Tricked Teslas Into Speeding Up 50 MPH". Wired (بالإنجليزية). 2020. Archived from the original on 2023-06-11. Retrieved 2020-03-11.
  27. ^ "Model Hacking ADAS to Pave Safer Roads for Autonomous Vehicles". McAfee Blogs (بالإنجليزية الأمريكية). 19 Feb 2020. Archived from the original on 2023-06-11. Retrieved 2020-03-11.
  28. ^ Seabrook, John (2020). "Dressing for the Surveillance Age". The New Yorker (بالإنجليزية). Archived from the original on 2023-06-11. Retrieved 2020-04-05.
  29. ^ Heaven, Douglas (Oct 2019). "Why deep-learning AIs are so easy to fool". Nature (بالإنجليزية). 574 (7777): 163–166. Bibcode:2019Natur.574..163H. DOI:10.1038/d41586-019-03013-5. PMID:31597977.
  30. ^ Hutson، Matthew (10 مايو 2019). "AI can now defend itself against malicious messages hidden in speech". Nature. DOI:10.1038/d41586-019-01510-1. PMID:32385365.
  31. ^ D. B. Skillicorn. "Adversarial knowledge discovery". IEEE Intelligent Systems, 24:54–61, 2009.
  32. ^ B. Biggio, G. Fumera, and F. Roli. "Pattern recognition systems under attack: Design issues and research challenges". Int'l J. Patt. Recogn. Artif. Intell., 28(7):1460002, 2014. نسخة محفوظة 2022-05-20 على موقع واي باك مشين.