پیام ویژه

آخرين مطالب

جنبه تاریک یادگیری ماشینی فناوري

جنبه تاریک یادگیری ماشینی

  بزرگنمايي:

اخبار ویژه - مثال‌های یادشده، تنها چند نمونه از انواع حملات خصمانه (adversarial attacks) هستند که به سامانه‌های یادگیری ماشینی، صورت می‌گیرند. این تهاجمات، به مهاجم امکان می‌دهند، تصویر، یا صوت مورد نظر خود را به گونه‌ای دست‌کاری کند که رایانه در طبقه‌بندی آن، دچار اشتباه شود. این گونه حملات، در جهانی که به صورت روزافزون، ازسوی یادگیری ماشینی، احاطه می‌شود، پیامد‌های گسترده‌ای را به دنبال خواهند داشت.
نیکولاس کارلینی (Nicholas Carlini)، یکی از پژوهشگران گوگل در زمان برگزاری اجلاس «RSA 2019» مجموعه‌ای از بردارهای حمله (Attack Vector) را به نمایش گذاشت. در این‌گونه حملات، نه تنها امکان دستکاری سامانه‌های یادگیری ماشینی وجود دارد؛ بلکه می‌توان اطلاعات حساس موجود را در مجموعه‌ عظیمی از داده‌ها نیز استخراج کرد.
سوء استفاده از شبکه‌های عصبی

هر یک از حملات معرفی شده، بر پایه مجموعه عظیمی از داده‌ها، کار می‌کند که توسط الگوریتم‌های تشخیص الگو، مورد استفاده قرار می‌گیرد. برای مثال، کارلینی سامانه‌ای را به نمایش گذاشت که میلیون‌ها تصویر گربه را طبقه‌بندی کرده بود. این سامانه، با استفاده از یادگیری ماشینی، ویژگی‌های یک گربه را به رسمیت شناخته، عکس را طبقه‌بندی می‌کرد. بنابراین در هنگام مواجهه با تصویر یک سگ، می‌توانست عدم تطابق را شناسایی کند.
کارلینی شرح داد:
"دانشمندان داده، نقطه ضعفی قابل بهره‌برداری را در شیوه‌ کاربرد اطلاعات، به وسیله یادگیری ماشینی، شناسایی کرده‌اند."
پژوهشگر گوگل، با اشاره به 2 تصویر بالا گفت:
"این تصاویر -که از دیدگاه ما انسان‌ها، کاملاً مشابه و غیر قابل‌ تمایز هستند، از دید یک شبکه‌ عصبی، 2 شیء کاملاً متفاوت، به نظر می‌رسند."
کارشناس بالا افزود:
"تنها تفاوت میان 2 تصویر بالا، وجود نقاطی روی یکی از آن‌ها است که باعث می‌شود هوش مصنوعی، گربه را با نوعی غذا اشتباه بگیرد. همچنین به واسطه حملات خصمانه یادشده، می‌توان علامت ایست را به گونه‌ای تغییر داد که خودروی بی‌راننده، فکر کند؛ با تابلوی محدودیت سرعت 45 مایل در ساعت، روبرو است."
حملات خصمانه صوتی

نیکولاس کارلینی گفت:
"مهم است که متوجه باشید، مشکل یادشده، تنها در تصاویر وجود ندارد؛ بلکه روی صدا نیز قابل‌ اعمال است."
کارلینی به منظور اثبات حرف خود، بخشی از یک موسیقی را برای حضار پخش و سپس توسط شبکه عصبی یک ابزار تجزیه و تحلیل تبدیل صوت به متن (voice-to-text)، آن را تحلیل کرد. نتایج نشان داد که این آهنگ، به عنوان نقل‌ قولی از چارلز دیکنز، تفسیر شده است. به عبارت دیگر، در زمان تبدیل صوت به متن، داده‌ها دستکاری شده بودند.
پژوهشگر گوگل نشان داد که به کمک روش بالا، می‌توان دستورهای صوتی را به گونه‌ای تغییر داد که از دیدگاه یک دستگاه اندرویدی، فرمان باز شدن یک برنامه، یا وبگاه خاص، به نظر برسند. این مسئله، زمانی شکل جدی‌تری به خود می‌گیرد که بسترهای یادشده، آلوده باشند.
سخنران مذکور، ادامه داد:
"بسیار بد می‌شود؛ اگر من به تلفن هوشمند شما، راه پیدا و جملاتی را مانند: «همه‌ ایمیل‌ها را برای من ارسال کن»، یا «به فلان وبگاه مخرب وارد شو» بیان کنم."
به عبارت دیگر، مهاجم می‌تواند فرمان ویرانگر خود را در پوشش یک دستور معمولی و قانونی، پنهان سازد.
وی اظهار کرد:
"من می‌توانم صدایی را در ویدئو یوتیوب، پنهان کنم. سپس هر شخصی که به تماشای آن بپردازد، تحت تأثیر فرمان‌ها، قرار خواهد گرفت."
سادگی اجرای حملات خصمانه
ماهیت حملات یادشده، سخت و پیچیده نیست؛ بلکه بر پایه شیوه‌ عملکرد شبکه عصبی، در طبقه‌بندی تصاویر، عمل می‌کنند.
کارلینی توضیح داد:
"الگوریتم‌های یادگیری ماشینی، تصاویر را بر اساس میزان اطمینان خود نسبت به آن‌ها، دسته‌بندی می‌کنند. برای مثال، یک تصویر واضح از گربه، به احتمال 98 درصد، مورد تأیید قرار می‌گیرد؛ اما تنها کافی است یک نقطه‌ غیرقابل مشاهده توسط چشم انسان، به عکس اضافه شود. در این شرایط، درصد یادشده، احتمالاً به 97.5، کاهش می‌‌یابد. اگر به میزان کافی، از این نقاط، در تصویر، اعمال شوند، هوش مصنوعی، دیگر نمی‌تواند عکس را به عنوان یک گربه، درنظر بگیرد و به بررسی تصویر بعد می‌پردازد. در این شرایط، احتمالاً سامانه، گربه را به عنوان نوعی غذا، درنظر می‌گیرد."
وی اشاره کرد:
"ارتکاب حملات یادشده، به سادگی امکان‌پذیر است. یک مهاجم، می‌تواند با بهره گیری از ریاضیات، زمان مورد نیاز را برای ایجاد تصویری که عقل سلیم (common sense) را فریب می‌دهد، به حداقل برساند."
حریم خصوصی داده‌های آموزشی
پژوهشگر گوگل شرح داد:
"با توجه به این که یادگیری ماشینی، به صورت روزافزون، در صنایع مختلف، به کار گرفته می‌شود، به وجود آمدن تهدیدات حریم خصوصی، طبیعی است. برای مثال، بیمارستان‌ها، خرده‌فروشی‌ها و دولت‌ها، ممکن است بخواهند بر پایه مجموعه عظیمی از داده‌های حساس، یک شبکه عصبی ایجاد نمایند. اگر محدودیت‌های مناسبی، روی این داده‌ها، اعمال نشود؛ مهاجمی که دسترسی بسیار محدودی به اطلاعات دارد، می‌تواند داده‌های شخصی را به سادگی، استخراج کند."
در چنین حالتی، شبکه‌های عصبی، به منظور نمایش داده‌ها، از مدل‌های پیش‌بینی، بهره می‌گیرند. برای نمونه، برنامه‌های ایمیل، یا برپایه متن می‌توانند کلمه‌ بعدی را حدس بزنند. زمانی که این رویه، در مجموعه‌ای از داده‌های حساس، به کار گرفته شود، مهاجم قادر است با استفاده از جستجوهای خود، به اطلاعات ذخیره شده در پایگاه داده، دست پیدا کند.
کارشناس یادشده نشان داد؛ زمانی که در این سامانه تایپ می‌کند: «شماره امنیت اجتماعی نیکولاس»، الگوریتم با جستجو در پایگاه داده، پاسخ درست را باز می‌گرداند. همچنین در سناریویی دیگر، موفق شد که اطلاعات پزشکی بیماران سرطانی، کارت‌های اعتباری و آدرس‌ها را نیز استخراج کند.
نیکولاس کارلینی گفت:
"شرکت‌ها باید قبل از بهره برداری از یادگیری ماشینی و داده‌های آموزشی آن، به دقت فکر کنند؛ زیرا ممکن است داده‌های خصوصی، حتی در هنگام یک جستجوی ساده، توسط کاربران، فاش شوند."
کارلینی بیان کرد:
"کلید اصلی حفاظت از نشت اطلاعات، کاهش اطلاعات ذخیره‌سازی شده، در مجموعه داده‌های مورد نیاز، برای انجام دادن یک وظیفه است."
منبع: سایبربان




نظرات شما

ارسال دیدگاه

Protected by FormShield

ساير مطالب

پوستر/ همیشه مراقبتان هستند

هوش مصنوعی که می‌تواند مقاله بنویسد

پوستر/ مراقب هویت مجازی خود باشید

اختراعی که به فضایی برای انجام جرایم تبدیل شد

افزایش حملات سایبری در حوزه تلفن همراه

نشت 800 میلیون داده از یک پایگاه‌ اطلاعاتی ناامن

باگ سرویس WDS باعث نفوذ راحت به Windows Server می‌شود

اتهام آمریکا به ایران در رابطه با افزایش حملات سایبری

نگذارید دشمن بر فضای مجازی و فرهنگ کشور مسلط شود

قدرت تهاجمی ارتش سایبری ایران نگران کننده است

بسیاری از ایرانی‌ها آیفون‌هایشان را خاموش کردند

فشرده‌سازی فایل‌ها به نفوذ هکرها می‌انجامد!

اینترنت اشیا، تهدید تازه‌ای، برای خشونت خانگی

ابداع سیستم‌های هوش مصنوعی با قابلیت ارتباطات انسانی

چین با سیطره آمریکا در فضای مجازی مقابله کرد

جنبه تاریک یادگیری ماشینی

نشانی برای مجاهدت مخلصاً لِلّه

آمریکا یا چین؛ تاج سلطنت اینترنت به کدام یک می رسد؟

بدافزار «حمله‌ جستجوی فراگیر» بدنبال ویندوز و لینوکس

داده نما / افزایش امنیت گوشی‌های هوشمند

17 هزار اپلیکیشن اندروید اطلاعات کاربران را جمع‌آوری می‌کنند

سرعت کند اما روبه جلو پیام رسان‌های داخلی

آماری از ریشه دواندن نسل‌ سه و چهار در اینترنت پهن‌باند

عدم اجرای مصوبه مقابله با فیلترشکن‌ها

تروریست‌های کوانتومی

حفظ حریم شخصی؛ بزرگ‌ترین دغدغه کاربران

پیش‌بینی سامانه‌های ضد دیداس برای مقابله با حملات احتمالی

مودم‌های وای‌فای؛ متهم ردیف اول هک کاربران

دولت و وزارت ارتباطات عزمی برای ایجاد پیام‌رسان ملی ندارند

فضای مجازی همواره نفوذپذیر است

شناخت مخاطبان در فضای مجازی مهمترین گام در تاثیرگذاری

آنچه بهتر است برای حفظ امنیت مودم‌تان بدانید

طرح آزمایشی روسیه برای قطع ارتباط با شبکه جهانی اینترنت

برنامه‌ریزی روس‌ها برای راه‌اندازی اینترنت کشوری

حمله بدافزار Farseer به سیستم‌های ویندوزی

رشد 2 میلیونی مشترکان اینترنت موبایل دریکسال

برآورد 10میلیون دلاری تراکنش بازار ارزدیجیتال در ایران

سه تهدید جدی فناوری‌های مبتنی بر هوش مصنوعی

دستورالعمل اخذ مجوز صرافی‌ها برای ارز دیجیتال بررسی شد

چرا هوش مصنوعی، تهدیدی برای دموکراسی است؟

برای خرید گوش هوشمند 5G عجله نکنید!

"هوشمندسازی شهرها" راه‌حل توسعه شهری

سرمایه گذاری روی فیبر نوری غیر اقتصادی است

انواع سرویس‌های پرسرعت اینترنت کدامند؟

چرا اینترنت نسل پنجم مهم است؟

حکمرانی هوشمند نیازمند IP6 است

سریع‌ترین هکرهای سایبری جهان

مدیریت، نیاز اساسی رشد اینترنت اشیا

رواج شهوات، از بین رفتن حیا و عفّت، از برنامه‌های دشمن است

اجرای آزمایشی شبکه 5G توسط اریکسون