پیام ویژه

آخرين مطالب

جنبه تاریک یادگیری ماشینی خواندنی ها

جنبه تاریک یادگیری ماشینی

  بزرگنمايي:

اخبار ویژه - مثال‌های یادشده، تنها چند نمونه از انواع حملات خصمانه (adversarial attacks) هستند که به سامانه‌های یادگیری ماشینی، صورت می‌گیرند. این تهاجمات، به مهاجم امکان می‌دهند، تصویر، یا صوت مورد نظر خود را به گونه‌ای دست‌کاری کند که رایانه در طبقه‌بندی آن، دچار اشتباه شود. این گونه حملات، در جهانی که به صورت روزافزون، ازسوی یادگیری ماشینی، احاطه می‌شود، پیامد‌های گسترده‌ای را به دنبال خواهند داشت.
نیکولاس کارلینی (Nicholas Carlini)، یکی از پژوهشگران گوگل در زمان برگزاری اجلاس «RSA 2019» مجموعه‌ای از بردارهای حمله (Attack Vector) را به نمایش گذاشت. در این‌گونه حملات، نه تنها امکان دستکاری سامانه‌های یادگیری ماشینی وجود دارد؛ بلکه می‌توان اطلاعات حساس موجود را در مجموعه‌ عظیمی از داده‌ها نیز استخراج کرد.
سوء استفاده از شبکه‌های عصبی

هر یک از حملات معرفی شده، بر پایه مجموعه عظیمی از داده‌ها، کار می‌کند که توسط الگوریتم‌های تشخیص الگو، مورد استفاده قرار می‌گیرد. برای مثال، کارلینی سامانه‌ای را به نمایش گذاشت که میلیون‌ها تصویر گربه را طبقه‌بندی کرده بود. این سامانه، با استفاده از یادگیری ماشینی، ویژگی‌های یک گربه را به رسمیت شناخته، عکس را طبقه‌بندی می‌کرد. بنابراین در هنگام مواجهه با تصویر یک سگ، می‌توانست عدم تطابق را شناسایی کند.
کارلینی شرح داد:
"دانشمندان داده، نقطه ضعفی قابل بهره‌برداری را در شیوه‌ کاربرد اطلاعات، به وسیله یادگیری ماشینی، شناسایی کرده‌اند."
پژوهشگر گوگل، با اشاره به 2 تصویر بالا گفت:
"این تصاویر -که از دیدگاه ما انسان‌ها، کاملاً مشابه و غیر قابل‌ تمایز هستند، از دید یک شبکه‌ عصبی، 2 شیء کاملاً متفاوت، به نظر می‌رسند."
کارشناس بالا افزود:
"تنها تفاوت میان 2 تصویر بالا، وجود نقاطی روی یکی از آن‌ها است که باعث می‌شود هوش مصنوعی، گربه را با نوعی غذا اشتباه بگیرد. همچنین به واسطه حملات خصمانه یادشده، می‌توان علامت ایست را به گونه‌ای تغییر داد که خودروی بی‌راننده، فکر کند؛ با تابلوی محدودیت سرعت 45 مایل در ساعت، روبرو است."
حملات خصمانه صوتی

نیکولاس کارلینی گفت:
"مهم است که متوجه باشید، مشکل یادشده، تنها در تصاویر وجود ندارد؛ بلکه روی صدا نیز قابل‌ اعمال است."
کارلینی به منظور اثبات حرف خود، بخشی از یک موسیقی را برای حضار پخش و سپس توسط شبکه عصبی یک ابزار تجزیه و تحلیل تبدیل صوت به متن (voice-to-text)، آن را تحلیل کرد. نتایج نشان داد که این آهنگ، به عنوان نقل‌ قولی از چارلز دیکنز، تفسیر شده است. به عبارت دیگر، در زمان تبدیل صوت به متن، داده‌ها دستکاری شده بودند.
پژوهشگر گوگل نشان داد که به کمک روش بالا، می‌توان دستورهای صوتی را به گونه‌ای تغییر داد که از دیدگاه یک دستگاه اندرویدی، فرمان باز شدن یک برنامه، یا وبگاه خاص، به نظر برسند. این مسئله، زمانی شکل جدی‌تری به خود می‌گیرد که بسترهای یادشده، آلوده باشند.
سخنران مذکور، ادامه داد:
"بسیار بد می‌شود؛ اگر من به تلفن هوشمند شما، راه پیدا و جملاتی را مانند: «همه‌ ایمیل‌ها را برای من ارسال کن»، یا «به فلان وبگاه مخرب وارد شو» بیان کنم."
به عبارت دیگر، مهاجم می‌تواند فرمان ویرانگر خود را در پوشش یک دستور معمولی و قانونی، پنهان سازد.
وی اظهار کرد:
"من می‌توانم صدایی را در ویدئو یوتیوب، پنهان کنم. سپس هر شخصی که به تماشای آن بپردازد، تحت تأثیر فرمان‌ها، قرار خواهد گرفت."
سادگی اجرای حملات خصمانه
ماهیت حملات یادشده، سخت و پیچیده نیست؛ بلکه بر پایه شیوه‌ عملکرد شبکه عصبی، در طبقه‌بندی تصاویر، عمل می‌کنند.
کارلینی توضیح داد:
"الگوریتم‌های یادگیری ماشینی، تصاویر را بر اساس میزان اطمینان خود نسبت به آن‌ها، دسته‌بندی می‌کنند. برای مثال، یک تصویر واضح از گربه، به احتمال 98 درصد، مورد تأیید قرار می‌گیرد؛ اما تنها کافی است یک نقطه‌ غیرقابل مشاهده توسط چشم انسان، به عکس اضافه شود. در این شرایط، درصد یادشده، احتمالاً به 97.5، کاهش می‌‌یابد. اگر به میزان کافی، از این نقاط، در تصویر، اعمال شوند، هوش مصنوعی، دیگر نمی‌تواند عکس را به عنوان یک گربه، درنظر بگیرد و به بررسی تصویر بعد می‌پردازد. در این شرایط، احتمالاً سامانه، گربه را به عنوان نوعی غذا، درنظر می‌گیرد."
وی اشاره کرد:
"ارتکاب حملات یادشده، به سادگی امکان‌پذیر است. یک مهاجم، می‌تواند با بهره گیری از ریاضیات، زمان مورد نیاز را برای ایجاد تصویری که عقل سلیم (common sense) را فریب می‌دهد، به حداقل برساند."
حریم خصوصی داده‌های آموزشی
پژوهشگر گوگل شرح داد:
"با توجه به این که یادگیری ماشینی، به صورت روزافزون، در صنایع مختلف، به کار گرفته می‌شود، به وجود آمدن تهدیدات حریم خصوصی، طبیعی است. برای مثال، بیمارستان‌ها، خرده‌فروشی‌ها و دولت‌ها، ممکن است بخواهند بر پایه مجموعه عظیمی از داده‌های حساس، یک شبکه عصبی ایجاد نمایند. اگر محدودیت‌های مناسبی، روی این داده‌ها، اعمال نشود؛ مهاجمی که دسترسی بسیار محدودی به اطلاعات دارد، می‌تواند داده‌های شخصی را به سادگی، استخراج کند."
در چنین حالتی، شبکه‌های عصبی، به منظور نمایش داده‌ها، از مدل‌های پیش‌بینی، بهره می‌گیرند. برای نمونه، برنامه‌های ایمیل، یا برپایه متن می‌توانند کلمه‌ بعدی را حدس بزنند. زمانی که این رویه، در مجموعه‌ای از داده‌های حساس، به کار گرفته شود، مهاجم قادر است با استفاده از جستجوهای خود، به اطلاعات ذخیره شده در پایگاه داده، دست پیدا کند.
کارشناس یادشده نشان داد؛ زمانی که در این سامانه تایپ می‌کند: «شماره امنیت اجتماعی نیکولاس»، الگوریتم با جستجو در پایگاه داده، پاسخ درست را باز می‌گرداند. همچنین در سناریویی دیگر، موفق شد که اطلاعات پزشکی بیماران سرطانی، کارت‌های اعتباری و آدرس‌ها را نیز استخراج کند.
نیکولاس کارلینی گفت:
"شرکت‌ها باید قبل از بهره برداری از یادگیری ماشینی و داده‌های آموزشی آن، به دقت فکر کنند؛ زیرا ممکن است داده‌های خصوصی، حتی در هنگام یک جستجوی ساده، توسط کاربران، فاش شوند."
کارلینی بیان کرد:
"کلید اصلی حفاظت از نشت اطلاعات، کاهش اطلاعات ذخیره‌سازی شده، در مجموعه داده‌های مورد نیاز، برای انجام دادن یک وظیفه است."
منبع: سایبربان




نظرات شما

ارسال دیدگاه

Protected by FormShield

ساير مطالب

پول مجازی خارجی حاکمیت ملی را تصرف می کند!

موضع قوه قضائیه در فیلترینگ کسب‌وکارها کاملاً تعاملی است

آلودگی هوا به تمام اندام‌های بدن آسیب می‌زند

علل افزایش «سزارین» در کشور چیست؟

«آبمیوه» به اندازه نوشابه خطرناک است

تقلید صدای سلبریتی‌ها با هوش مصنوعی

10 باید و نباید کاربردی در فضای مجازی

سند به‌کارگیری رمزارزها در کشور تدوین می شود

جای شبکه ملی اطلاعات در ارتباطات مجازی خالی است

ویروسی واگیردار و جنون‌آمیز که آبروی افراد را نشانه می‌گیرد!

شناسایی 300 نمونه بدافزار اندرویدی

پیشتازی دختران در استفاده از شبکه‌های اجتماعی

نمک فضای مجازی بر زخم مردم سیل زده

ماجرای پشتیبانی وزارت ارتباطات از هاتگرام

تلگرام طلایی و هاتگرام مورد پشتیبانی وزارت ارتباطات و وزارت اطلاعات بودند

عملکرد وزارت ارتباطات زمینه لشکر کشی سایبری دشمن را فراهم کرده است

انتقاد تند دادستان کل به وزیر ارتباطات

میخواهند با اجرای 2030 سرباز برای غرب درست کنند

عامل تجاوز اپل و گوگل به حریم خصوصی ایرانی‌ها چیست؟

جاسوسی شبکه‌های اجتماعی از نحوه انگشت کشیدن روی گوشی!

بهره‌برداری از ظرفیت‌های جدید شبکه ملی اطلاعات

کودکان به چه قیمتی باید سرگرم شوند؟

ایران نقش مؤثری در قانونگذاری فضای مجازی ندارد

پوتین قانون قطع اینترنت روسیه از شبکه جهانی را امضا کرد

جامعه آمریکایی، معتاد به اینترنت

عواقب حذف سپرهای امنیتی برای کاربران

پوستر/ روابط واقعی را قربانی نکنید

سیستم عامل بومی آماده جایگزینی با سیستم‌های آمریکایی

«اطلاعات کاربران» هدف مشترک حملات هکری اخیر

پایان تراژیک انحصار پوسته‌های داخلی تلگرام

هرچه دشمن سخت تر بگیرد، اراده ما قوی‌تر خواهد شد

شرط مهم رونق تولید، کار جهادی و بی‌وقفه است

با عوامل نا امن کننده فضای مجازی برخورد جدی کنید

حذف هاتگرام و تلگرام طلایی توسط گوگل برای مسئولان یک زنگ خطر است

بازار فناوری اطلاعات و ارتباطات 2.5 برابر می‌شود

درگاه‌های خدمات دولت الکترونیک استان‌های کشور هک شدند

طراحی سیستم عامل بومی برای مقابله با تروریسم اقتصادی آمریکا

آنچه بر پیام‌رسان‌های داخلی و خارجی در سال 97 گذشت

فیلتر و جریمه در انتظار سایت‌های حاوی مطالب زیان‌بار

4 پرسش جدی درباره سیاست جدید ارتقای امنیت زیرساخت ارتباطات کشور

تلاش «انگلیس» برای پایان دادن به حکومت شبکه های اجتماعی

داده نما/ میزان استفاده ایرانی‌ها از شبکه‌های اجتماعی

قانون مبارزه با پولشویی در کسب‌وکارهای اینترنتی کلید خورد

سریلانکا شبکه های اجتماعی را مسدود کرد

در جلسه ترامپ و مدیران توییتر چه گذشت؟

اولین پردازنده بومی هند معرفی شد

برنامه کشورها برای مقابله با اینترنت آمریکایی

ادعای اسنودن در مورد حضور سیا در شبکه‌های اجتماعی

عوامل میزان اعتماد مخاطبان به رسانه‌های نوین و سنتی

محدودسازی اینستاگرام فعلاً در دستور نیست