{"id":11350,"date":"2018-09-19T12:47:02","date_gmt":"2018-09-19T10:47:02","guid":{"rendered":"http:\/\/drozdowski.org\/?p=11350"},"modified":"2018-09-19T12:47:02","modified_gmt":"2018-09-19T10:47:02","slug":"hakerzy-moga-latwo-oszukac-systemy-sztucznej-inteligencji","status":"publish","type":"post","link":"https:\/\/drozdowski.org\/?p=11350","title":{"rendered":"Hakerzy mog\u0105 \u0142atwo oszuka\u0107 systemy sztucznej inteligencji"},"content":{"rendered":"<p>W ubieg\u0142ym tygodniu podczas International Conference on Machine Learning (ICML) grupa naukowc\u00f3w pokaza\u0142a \u017c\u00f3\u0142wia wydrukowanego technik\u0105 3D. Dla ludzi \u017c\u00f3\u0142w wygl\u0105da\u0142 niemal jak \u017cywy. Jednak algorytmy sztucznej inteligencji rozpozna\u0142y w obiekcie&#8230; <strong>strzelb\u0119<\/strong>. W innym przypadku kij baseballowy wykonany technik\u0105 druku 3D zosta\u0142 przez SI uznany za&#8230; fili\u017cank\u0119 espresso.<\/p>\n<p><!--more--><\/p>\n<p>Na naszych oczach sztuczna inteligencja, systemy maszynowego uczenia si\u0119, czyni\u0105 tak wielkie post\u0119py, \u017ce coraz cz\u0119\u015bciej podnosz\u0105 si\u0119 g\u0142osy zaniepokojenia, ostrzegaj\u0105ce nas przed zbytnim rozwijaniem inteligencji maszyn. Jednak, jak si\u0119 okazuje, systemy SI s\u0105 zdumiewaj\u0105co podatne na ataki. A w ostatnim czasie eksperci coraz cz\u0119\u015bciej prezentuj\u0105 nam przyk\u0142ady takich atak\u00f3w. <em>My, kt\u00f3rzy pracujemy nad maszynowym uczeniem si\u0119 nie jeste\u015bmy przyzwyczajeni, by my\u015ble\u0107 o bezpiecze\u0144stwie naszych system\u00f3w<\/em>, m\u00f3wi jeden z tw\u00f3rc\u00f3w \u017c\u00f3\u0142wia 3D i bada\u0144 nad atakiem na AI, Anish Athalye z MIT.<\/p>\n<p>Specjali\u015bci zajmuj\u0105cy si\u0119 sztuczn\u0105 inteligencj\u0105 m\u00f3wi\u0105, \u017ce przeprowadzenie takich atak\u00f3w jest bardzo u\u017cyteczne z naukowego punku widzenia. Pozwalaj\u0105 one bowiem analizowa\u0107 spos\u00f3b dzia\u0142ania sieci neuronowych, kt\u00f3re obecnie nie s\u0105 dobrze rozumiane. Ataki to <em>wspania\u0142e szk\u0142o powi\u0119kszaj\u0105ce, przez kt\u00f3re mo\u017cemy lepiej zrozumie\u0107 to, co nazywamy maszynowym uczeniem<\/em>, m\u00f3wi Dawn Song z Uniwersytetu Kalifornijskiego w Berkeley.<\/p>\n<p>W ubieg\u0142ym roku Song i jej koledzy umie\u015bcili na standardowym znaku drogowym \u201eSTOP\u201d kilka naklejek, kt\u00f3re spowodowa\u0142y, \u017ce system SI uzna\u0142 znak za&#8230; ograniczenie pr\u0119dko\u015bci do 45 mil na godzin\u0119. Nietrudno wyobrazi\u0107 sobie konsekwencje takiego ataku na samoch\u00f3d autonomiczny.<\/p>\n<p>Ataki mo\u017cna podzieli\u0107 na takie, w kt\u00f3rych napastnik ma wiedz\u0119 o algorytmach wykorzystywanych przez system i na takie, w kt\u00f3rych algorytm\u00f3w tych nie zna. W pierwszym przypadku mo\u017ce obliczy\u0107, w jaki spos\u00f3b nale\u017cy zmieni\u0107 dane wej\u015bciowe do systemu wykorzystuj\u0105cego dane algorytmy, by otrzyma\u0107 po\u017c\u0105dane dane wyj\u015bciowe. W ten spos\u00f3b mo\u017cna np. manipulowa\u0107 obrazem tak, by dla cz\u0142owieka nie wygl\u0105dal on na zmanipulowany, ale by sztuczna inteligencja \u017ale go rozpozna\u0142a.<\/p>\n<p>Bardziej wymagaj\u0105ce s\u0105 ataki, gdy nie znamy algorytm\u00f3w. W\u00f3wczas napastnik zna tylko danej wej\u015bciowe i wyj\u015bciowe. Przeprowadzenie takiego ataku jest trudne, ale nie niemo\u017cliwe. Podczas ostatniego ICML Athalye i jego zesp\u00f3\u0142 zaprezentowali tego typu atak przeciwko us\u0142udze Google Cloud Vision. W spos\u00f3b niewidoczny dla cz\u0142owieka zmienili oni zdj\u0119cie przedstawiaj\u0105ce dw\u00f3ch narciarzy tak, \u017ce system Google&#8217;a uzna\u0142 je za zdj\u0119cie psa.<\/p>\n<p>Jednym ze sposob\u00f3w na uchronienie si\u0119 przed tego typu atakami jest stworzenie formu\u0142y, pozwalaj\u0105cej algorytmom SI zweryfikowa\u0107, czy dobrze rozpozna\u0142y dany obiekt. <em>Je\u015bli mo\u017cesz przeprowadzi\u0107 weryfikacj\u0119, oznacza to koniec zabawy dla napastnik\u00f3w<\/em>, m\u00f3wi Pushmeet Kohli z DeepMind. Podczas ICML zaprezentowano nawet dwa takie algorytmy weryfikuj\u0105ce. Problem w tym, \u017ce obecnie nie da si\u0119 ich skalowa\u0107 na du\u017ce sieci neuronowe wsp\u00f3\u0142czesnych SI. Co prawda Kohli twierdzi, \u017ce w przysz\u0142o\u015bci si\u0119 to uda, jednak Song uwa\u017ca, \u017ce w \u015bwiecie praktycznych zastosowa\u0144 b\u0119d\u0105 one mia\u0142y powa\u017cne ograniczenia. <em>Nie istnieje matematyczna definicja tego, kim jest pieszy. Czy mo\u017cemy wi\u0119c udowodni\u0107, \u017ce autonomiczny samoch\u00f3d w \u017cadnym przypadku nie uderzy w pieszego? Nie mo\u017cemy<\/em>, stwierdza uczona.<\/p>\n<div class=\"article-footer\">\n<p class=\"author\">Autor: <strong>Mariusz B\u0142o\u0144ski<\/strong><\/p>\n<p>\u0179r\u00f3d\u0142o: <a href=\"http:\/\/kopalniawiedzy.pl\" target=\"_blank\" rel=\"noopener\">kopalniawiedzy.pl<\/a><\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"<p>W ubieg\u0142ym tygodniu podczas International Conference on Machine Learning (ICML) grupa naukowc\u00f3w pokaza\u0142a \u017c\u00f3\u0142wia wydrukowanego technik\u0105 3D. Dla ludzi \u017c\u00f3\u0142w wygl\u0105da\u0142 niemal jak \u017cywy. Jednak algorytmy sztucznej inteligencji rozpozna\u0142y w obiekcie&#8230; strzelb\u0119. W innym przypadku kij baseballowy wykonany technik\u0105 druku 3D zosta\u0142 przez SI uznany za&#8230; fili\u017cank\u0119 espresso.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_themeisle_gutenberg_block_has_review":false,"footnotes":""},"categories":[65],"tags":[90],"class_list":["post-11350","post","type-post","status-publish","format-standard","hentry","category-bezpieczenstwo-it","tag-hakerzy"],"_links":{"self":[{"href":"https:\/\/drozdowski.org\/index.php?rest_route=\/wp\/v2\/posts\/11350","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/drozdowski.org\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/drozdowski.org\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/drozdowski.org\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/drozdowski.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=11350"}],"version-history":[{"count":1,"href":"https:\/\/drozdowski.org\/index.php?rest_route=\/wp\/v2\/posts\/11350\/revisions"}],"predecessor-version":[{"id":11351,"href":"https:\/\/drozdowski.org\/index.php?rest_route=\/wp\/v2\/posts\/11350\/revisions\/11351"}],"wp:attachment":[{"href":"https:\/\/drozdowski.org\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=11350"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/drozdowski.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=11350"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/drozdowski.org\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=11350"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}