Sieci neuronowe, czyli machine learning, czyli deep learning, czyli... sztuczna inteligencja
Sieci neuronowe są jedną z najważniejszych i najbardziej praktycznych metod sztucznej inteligencji. To bardzo obszerna dziedzina nauki, łącząca wiele innych dyscyplin. W ostatnich latach zainteresowanie sieciami neuronowymi stale rośnie, a doniesienia prasowe mówią nam o coraz to nowszych zastosowaniach praktycznych – choć czasem nie wiemy, że właśnie o sieciach neuronowych mowa.
To tylko wstęp
W dalszej części tego artykułu opowiemy, jak uczy się sieć neuronowa, o jakich rodzajach sieci najczęściej się mówi i jakie są najczęściej używane. Sieci neuronowe i AI to tak obszerna dziedzina, że nie mamy szansy choćby wspomnieć o wielu ważnych zagadnieniach. Świadomie upraszczamy i omijamy wiele kwestii. Potraktujcie ten artykuł jako szybkie wyjaśnienie, czym i dlaczego ekscytują się producenci i użytkownicy superwydajnych maszyn obliczeniowych, oraz zachętę do lektury innych źródeł.
Trochę historii
Historia sztucznej inteligencji zaczyna się na poważnie od perceptronu, wynalazku z lat 50. ubiegłego wieku. Nazwa kojarzy się z jakimś urządzeniem, i słusznie, bo wynalazca, psycholog Frank Rosenblatt, początkowo myślał o maszynie zbudowanej na podobieństwo organizmów biologicznych i umiejącej się uczyć. Chodzi jednak o pewien algorytm, który realizowano programowo, początkowo na uniwersalnym komputerze, a potem na komputerze z wyspecjalizowanymi peryferiami. Perceptron to algorytm klasyfikujący: uczy się jakieś klasy i daje odpowiedź: czy wejściowy zestaw danych do niej należy czy nie. Pierwszy perceptron zbierał dane z 400-pikselowego sensora optycznego i stwierdzał, czy widoczna figura geometryczna odpowiada wyuczonemu wzorcowi. Perceptron jest jednym z kilku rodzajów sztucznego neuronu: urządzenia o wielu wejściach i jednym wyjściu, które daje tylko jedną odpowiedź (najczęściej tak lub nie).
Uczenie się jest podstawowym postulatem tej dziedziny nauki i techniki. Algorytm uczący się to taki, który daje użyteczny wynik bez konieczności dosłownego zaprogramowania każdego kroku. Innymi słowy, nie zostaje na początku zaprogramowany przez człowieka do konkretnego zadania – reguły postępowania wytwarzają się w toku uczenia algorytmu.
Zwykle maszyny obliczeniowe pomagają w rozwiązywaniu problemów w inny sposób: człowiek określa reguły postępowania (program), a korzyść z użycia maszyny polega wyłącznie na tym, że ta nie popełnia błędów, nie męczy się i jest szybsza niż człowiek. Ale zaprogramowany przez człowieka program może poradzić sobie wyłącznie z zadaniami, których metoda rozwiązania jest już znana.
Jest jednak wiele problemów, których nie umiemy rozwiązać. Mamy mnóstwo danych potrzebnych do ich rozwiązania, ale nie umiemy znaleźć albo precyzyjnie opisać reguł postępowania, które pozwoliłyby nam znaleźć wynik. Przykładem może być zachowanie rynku powiązanych ze sobą dóbr i instrumentów finansowych. Intuicja podpowiada, że ich dotychczasowe zachowanie ma zasadniczy wpływ na ich zachowanie w najbliższej przyszłości. Danych jest tak dużo, a zależności są tak zawiłe, że nie umiemy znaleźć wzoru pozwalającego przewidzieć przyszłość. Są też problemy, których banalności dla człowieka nie umiemy wyjaśnić, na przykład rozpoznawanie kształtów na obrazach. Potrafimy odróżnić zdjęcie kota od zdjęcia psa, ale nie znamy prostego programu, który pozwoliłby maszynie zrobić to samo.
W tych sytuacjach możemy wykorzystać sieć neuronową (SN), czyli uczący się algorytm, który metodą prób i błędów dojdzie do organizacji pozwalającej mu znaleźć odpowiedź.
Skąd nagłe zainteresowanie sieciami neuronowymi?
Nie jest ono nagłe ani nowe; nad sieciami neuronowymi pracuje się od ponad 60 lat. W okresie, w którym wynaleziono perceptron, entuzjazm dla tej techniki był bardzo duży. Spodziewano się, że w krótkim czasie zostanie opracowana bardzo zaawansowana sztuczna inteligencja, niekoniecznie świadoma, ale zdolna do wykonywania skomplikowanych zadań praktycznych. New York Times pisał, że perceptron jest zalążkiem komputera, który będzie świadomy, będzie się reprodukował, pisał i rozmawiał z ludźmi. Jeszcze przed opublikowaniem prac naukowych o perceptronie Robert Heinlein w powieści Drzwi do lata pisał o fikcyjnych „lampach pamięciowych Thorsena”, których zastosowanie pozwoliło bohaterowi powieści zbudować automat zapamiętujący czynności gospodyni domowej i zdolny je powtórzyć w innych warunkach. Ekscytacja przewidywanymi możliwościami sieci neuronowych zwiększyła oczekiwania biznesmenów, futurystów i naukowców.
Szybko się jednak okazało, że zrobienie czegokolwiek bardziej skomplikowanego niż odróżnienie trójkąta od kwadratu przerasta możliwości perceptronu. W 1969 roku Marvin Minsky (współzałożyciel uniwersytetu MIT i znany badacz SI) wraz z współpracownikiem opisali ograniczenia prostych perceptronów i podobnych algorytmów. Rozczarowanie powolnym postępem, brak komercyjnych zastosowań i odkrycie ograniczeń tych algorytmów spowodowało tak zwaną zimę SI: przez kilkanaście kolejnych lat zainteresowanie tą dziedziną było niewielkie, pieniądze na dalsze badania niechętnie przyznawano, a wielu badaczy zajęło się innymi zagadnieniami.
Trzeba było czasu i kolejnych pomysłów, żeby wróciło zainteresowanie sieciami neuronowymi. Podstawowym przełomem było zastosowanie kilku warstw sztucznych neuronów, które podają sobie dalej cząstkowe wyniki przed otrzymaniem końcowej odpowiedzi. Drugą zasadniczą zmianą był rozwój komputerów, których moc obliczeniowa wzrosła na tyle, że można łatwo zasymulować wiele sztucznych neuronów.
Wreszcie trzecim czynnikiem napędzającym ostatnio rozwój sieci neuronowych jest rosnący popyt na analizę danych. Mamy dziś mnóstwo danych na temat dynamiki internetu, zachowań konsumentów, mnóstwo sensorów digitalizujących jakieś części środowiska. Znalezienie w tym ogromie danych prawidłowości lub wykrycie trendów przerasta możliwości całej armii ludzi. Nawet proste „rzucenie okiem” na te wielkie zbiory danych obiecuje wielu branżom biznesu wielkie korzyści, a skoro komputery są stosunkowo tanie, to dlatego nie wykorzystać do tego sztucznej inteligencji? Wśród najgłośniejszych zastosowań SN jest szybka i dokładna analiza obrazów, która pozwala między innymi na zbudowanie samoprowadzących się samochodów.
Terminologia
Zima SI nie pozostała bez konsekwencji. Dziś rzadko mówi się o sieciach neuronowych i sztucznej inteligencji: oba te terminy są źle postrzegane, szczególnie w środowiskach biznesowych. Żeby zaproponować coś nowego i zbudować na nowo ekscytację SI, używa się innych terminów, pod którymi kryje się to samo (sieci neuronowe lub ich konkretny rodzaj): machine learning (uczenie się maszyn), deep learning (głębokie uczenie) i inne.
Co to jest sieć neuronowa?
Wspomniany perceptron jest najprostszą siecią neuronową, złożoną z jednego sztucznego neuronu. Perceptron ma kilka wejść, do których przypisane są wagi, określające, jak duży wpływ ma wielkość z danego wejścia na wynik. Zestaw danych ze wszystkich wejść jest podstawiany do pewnego wzoru określonego przez programistę – w oryginalnym perceptronie było to dodawanie. Jeśli suma wszystkich wejść (z uwzględnieniem wag) przekroczy określony z góry próg, perceptron da odpowiedź pozytywną (logiczne 1), a jeśli nie – negatywną (logiczne 0). Łatwo zauważyć, że taki układ jest niewiele lepszy od zwykłych bramek logicznych. Dziś stosuje się inny rodzaj sztucznych neuronów, które dają odpowiedź w formie liczby rzeczywistej, czyli nie tylko 0 lub 1, ale dowolną liczbę pomiędzy.
Sieć neuronowa uczy się na przykładach: trzeba jej przedstawić jakąś liczbę już rozwiązanych przykładów. Tok uczenia sieci można zacząć od przypisania równych lub losowych wag każdemu wejściu. Sprawdzamy, czy odpowiedź sieci jest zgodna z pożądanym wynikiem, a następnie zmieniamy wagi tak, żeby wynik zbliżał się do pożądanej odpowiedzi. We wspomnianym pierwszym perceptronie z lat 50. XX wieku do regulacji wag służyły potencjometry, początkowo regulowane ręcznie. Mechanizm regulacji wag jest też jednak częścią sieci neuronowej, tak zwaną regułą uczenia, i działa automatycznie. Perceptron jako neuron jest trudny w uczeniu, bo zmiany wielkości wejściowych lub wag mają skutek albo całkowity, albo zerowy – nie można obserwować, jak drobne zmiany przybliżają odpowiedź sieci do pożądanego wyniku.
Jeden sztuczny neuron ma mizerne możliwości rozwiązywania problemów. Wiele neuronów można połączyć w warstwy, gdzie jedna warstwa przekazuje wyniki kolejnej, aż do najwyższej warstwy, dającej odpowiedź.
Na powyższym diagramie zielone neurony stanowią warstwę wejściową, niebieskie – warstwę ukrytą, a żółty – warstwę wyjściową. Warstw ukrytych może być wiele; w uproszczeniu można przyjąć, że im więcej sieć ma warstw, tym głębsze zależności może znaleźć w danych wejściowych. Nie jest to jednak ścisłą zasadą i zależy również od reguł uczenia.
Najprostsze sieci neuronowe podają informacje tylko w jednym kierunku – każdy neuron reaguje na jeden zestaw danych wejściowych tylko raz. Bardziej złożone sieci są rekurencyjne, co znaczy, że dane wychodzące z którejś z ukrytych warstw są podawane do jednej z poprzednich warstw. Sprzężenie zwrotne powoduje, że sieć po jakimś czasie osiąga stan równowagi i „decyduje się” na konkretną odpowiedź.
Jak maszyna się uczy?
Uczenie się kojarzy się z procesem i zmianami, a algorytm – z czymś określonym z góry i niezmiennym. Jak zatem uczy się sieć neuronowa i gdzie zapamiętuje to, czego się nauczyła?
Struktura sieci (połączenia między neuronami) oraz mechanizm działania każdego neuronu (wzór, do którego podstawia się wielkości wejściowe) zwykle są określone z góry. Podstawową pamięcią sieci jest zestaw wag, parametrów określających stopień wpływu poszczególnych wejść na wynik danego neuronu. Sieci zazwyczaj mają dwa wykluczające się tryby pracy: tryb uczenia i tryb działania. W tym drugim nie zmieniają już wagi połączeń między neuronami; sieć daje tylko odpowiedzi, ale nie uczy się na każdym kolejnym przedstawionym przykładzie.
Proces uczenia może być nadzorowany przez człowieka, jeśli problem do rozwiązania jest w jakimś stopniu zrozumiały i spodziewamy się, jakie powinny być pośrednie kroki prowadzące do rozwiązania. Określa się wtedy, jakich cech sieć ma poszukiwać w zestawie danych wejściowych. Na przykład przy rozpoznawaniu twarzy na obrazach sieci neuronowe trenuje się tak, żeby wcześnie wykrywały obszary o dużym kontraście, zwykle oznaczające obraz nosa i oczu.
Kiedy problem jest zbyt skomplikowany albo określone przez ludzi cechy prowadzą do niesatysfakcjonującego rozwiązania, można używać nienadzorowanego uczenia. Sieć ucząca się w taki sposób musi być odpowiednio złożona, wielowarstwowa, żeby mogła wykrywać w danych wejściowych abstrakcje wyższego rzędu. Ponieważ sieci uczone bez nadzoru nie dążą do zadanego wyniku, mają potencjał wykrywania prawidłowości i zależności, o których wcześniej nie wiedzieliśmy. To powoduje, że są użyteczne do analizy zjawisk, których model jest niedokładny albo niekompletny – a to można powiedzieć prawie o wszystkich zjawiskach społecznych albo finansowych.
Klasyfikacja sieci neuronowych
Powiedzieliśmy, że sieci neuronowe mogą mieć różną organizację (topologię), różne metody działania i różne metody uczenia. Zwykle dzieli się je pod tymi trzema względami:
- topologia – począwszy od prostych sieci z małą liczbą warstw przekazujących informacje w jednym kierunku aż do wielowarstwowych sieci ze sprzężeniem zwrotnym. Sieć szersza (z większą liczbą neuronów w warstwie wejściowej) może obserwować więcej danych. Głębsza sieć (z większą liczbą warstw) ma większy potencjał wykrywania wysokopoziomowych zależności i abstrakcji w danych wejściowych.
- metody działania – sieci mogą mieć różny stopień wewnętrznej dynamiki, czyli przekazywania danych pomiędzy warstwami ukrytymi i stopniowego dochodzenia do wyniku. Wielopoziomowe sieci rekurencyjne mają „dłuższą pamięć” – jeden zestaw danych może przechodzić tok wyuczonego postępowania w bardzo wielu etapach, a pośrednie wnioski można odnosić do siebie nawzajem.
- metody uczenia – sieci mogą być uczone pod nadzorem (dążyć do zadanego wyniku) lub bez nadzoru (dążyć do wykrycia nieznanych zależności). Oprócz tego różnią się tym, czy w trakcie uczenia sieci była wykorzystywana rekurencja, jak długo sieć dążyła do optymalnego wyniku albo jak bardzo jest dopasowana do konkretnego zestawu danych wejściowych.
Machine learning – zastosowania praktyczne
Sieci neuronowe budzące dziś największą fascynację inżynierów i statystyków są wielowarstwowe, wykorzystują różne kombinacje topologii i łączą segmenty uczone pod nadzorem z uczonymi bez nadzoru. Proste sieci są wykorzystywane od dziesiątków lat na przykład do rozpoznawania pisma odręcznego w bankach i na pocztach i rozwiązywania innych problemów tam, gdzie nie są potrzebne gigantyczne zbiory danych ani wysokie poziomy abstrakcji. W tym i podobnych zastosowaniach sieć uczy się tylko raz: duża moc obliczeniowa jest potrzebna jedynie do uczenia, do „codziennej pracy” sieci wystarczają już znacznie prostsze komputery.
Ekscytację w mediach i biznesie budzą głównie najbardziej złożone sieci, występujące pod wspomnianymi na pierwszej stronie sloganami deep learning, machine learning, convolutional networks. Rozwój niejako sam się ukierunkował na ten rodzaj sieci: ich koncept nie jest niczym nowym, ale dostępność komputerów o mocy obliczeniowej dość dużej, żeby je skutecznie zasymulować, dopiero teraz pozwala prowadzić badania w tym kierunku i wykorzystać głębokie sieci w praktyce.
Wśród najistotniejszych praktycznych, nie badawczych zastosowań głębokich sieci jest rozpoznawanie obrazów. Możliwość odróżniania przedstawionych osób niezależnie od pozycji kamery i warunków oświetleniowych jest atrakcyjna dla organizacji zajmujących się bezpieczeństwem. Rozpoznawanie elementów otoczenia i ruchomych obiektów jest kluczowym wynalazkiem umożliwiającym budowanie samoprowadzących się samochodów. Głębokie sieci są już w większości przypadków lepsze od człowieka w rozpoznawaniu obrazów – oczywiście, o ile widziały coś podobnego wcześniej.
Doskonałym przykładem różnicy między ręcznie zaprogramowanymi algorytmami a samouczącymi się są komputerowe gry w szachy i go. Najlepsze programy szachowe nie wykorzystują samouczących się algorytmów: problem gry w szachy jest tak dobrze poznany i zanalizowany, że ręczne programowanie reguł podejmowania decyzji w połączeniu z „siłowym” sprawdzaniem możliwych pozycji na wiele ruchów do przodu skutkuje najsilniejszą grą komputera. Najlepsza grająca w szachy sieć neuronowa gra na poziomie około 2400 Elo, podczas gdy najlepsi gracze przekraczają 2800 Elo, a najlepsze tradycyjne programy szachowe wygrywają z ludźmi bez problemu.
W go jest znacznie więcej możliwych pozycji niż w szachach i przeszukiwanie wszystkich potencjalnych ruchów w poszukiwaniu najlepszego jest zupełnie niepraktyczne w przypadku dzisiejszych komputerów. Również liczba wyborów strategicznych, jakie mogą w odległych ruchach dać korzyść, jest znacznie większa i trudno stworzyć praktyczny katalog gambitów. Pierwszym algorytmem komputerowym, który odniósł sukces w go, jest AlphaGo, sieć neuronowa stworzona przez Google, która po nauczeniu na przykładzie dziesiątek milionów gier między ludźmi (uczenie nadzorowane), a następnie milionów gier przeciwko sobie samej (uczenie nienadzorowane) wygrała z najlepszymi graczami go na świecie. Zamiast przeszukiwać wszystkie możliwe kolejne ruchy, AlphaGo sprawdza tylko te potencjalnie korzystne – ale wyuczone reguły decydują o tym, co jest potencjalnie korzystne, lepiej niż najlepsze ręcznie sformułowane zasady. Choć wyuczona sieć grała z użyciem typowego komputera z wielordzeniowym procesorem, sam proces uczenia wymagał zaangażowania serwerów obliczeniowych chmury Google.
Ograniczenia i problemy praktyczne
Sieci neuronowe wymagają niesłychanej mocy obliczeniowej: symulacja sztucznych neuronów odbywa się całkowicie programowo. Do tego apetyt tej branży na pamięć i moc obliczeniową wydaje się niewyczerpalny. Budowanie coraz bardziej złożonych sieci i uczenie ich na coraz większych zestawach danych w nadziei, że odkryją prawidłowości, które umknęły ludzkim obserwatorom, jest bardzo kuszącą perspektywą. Do symulowania sieci neuronowych zwykle wykorzystuje się dziś procesory graficzne (GPU) lub podobne (takie jak Xeon Phi). Jednak nie każdy akcelerator nadaje się dobrze do takich obliczeń; programowa symulacja neuronów jest też dość nieudolnym naśladowaniem sposobu działania biologicznego mózgu.
Wyjąwszy problemy techniczne sieci neuronowe mają wiele ograniczeń wynikających z ich natury. Zasadniczym jest ich statystyczne podejście – duża dokładność wymaga dużego zestawu przykładów do uczenia, a nauczona sieć nie poradzi sobie z efektami, które nie wystąpiły w tych przykładach. Również zawoalowana natura pracy sieci neuronowych rozczarowuje wielu naukowców, którzy chcieliby nie tylko otrzymać użyteczny rezultat, ale przede wszystkim dowiedzieć się, jak go otrzymano.
Wykorzystaniem GPU oraz ograniczeniami technicznymi i naukowymi sieci neuronowych i sztucznej inteligencji w ogóle zajmiemy się w drugiej części tego artykułu. Nie regulujcie odbiorników!