r   e   k   l   a   m   a
r   e   k   l   a   m   a

PathNet: Google pokazało, jak będzie działać ogólna sztuczna inteligencja

Strona główna AktualnościSPRZĘT

Marvin Minsky, pionier sztucznej inteligencji, zmarł w zeszłym roku. Nie zobaczył więc tego, o czym marzył całe życie – ogólnej sztucznej inteligencji, takiej, która jest w stanie przenosić wyuczone umiejętności na inne dziedziny. Pierwszy realny krok w stronę powstania takiej właśnie sztucznej inteligencji przedstawia dziś zespół Google Deep Mind. W artykule pt. PathNet: Evolution Channels Gradient Descent in Super Neural Networks opisane zostało działanie sieci utworzonej z sieci neuronowych, która jest w stanie transferować wyuczoną wiedzę.

Transfer umiejętności, czy też zjawisko przenoszenia wprawy, stanowi jedno z największych wyzwań dla AI. Chodzi o to, by sztuczna inteligencja ucząc się różnych dziedzin była w stanie wykorzystać swoją dotychczas wyuczoną wiedzę w zupełnie nowych dziedzinach. Zakłada się, że będzie wówczas spisywała się lepiej, niż zupełnie nowa sieć neuronowa.

Należący do Google’a startup DeepMind wsławił się już znaczącymi osiągnięciami. To jego badacze stworzyli sieć neuronową z pamięcią i uwagą, to oni stworzyli pierwsze generalizujące AI, uogólniające wyuczone aktywności, oni też przygotowali AlphaGo, pierwsze AI, które pokonało najlepszego ludzkiego gracza go. Teraz demonstrują PathNet, sieć sieci neuronowych, która grając w jedną prostą grę na Atari, staje się coraz lepsza w innych grach.

r   e   k   l   a   m   a

W skład PathNetu wchodzą różne sieci neuronowe – czy to jednokierunkowe, rekurencyjne, czy splotowe (konwolucyjne), trenowane zarówno metodą stochastycznego gradientu jak i genetycznej selekcji. Ułożone są one w warstwy modułów, a w tych modułach osadzone są agenty, których zadaniem jest odkrywanie, które części sieci można wykorzystać do nowych zadań. Są to ścieżki przez sieć, określające podzbiór parametrów wykorzystywanych i przekazywanych przez algorytm wstecznej propagacji.

Podczas uczenia się, algorytm genetyczny selekcji turniejowej wybiera ścieżki do replikacji i mutacji, uwzględniając ich genetyczne fitness – mierzoną wydajność ścieżki. I jak wykazują autorzy pracy, ustalenie parametrów wzdłuż ścieżki wyuczonej dla zadania A i wyewoluowanie z nich ścieżek dla zadania B pozwoliło wyuczyć się zadania B znacznie szybciej, niż robiła to sieć ucząca się od podstaw.

Jak działa takie szkolenie i transfer umiejętności? Mamy określoną liczbę warstw i modułów – zaprezentowany przez badaczy przykład to układ 3×3. Po zdefiniowaniu tych modułów w sieci generowana jest określona liczba poddanych genetycznej selekcji ścieżek w sieci. Następnie wyzwalane są zadania (workers), używające asynchronicznego algorytmu Advantage Actor-Critic (A3C) do oceny każdej ścieżki – po wiele takich zadań na każdą.

Po określonej liczbie iteracji zadanie wybiera sobie ścieżki do porównania – i jeśli znajdzie ścieżkę o wyższym fitness, to przyjmuje ją do dalszego szkolenia. Jeśli nie, to dalej poszukuje ścieżek do porównania. Proces szkolenia ścieżki przeprowadzany jest metodą gradientu stochastycznego ze wsteczną propagacją po jednej ścieżce naraz. Po wyuczeniu się zadania, sieć ustawia sobie parametry optymalnej ścieżki, nie modyfikując optymalnych ścieżek wyuczonych dla poprzednich zadań.

Z przedstawionych przykładów dla zestawu gier Atari możemy zobaczyć, że nie dla każdej pary gier transfer umiejętności zadziałał, ale tak, gdzie się udało, wyniki są świetne. W parze Robotank – Riverraid osiągnięto niemal siedmiokrotne przyspieszenie względem świeżej sieci. Zdaniem autorów, przeniesienie tych metod na znacznie większe sieci, wykorzystywane w zadaniach w świecie rzeczywistym (np. sterowaniu ruchem robotów), przyniesie jeszcze lepsze efekty.

Warto zauważyć, że to co prezentuje PathNet dawno temu stworzyła już ewolucja biologiczna – chodzi o takie specyficzne podkorowe struktury anatomiczne u ssaków, jądra podstawne. To skupiska ciał komórek nerwowych bez wypustek, które wysyłają projekcje do kory, wzgórza i pnia mózgu. Neurobiolodzy uważają, że odgrywają one kluczową rolę w procesach uczenia się, przetwarzaniu emocji i kontroli ruchowej organizmów. W pewnym sensie można więc powiedzieć, że zespół Google’a krok po kroku tworzy sztuczny odpowiednik zaawansowanego organicznego mózgu, przewyższający jednak ten organiczny szybkością, skalowalnością i łatwością replikacji.

Cały artykuł badaczy z DeepMind dostępny jest za darmo na arXiv.org

.
© dobreprogramy
r   e   k   l   a   m   a
r   e   k   l   a   m   a

Komentarze

r   e   k   l   a   m   a
r   e   k   l   a   m   a
Czy wiesz, że używamy cookies (ciasteczek)? Dowiedz się więcej o celu ich używania i zmianach ustawień.
Korzystając ze strony i asystenta pobierania wyrażasz zgodę na używanie cookies, zgodnie z aktualnymi ustawieniami przeglądarki.   

Trwa konkurs "Ogól naczelnego", w którym codziennie możecie wygrać najnowsze maszynki systemowe Hydro Connect 5 marki Wilkinson Sword.

Więcej informacji

Gratulacje!

znalezione maszynki:

Twój czas:

Ogól Naczelnego!
Znalazłeś(aś) 10 maszynek Wilkinson Sword
oraz ogoliłaś naszego naczelnego!
Przejdź do rankingu
Podpowiedź: Przyciśnij lewy przycisk myszki i poruszaj nią, aby ogolić brodę.