r   e   k   l   a   m   a
r   e   k   l   a   m   a

Sieć neuronowa z pamięcią i uwagą – Google chwali się przełomem w dziedzinie sztucznej inteligencji

Strona główna AktualnościOPROGRAMOWANIE

Kilka dni temu informowaliśmy, że Elon Musk, jeden z czołowych przedsiębiorców Doliny Krzemowej, porównał prace nad sztuczną inteligencją do przywoływania demona – w sensie magicznej, złowrogiej istoty. Najnowsze osiągnięcie badaczy Google'a z londyńskiego zespołu DeepMind na pewno więc Muskowi nie przypadnie do gustu, stanowiąc wielki krok naprzód na drodze do przywołania tego demona. Udało się otóż wreszcie zbudować sieć neuronową z dostępem do zewnętrznych zasobów pamięci, z którymi wchodzi w interakcje poprzez proces kierowania uwagi.

Spośród podstawowych mechanizmów programów komputerowych, techniki maszynowego uczenia się wykorzystywały praktycznie tylko operacje logiczne czy arytmetyczne, pomijając logikę sterowania i zewnętrzną pamięć – przede wszystkim za sprawą upowszechnienia się sieci neuronowych. Jest to zasługą ich skuteczności rozwiązywania takich problemów jak klasyfikacja wzorców (w szczególności rozpoznawanie obrazów czy mowy), a także optymalizacji procesów, analizie danych statystycznych, interpretacji i prognozowaniu.

Formalnie dowiedziono jednak, że rekurencyjne sieci neuronowe (czyli takie, w których przepływ informacji między neuronami jest dwukierunkowy, i dane uzyskane w późniejszych etapach przetwarzania mogą zostać zwrócone wcześniejszym etapom) potrafią więcej, są kompletne w sensie Turinga. Oznacza to, że można za ich pomocą rozwiązać każdy problem obliczeniowy, jaki można rozwiązać na maszynie Turinga, czyli w praktyce każdym współczesnym komputerze cyfrowym. Od formalnego dowodu do realizacji droga jednak daleka.

r   e   k   l   a   m   a

Alex Graves, Greg Wayne i Ivo Danihelka, badacze ze startupu DeepMind, przejętego w tym roku przez Google, zdołali zwiększyć możliwości rekurencyjnej sieci neuronowej, dostarczając jej blok adresowalnej pamięci. Swoje dzieło nazwali Neuralną Maszyną Turinga (NTM), choć jak podkreślają, od strony technicznej maszyną Turinga nie jest, od początku do końca działając jako system trenowany metodą gradientu prostego.

Taka architektura ma być szczególnie sprawna w realizacji tego, co u ludzi nazywa się „pamięcią operacyjną”, czyli zdolnością do krótkoterminowego przechowywania informacji i przetwarzania jej według zadanych reguł. Reguły te można postrzegać jako proste programy, a przechowaną informację jako dane wejściowe tych programów. NTN jest z tej perspektywy realizacją systemu pamięci operacyjnej, rozwiązującego zadania wymagające zastosowania przybliżonych reguł do szybko tworzonych zmiennych. Występuje w niej proces uwagi, pozwalający na selektywne odczyty i zapisy do pamięci, który oczywiście jest podatny na trening.

Neuronowa Maszyna Turinga składa się z dwóch głównych komponentów: neuralnego kontrolera i macierzy pamięci. Kontroler wchodzi w interakcje ze światem zewnętrznym po wektorach wejścia i wyjścia, ale w przeciwieństwie do zwykłych sieci neuronowych, wchodzi też w interakcje z pamięcią poprzez selektywne operacje odczytu i zapisu, za pomocą struktur zwanych „głowicami” (jak w tradycyjnym modelu Turinga). Są one jednak rozmyte – odwrotnie proporcjonalnie do natężenia „uwagi”. Oznacza to, że im wyższy poziom „uwagi”, tym interakcja zachodzi z mniejszą porcją pamięci, z pominięciem całej reszty. Głowice mogą więc uzyskać ostry dostęp do pojedynczej lokacji pamięci, i słaby, rozmyty do wielu lokacji jednocześnie.

Przeprowadzone przez google'owych naukowców testy architektury pokazały, że prototyp NTM uczy się znacznie szybciej od zwykłych rekurencyjnych sieci neuronowych i popełnia znacznie mniej błędów. Jest w stanie uczyć się prostych algorytmów z przykładowych danych i wykorzystywać je w uogólniony sposób w dziedzinach daleko wychodzących poza reżim treningowy. Przykładowo, tam gdzie tradycyjna sieć nauczyła się kopiować sekwencje 20 elementów, dłuższe sekwencje zwracając już z błędami, NTM była w stanie bezbłędnie po tym samym treningu skopiować sekwencję 120 elementów. Badacze podkreślają, że opracowany przez ich maszynę algorytm kopiowania sekwencji w niczym nie odbiega od algorytmu, jaki przygotowałby ludzki programista – w tym wypadku Neuronowa Maszyna Turinga „wymyśliła” jak tworzyć tablice i iterować po nich.

Szczegółowe informacje o mechanizmie działania NTM znajdziecie w pracy pt. Neural Turing Machines, którą udostępniono w serwisie arXiv.org.

Za DeepMind, założony trzy lata temu startup zajmujący się badaniami nad demonami sztuczną inteligencją, Google zapłaciło w tym roku 400 mln dolarów. Zakup ten został uznany za ukoronowanie starań firmy z Mountain View w dziedzinie AI i robotyki, na które wydała już przynajmniej kilka miliardów. Jak widać, inwestycja przynosi owoce, nawet jeśli nie finansowe, to przynajmniej naukowe i techniczne.

© dobreprogramy
r   e   k   l   a   m   a
r   e   k   l   a   m   a

Komentarze

r   e   k   l   a   m   a
r   e   k   l   a   m   a
Czy wiesz, że używamy cookies (ciasteczek)? Dowiedz się więcej o celu ich używania i zmianach ustawień.
Korzystając ze strony i asystenta pobierania wyrażasz zgodę na używanie cookies, zgodnie z aktualnymi ustawieniami przeglądarki.