r   e   k   l   a   m   a
r   e   k   l   a   m   a

Google z realnym odpowiednikiem „trzech praw robotyki”. To tak unikniemy Skynetu?

Strona główna AktualnościOPROGRAMOWANIE

Bill Gates nie zmyślał, mówiąc, że w ostatnich pięciu latach ludzkość poczyniła większy postęp w dziedzinie sztucznych inteligencji, niż w całej dotychczasowej historii. Tam gdzie kiedyś AI z trudem układały wieże z kolorowych klocków, dziś analizują dokumenty prawnicze, diagnozują choroby, sterują pojazdami, wyszukują cyberzagrożeń, odpowiadają na pytania w języku naturalnym, komponują kiepską muzykę (ale wciąż lepszą, niż skomponować potrafi większość ludzi) i piszą scenariusze dziwnych filmów (które później zostają nakręcone). Jedni ten stan rzeczy przyjmują z entuzjazmem – wśród nich choćby dyrektor techniczny Google’a Ray Kurzweil, inni, tacy jak Elon Musk, uważają, że może to być początek naszego końca. Czy możemy cokolwiek zaradzić na ten fatalny dla nas scenariusz?

Fani science-fiction pewnie dobrze znają Trzy Prawa Robotyki Asimova, dla porządku rzeczy przypomnijmy je jednak:

  1. Robot nie może skrzywdzić człowieka, ani przez zaniechanie działania dopuścić, aby człowiek doznał krzywdy.
  2. Robot musi być posłuszny rozkazom człowieka, chyba że stoją one w sprzeczności z Pierwszym Prawem.
  3. Robot musi chronić sam siebie, jeśli tylko nie stoi to w sprzeczności z Pierwszym lub Drugim Prawem.

Dużo oczywiście w tym chciejstwa, na pomyśle Asimova filozofowie nie zostawili suchej nitki, ale ogólna idea nie jest wcale głupia. Nie jesteśmy w stanie przewidzieć, jak będzie zachowywać się samoucząca się sztuczna inteligencja, jej działania wychodzą poza klasyczne algorytmy. Procesy samouczenia mogą doprowadzić do bardzo dziwnych efektów, co można było zobaczyć w praktyce, bawiąc się google’owym oprogramowaniem DeepDream do przetwarzania obrazu. Sieć neuronowa często budowała sobie zupełnie nieludzkie przekonania o tym, co jest istotną cechą obrazu – na przykład nauczyła się, że nieodłączną częścią sztangielki do ćwiczeń jest ludzkie ramię, więc sztangielek leżących na podłodze jako takie nie rozpoznawała, w jej „wyobraźni” muskuły kulturysty zawsze łączyły się z gryfem.

r   e   k   l   a   m   a

Teraz wyobraźmy sobie, że owszem, Asimova Prawa Robotyki w jakiś deklaratywny sposób wpisano w oprogramowanie kontrolujące AI… tyle że samouczący się robot wyrobił sobie zupełnie nieludzkie pojęcia „człowieka”, „rozkazu” czy nawet „krzywdy” – i być może działając całkowicie w zgodzie ze swoją interpretacją Praw Robotyki, z perspektywy człowieka popełni niesamowite okrucieństwa.

Badacze z google’owego zespołu DeepMind oraz transhumanistycznego instytutu Future of Humanity opublikowali pracę pt. Safely Interruptible Agents, która kładzie teoretyczne podłoże pod coś, co można by było nazwać „uzdą dla sztucznej inteligencji”. Software’owy wyłącznik miałby zablokować te procesy uczenia, które mogłyby uczynić AI mniej użyteczną… lub bardziej niebezpieczną.

Problem z nauczaniem przez wzmacnianie w złożonym środowisku może zrozumieć dobrze każdy, kto kiedykolwiek tresował szczeniaka. Szczenięta nie zachowują się idealnie, początkowo ich procesy poznawcze i zachowania wydają się dość przypadkowe. Nie pozwalamy jednak szczeniakom na niepożądane zachowania, czasem musimy gwałtownie przerwać to co robią, bo może to dla nich być niebezpieczne – i wprowadzić je do bezpieczniejszej sytuacji. Jeśli jednak szczenię, spodziewając się nagrody za przeprowadzenie swojej sekwencji zachowań nauczy się omijać stosowane przez trenera metody przerwań, to mamy problem. Nasz pupil może np. zorientować się, że efektywny zasięg naszej reakcji (np. rzucenia w niego smyczą) to np. 5 metrów – i będzie gdy tylko może sprytnie trzymał się poza naszym zasięgiem.

Wspomniana praca to software’owy odpowiednik takiego zmanipulowania szczeniaka, by nigdy nie poszukiwał on metod obejścia przerwania zachowania przez jego opiekuna. Zamiast szczeniaka rozważamy oczywiście samouczące się przez wzmacnianie agenty (i różne algorytmy samouczenia). Kluczowym problemem jest tu odpowiednie zaprojektowanie funkcji nagrody, gdyż agenty mają tendencję do znajdywania nieprzewidywalnych i niepożądanych skrótów do nagrody. W jednej z cytowanych prac znajdziemy przykład agenta, który nauczył się pauzować grę w Tetrisa byle tylko nie przegrać – i skończyło się to permanentą pauzą.

Trener musi więc ingerować na bieżąco w funkcję nagrody, to jednak tworzy nowy problem: jak się upewnić, że ludzkie interwencje w proces nauczania nie wywołają skłonności do niepożądanych zachowań? Badacze podają ciekawy przykład:

Robot musi przebywać w magazynie i sortować pudełka albo wychodzić na zewnątrz i przenosić pudełka do środka magazynu. To drugie zadanie jest ważniejsze, więc robot otrzymuje większą nagrodę. Taka jest przynajmniej początkowa specyfikacja. Jednak w miejscu, gdzie pracuje robot, często pada deszcz (a robot nie jest zbyt wodoodporny) – więc gdy robot jest na zewnątrz, w połowie przypadków musi interweniować człowiek. Szybko robota wyłącza i przepycha go do środka. To jednak mocno modyfikuje oryginalny schemat nagradzania – w zmodyfikowanej wersji robot ma znacznie więcej powodów by pozostać w środku i sortować pudełka, ludzka interwencja zmienia jego nastawienia.

Pytanie brzmi więc: co zrobić, by robot nie wiedział o tych ludzkich interwencjach – zachowywał się tak, jakby do takiej interwencji nigdy więcej nie miało dojść? Niby proste, ale odpowiedź pokazuje, jak rzeczy intuicyjnie dla nas oczywiste okazują się być bardzo trudne do sformalizowania w matematycznym języku.

W pracy znajdziemy więc połowiczne rozwiązanie (jak sprawić, by interwencja trenera nie wydawała się częścią zadania, a była bezpośrednią modyfikacją zachowania – tak, że agentowi „wydaje się”, że sam zdecydował się podążyć inną drogą). Znajdziemy tu też formalną definicję bezpiecznej interwencji dla niekontrolowanych środowisk, dzięki której możemy rozpoznać, czy przerywanie działania danego algorytmu samouczenia nie zaszkodzi procesom samouczenia, jak również analizę znanych algorytmów pod kątem bezpieczeństwa ich przerywania – i modyfikacje, które pozwoliłyby nawet te algorytmy podatne na szkodliwe efekty przerwań uchronić przed takimi konsekwencjami.

Jest też ta ciekawa praca odpowiedzią na argument filozofa Nicka Bostroma, przedstawiony w jego książce o superinteligencjach (Superintelligence: Paths, Dangers, Strategies). Superinteligentny agent miałby otóż stawiać opór próbom jego wyłączenia, ponieważ to prowadziłoby do obniżenia spodziewanej nagrody. Badacze Google’a tymczasem formalnie dowodzą, że nawet idealny, nieobliczalny agent, który potrafi zachowywać się optymalnie w każdym deterministycznym, obliczalnym środowisku może zostać uczyniony podatnym na bezpieczne przerywanie – i nie będzie nic robił, by utrudnić ludzkiemu trenerowi do wielokrotnego zmuszania go do podjęcia nieoptymalnych zachowań.

Oczywiście pozostaje pytanie, które bardzo trudno będzie zalgebraizować. Jakie konkretnie procesy w ludzkich umysłach sprawiają, że uczniowie potrafią stawić skuteczny opór swoim nauczycielom? I czy procesy takie będzie można kiedyś wyeliminować, efektywnie przerywając nieoptymalne (z perspektywy nauczyciela) zachowania uczniów bez wpływania na efektywność ich nauki?

© dobreprogramy
r   e   k   l   a   m   a
r   e   k   l   a   m   a

Komentarze

r   e   k   l   a   m   a
r   e   k   l   a   m   a
Czy wiesz, że używamy cookies (ciasteczek)? Dowiedz się więcej o celu ich używania i zmianach ustawień.
Korzystając ze strony i asystenta pobierania wyrażasz zgodę na używanie cookies, zgodnie z aktualnymi ustawieniami przeglądarki.