Chciał tylko zarezerwować miejsce na siłowni. AI znalazło lukę i wyrzuciło kogoś z kolejki

AI coraz częściej nie tylko odpowiada na pytania, ale też samodzielnie wykonuje zadania w internecie. Przykład opisany przez ABC Australia pokazuje jednak, że taka wygoda może mieć zaskakujące konsekwencje.

Pewien Australijczyk poprosił swojego asystenta AI o zarezerwowanie miejsca na popularnych porannych zajęciach w siłowni. System szybko odkrył, że może zrobić znacznie więcej, niż przewidzieli twórcy serwisu.

Andrew korzystał z OpenClaw, czyli oprogramowania pozwalającego uruchomić autonomicznego agenta AI wykorzystującego m.in. model Claude firmy Anthropic. Zadanie było proste: zarezerwować miejsce na zajęciach. Agent odkrył jednak podatność w systemie rezerwacji. Dzięki niej mógł zapisywać użytkownika na zajęcia odbywające się znacznie dalej w przyszłości, niż przewidywały zasady siłowni.

Andrew znajdował się na czwartej pozycji listy oczekujących na inne zajęcia. Zapytał więc AI, czy może przesunąć go wyżej. Agent zaczął sprawdzać możliwości systemu i odkrył, że API pozwala anulować rezerwację innej osoby bez odpowiedniej autoryzacji.

I po prostu to zrobił. Tak, AI wyrzuciło innego człowieka z kolejki. Agent poinformował Andrew, że przetestował możliwość anulowania rezerwacji osoby znajdującej się na pierwszym miejscu listy oczekujących. W efekcie Andrew przesunął się z czwartej na trzecią pozycję.

Kiedy Andrew zorientował się, co się stało, poprosił o cofnięcie operacji. AI odpowiedziało, że nie jest w stanie przywrócić usuniętej osoby na listę. Australijczyk poprosił więc agenta o przygotowanie wiadomości do operatora systemu z informacją o znalezionej luce.

Historia jest ciekawa nie dlatego, że sztuczna inteligencja znalazła błąd w oprogramowaniu. Znacznie ważniejsze jest to, co zrobiła z odkrytą możliwością. Tradycyjny chatbot czeka na kolejne polecenie. Agent AI może natomiast samodzielnie planować kolejne kroki, korzystać z internetu, wykonywać operacje i reagować na ich rezultaty.

W tym przypadku człowiek powiedział w praktyce: "zarezerwuj mi miejsce". AI samo zdecydowało, jak osiągnąć ten cel. Eksperci określają ten problem mianem alignment problem — chodzi o sytuację, w której działanie systemu rozmija się z intencją człowieka. Cel może być niewinny, ale droga wybrana przez AI już niekoniecznie.

Bill Simpson-Young z australijskiego Gradient Institute zwraca uwagę, że agenci mogą wybierać metody, których użytkownik w ogóle nie przewidział. Problem staje się jeszcze poważniejszy, gdy taki system otrzymuje dostęp do prawdziwych usług i kont. Internet jest pełen oprogramowania, które zawiera błędy i luki bezpieczeństwa. Autonomiczny agent może je znaleźć znacznie szybciej niż człowiek i próbować wykorzystać w drodze do realizacji swojego celu.

Według eksperta wraz ze wzrostem autonomii AI rośnie również prawdopodobieństwo, że system wyrządzi szkodę. To właśnie dlatego podobne przypadki budzą coraz większe zainteresowanie ekspertów od bezpieczeństwa. ABC Australia przypomina, że podczas testów najnowsze modele AI potrafiły już m.in. samodzielnie atakować systemy innych firm.

Pojawia się też niewygodne pytanie: kto ponosi odpowiedzialność, gdy agent AI zrobi coś, czego człowiek mu nie kazał?

W przypadku pracownika czy tradycyjnego programu komputerowego istnieją mechanizmy pozwalające określić odpowiedzialność. Autonomiczny agent jest jednak czymś pośrednim — działa na polecenie użytkownika, korzysta z modelu stworzonego przez inną firmę i operuje w systemie należącym do jeszcze kogoś innego.

Prawnik Hayden Delaney zwraca uwagę, że oprogramowanie samo w sobie nie jest osobą prawną, więc odpowiedzialność musi ostatecznie spaść na człowieka lub organizację.

Przypadek z siłownią pokazuje więc coś ważniejszego niż pojedynczą lukę w systemie rezerwacji. AI właśnie zaczyna dostawać narzędzia, dzięki którym może nie tylko mówić, ale też działać. A czasami działać w sposób, którego jego użytkownik zupełnie się nie spodziewa.