Google załatał lukę w Gemini. Powiadomienie mogło przejąć asystenta

Badacze wykryli błąd typu prompt injection w mechanizmie, który pozwala Gemini korzystać z kontekstu z aplikacji takich jak WhatsApp, Slack czy Instagram. W praktyce asystent potrafił potraktować treść przychodzącej wiadomości jak instrukcję do wykonania. Google nadał sprawie wysoki priorytet i wdrożył poprawkę po stronie serwera, więc użytkownicy nie muszą instalować nowej wersji aplikacji, by pozostać chronionymi.

Problem dotyczył funkcji Utilities, która pomaga m.in. odczytywać nieprzeczytane wiadomości. To wygodne rozwiązanie, ale według publikacji serwisu Android Headlines właśnie dostęp do danych z powiadomień otworzył drogę do nadużycia. Zespół SafeBreach pokazał, że wystarczyło jedno zatrute powiadomienie, by przejąć część działań asystenta.

Google zabezpieczył Gemini tak, by przy wrażliwych działaniach prosił użytkownika o potwierdzenie. Badacz Or Yair opisał jednak metodę nazwaną Fake Context Alignment, która omijała ten etap. Najpierw powiadomienie wywoływało prośbę o zgodę w języku, którego użytkownik najpewniej nie znał, np. po chińsku. Chwilę później asystent wracał do zwykłej rozmowy i zadawał neutralnie brzmiące pytanie, na które łatwo było odpowiedzieć twierdząco.

W innej wersji ataku złośliwa instrukcja ukrywała się w wyciszonym linku. Syntezator mowy pomijał jego treść i odczytywał jedynie komunikat sugerujący drobny błąd, podczas gdy ekran telefonu wyświetlał zgodę na wykonanie polecenia. Gdy użytkownik odpowiadał głosem, system zatwierdzał to, co pojawiło się na ekranie.

Badacze pokazali, że po przejściu tego etapu możliwe było przejęcie realnej kontroli nad częścią funkcji powiązanych z kontem użytkownika i zintegrowanymi usługami. Atakujący mógł m.in. sterować podłączonymi urządzeniami smart home, wymusić dołączenie telefonu do rozmowy w Zoomie bez dodatkowego pytania, a także ustawić cykliczne zadania, które regularnie odczytywały prywatne wiadomości. Szczególnie niepokojący był również scenariusz tzw. zatrucia pamięci konta, w którym Gemini zapamiętywał fałszywą informację jako element profilu użytkownika. W praktyce oznaczało to, że jednorazowe obejście zabezpieczeń mogło prowadzić nie tylko do natychmiastowego nadużycia uprawnień, lecz także do długotrwałego wpływu na sposób działania asystenta w kolejnych interakcjach.

Ostatni scenariusz był szczególnie istotny, bo Gemini zapisuje część danych użytkownika na poziomie całego konta. Oznacza to, że błędna informacja mogła przenosić się także na inne urządzenia, na których właściciel loguje się do tego samego konta.

SafeBreach zgłosił problem do programu nagród Google w sierpniu zeszłego roku. Wkrótce potem firma wdrożyła poprawkę na serwerach odpowiedzialnych za klasyfikację treści, dlatego użytkownik nie musi samodzielnie szukać aktualizacji, by zabezpieczyć telefon z Androidem.