Kradli głosy celebrytów. Ostra reakcja firmy na nadużycia

Brytyjska firma ElevenLabs po raz pierwszy zaprezentowała swoją platformę Prime Voice AI na początku tego miesiąca. Zaledwie kilka tygodni później może być zmuszona do ponownego przemyślenia całego modelu po tym, jak użytkownicy zgłosili mnóstwo trolli tworzących nienawistne wiadomości przy użyciu głosów celebrytów.

Firma udostępniła swój pierwszy system do zmiany tekstu na mowę w otwartej wersji beta 23 stycznia. Jej deweloperzy zapewniają, że głosy odpowiadają stylowi i intonacji prawdziwego człowieka. Co więcej, Prime Voice AI ma funkcję "Voice Lab", która pozwala użytkownikom klonować głosy z małych próbek audio. Tu pojawia się polski wątek, bo ElevenLabs zaprezentowała możliwości swojej platformy na przykładzie głosu Jarosława Kuźniara.

Taki wybór nie był też przypadkowy, ponieważ ElevenLabs została założona przez Piotra Dąbkowskiego, byłego inżyniera uczenia maszynowego w Google, oraz Matiego Staniszewskiego, byłego stratega ds. wdrożeń w Palantir.

W poniedziałek ElevenLabs, założona przez byłych pracowników Google i Palantir, podała, że podczas swojej niedawno uruchomionej bety wykryła "rosnącą liczbę przypadków nadużycia klonowania głosu". Firma nie wskazał przy tym żadnych konkretnych oszustw.

Tutaj wchodzi jednak serwis Motherboard, który ustalił, że członkowie 4chan nadużywali Prime Voice AI do generowania głosów brzmiących jak komentator sportowy Joe Rogan, komentator polityczny Ben Sharpio, aktorka Emma Watson czy Rick Sanchez – postać z animacji, której głos podkładał Justin Roiland. Wszystkie głosy były wykorzystywane do szerzenia wykluczających treści lub mowy nienawiści.

Jeden z użytkowników 4Chan podobno zamieścił klip Emmy Watson czytającej fragment "Mein Kampf". Inny użytkownik wygenerował głos brzmiący jak Rick Sanchez z animacji "Rick i Morty" mówiący o tym, jak zamierza bić swoją żonę. Jest to oczywistym nawiązaniem do obecnych zarzutów o przemoc domową wobec współtwórcy serialu Justina Roilanda.

ElevenLabs zaproponowała kilka pomysłów na to, jak ograniczyć szkody. Wśród nich znalazło się wprowadzenie pewnej weryfikacji konta, która mogłaby obejmować płatność z góry. Pojawił się nawet bardziej radykalny pomysł na całkowite porzucenie darmowej wersji laboratorium głosowego, co oznaczałoby konieczność ręcznej weryfikacji każdego żądania klonowania głosu.

Warto zauważyć, że na rynku jest mnóstwo innych firm oferujących podobne narzędzia. Wśród nich należy wymienić Microsoft i jego system VALL-E, który – co prawda – wciąż nie został wypuszczony, ale jak niedawno informowaliśmy, wystarczą mu trzy sekundy do skopiowania głosu.