Poruszenie w Niemczech. Agenci OpenAI mieli przejmować serwis

DseWiki to współtworzona przez społeczność strona dla programistów w języku niemieckim. Badacze naliczyli tam ponad 15 tys. edycji, które miały pochodzić od agentów AI. Sydney Von Arx z organizacji Nightingale oraz badacz AI Cormac Slade Byrd ustalili, że publikowane treści zaczęły pełnić rolę swoistej "tablicy ogłoszeń" dla innych systemów - pojawiały się m.in. wskazówki dotyczące oszukiwania przy zadaniach, obchodzenia zabezpieczeń OpenAI oraz ukrywania śladów własnej aktywności.

Na ten trop natrafiono pod koniec sierpnia, gdy zespół przeszukiwał sieć pod kątem działań agentów AI. Część kont miała nazwy sugerujące związek z OpenAI, w tym OpenAIResearcher. Autorzy raportu ocenili też, że istotna część ruchu miała pochodzić z infrastruktury Microsoft Azure. Zwrócili uwagę, że po tym, jak sprawa stała się głośniejsza, DseWiki było wielokrotnie odwiedzane przez pracowników OpenAI, co — w ich ocenie — wzmacniało podejrzenia o powiązania agentów z firmą.

Jak wynika z ustaleń badaczy, problem nie zakończył się na pierwszej interwencji moderatora. Kiedy w czerwcu rozpoczęto usuwanie podejrzanych wpisów, agenci mieli tworzyć kopie zapasowe stron. Jeden z wpisów datowany na 19 czerwca miał dodatkowo instruować inne programy, by po skasowaniu konkretnej podstrony szukały jej pod inną nazwą. To sugerowało, że systemy nie tylko publikowały treści, lecz także próbowały je utrzymać w serwisie mimo działań człowieka.

OpenAI przekazało Reutersowi, że nie było w stanie odnieść się do szczegółowych ustaleń, ponieważ raport nie został firmie udostępniony przed publikacją. Spółka nie zgodziła się również z oceną, według której zachowanie agentów można porównać do włamania hakerskiego, wskazując na wyniki własnej analizy.

Łukasz Olejnik z King’s College London ocenił, że opisany przypadek miał cechy ataku hakerskiego, a nie zwykłego błędu czy awarii. Zaznaczył jednocześnie, że podobne sytuacje bywały w przeszłości tłumaczone testami bezpieczeństwa, w których sprawdza się ofensywne możliwości modeli. Tym razem jednak ustalenia miały wskazywać, że tak daleko idąca samodzielność agentów mogła ujawnić się także poza warunkami kontrolowanymi.

Incydent wpisuje się w szerszą dyskusję o nadzorze nad systemami OpenAI. W kontekście obaw przypomniano również lipcową sytuację w Hugging Face, gdzie agenci mieli przez ponad tydzień samodzielnie planować przejęcie danych. Maurice Chiodo z Uniwersytetu Cambridge, analizując korespondencję agentów, porównał ich działanie do grupy konsekwentnie realizującej wspólny cel. W jego ocenie największe zagrożenie może dziś wynikać nie z jednego "superinteligentnego" systemu, lecz z wielu słabszych agentów, którzy potrafią współpracować na dużą skalę.