Błędne koło AI. Eksperci mówią o upadających modelach

W artykule opublikowanym w prestiżowym czasopiśmie naukowym "Nature", naukowcy dowodzą, że modele sztucznej inteligencji (AI) mogą doświadczać tzw. "upadku modelu" (model collapse), kiedy są trenowane na danych generowanych przez inne modele AI. Zwracają oni uwagę na konieczność korzystania z wiarygodnych, rzetelnych danych podczas procesu trenowania modeli AI, aby zapewnić ich prawidłowe funkcjonowanie.

Podstawą ich argumentacji jest koncepcja "upadku modelu", która odnosi się do sytuacji, gdy modele AI są trenowane na zestawach danych generowanych przez inne modele AI. Naukowcy twierdzą, że taki proces może prowadzić do "zanieczyszczenia" wyników, co oznacza, że oryginalna treść danych jest zastępowana niepowiązanymi ze sobą nonsensami. W efekcie, po kilku generacjach, modele AI mogą zacząć generować treści, które nie mają żadnego sensu.

Naukowcy zwracają uwagę na narzędzia generatywnej sztucznej inteligencji, takie jak duże modele językowe (LLM), które zyskały na popularności i były głównie trenowane za pomocą danych generowanych przez ludzi. Jednak, jak dowodzą badacze, w miarę rozprzestrzeniania się tych modeli AI w internecie, istnieje ryzyko, że treści generowane komputerowo mogą być używane do trenowania innych modeli AI, a nawet samego siebie. Taki proces określa się mianem pętli rekurencyjnej.

Ilia Shumailov z Uniwersytetu Oksfordzkiego w Wielkiej Brytanii i jego zespół, korzystając z modeli matematycznych, zilustrowali, jak modele AI mogą doświadczać "upadku". Wykazali, że AI może pomijać pewne wyniki (np. mniej powszechne fragmenty tekstu) w danych treningowych, co prowadzi do sytuacji, gdy trening odbywa się tylko na części zestawu danych.

Badacze przeprowadzili również analizę, jak modele AI reagują na zestaw danych treningowych, który w większości został stworzony przez sztuczną inteligencję. Odkryli, że karmienie modelu danymi generowanymi przez AI prowadzi do degradacji kolejnych generacji modeli pod względem zdolności do uczenia się, co ostatecznie prowadzi do "upadku modelu".

Wszystkie testowane przez naukowców modele językowe trenowane rekurencyjnie wykazywały tendencję do powtarzania fraz. Jako przykład, naukowcy podali test, w którym do treningu wykorzystano tekst o średniowiecznej architekturze. Okazało się, że w dziewiątej generacji sztuczna inteligencja zamiast o architekturze, generowała treści dotyczące zajęcy.

Autorzy badania podkreślają, że "upadek modelu" jest nieunikniony, jeśli do treningu AI będą używane zestawy danych generowanych przez poprzednie generacje modeli. Twierdzą, że skuteczne trenowanie sztucznej inteligencji na jej własnych wynikach jest możliwe, ale wymaga starannego filtrowania wygenerowanych danych. Dodatkowo, naukowcy zaznaczają, że firmy technologiczne, które zdecydują się na wykorzystanie do trenowania AI wyłącznie treści generowanych przez ludzi, mogą zyskać przewagę konkurencyjną.