Masz dużo pamięci RAM? Sam Altman uważa, że jest marnowana

Gdy centra danych zaczynają odczuwać braki mocy obliczeniowej, coraz częściej wskazuje się na alternatywę w postaci lokalnej inferencji. W tym scenariuszu użytkownicy uruchamialiby otwarte modele sztucznej inteligencji bezpośrednio na własnych komputerach, zamiast polegać na usługach działających w chmurze.

Sam Altman mówił o tym w podcaście Cheeky Pint, zwracając uwagę, że masowe przenoszenie obliczeń na komputery prywatne może w praktyce oznaczać słabsze wykorzystanie sprzętu w skali całego świata – szczególnie wtedy, gdy kluczowe podzespoły stają się dobrem ograniczonym.

W ocenie Altmana problemem nie jest sama możliwość uruchamiania modeli AI na komputerach osobistych. W centrum dyskusji znajduje się raczej kwestia ekonomii i efektywności użycia pamięci DRAM, która urosła do rangi jednego z ważniejszych wąskich gardeł w rozwoju sztucznej inteligencji.

Do napięć na rynku dokłada się też specyfika branży pamięci: producenci od lat funkcjonują w rytmie cyklicznych wzlotów i spadków. Budowa i rozbudowa fabryk oznacza wielomiliardowe nakłady, a doświadczenia z okresów nadpodaży i gwałtownych spadków cen pokazały, jak ryzykowne bywa agresywne zwiększanie mocy produkcyjnych. W efekcie firmy podchodzą do inwestycji ostrożnie, co przekłada się na dalsze ograniczenia dostępności pamięci na globalnym rynku.

W warunkach ograniczonej podaży coraz ważniejsze staje się pytanie, jak najlepiej zagospodarować każdy wyprodukowany gigabajt pamięci. Altman przekonuje, że kierowanie dużych zasobów DRAM do komputerów osobistych nie musi być najlepszą odpowiedzią na potrzeby rynku.

Jego argument opiera się na tym, że komputery prywatnych użytkowników przez większość doby nie wykonują intensywnych zadań związanych ze sztuczną inteligencją. W takim ujęciu realne wykorzystanie posiadanych zasobów może sięgać jedynie około 5 proc. czasu, a przez resztę dnia pamięć pozostaje w dużej mierze niewykorzystywana.

Inaczej wygląda to w centrach danych. Zgromadzona tam pamięć DRAM może obsługiwać jednocześnie wiele zapytań i wielu użytkowników, bo zasoby są współdzielone i nie "czekają" bezczynnie w jednym, rzadko obciążanym komputerze.

Z punktu widzenia zarządzania ograniczoną ilością pamięci na świecie taki model ma być wydajniejszy: zamiast rozpraszać zasoby między miliony prywatnych urządzeń, można je skupić w infrastrukturze, która niemal bez przerwy pracuje na potrzeby wielu osób.

Altman nie przekreśla jednak sensu lokalnego uruchamiania AI. Takie podejście daje większą niezależność od dostawców usług, pomaga w ochronie prywatności i umożliwia korzystanie z modeli bez stałego dostępu do internetu. Podkreśla jedynie, że przy niedoborach pamięci liczy się nie tylko jej ilość, lecz także to, czy jest efektywnie wykorzystywana. Jednocześnie można dojść do wniosku, że ostatecznie to użytkownik rozstrzyga, jak spożytkować pamięć kupioną za własne pieniądze – nawet jeśli dla dużych firm technologicznych nie jest to najbardziej "optymalny" wariant.