Meta buduje nowy superkomputer. Razem z Nvidią stworzy najpotężniejszy sprzęt

Meta, która jeszcze niedawno określała się jako Facebook, jest w trakcie budowy nowego superkomputera. Ma on szansę stać się najbardziej wydajną maszyną na świecie. Posłuży do trenowania sztucznej inteligencji, która będzie zajmować się m.in wykrywaniem szkodliwych treści.

Zgodnie z informacjami pochodzącymi z samej firmy Meta angażuje się w długoterminowe inwestycje w sztuczną inteligencję od 2013 roku. Wtedy właśnie powstało laboratorium Facebook AI Research. W ostatnich latach firma poczyniła znaczące postępy w rozwoju sztucznej inteligencji, a teraz chciałaby kontynuować te badania.

Nowy superkomputer Mety będzie przetwarzać większe, dłuższe filmy z większą częstotliwością próbkowania danych. Funkcja rozpoznawania mowy musi działać dobrze nawet w trudnych sytuacjach, z dużym hałasem w tle, takich jak imprezy czy koncerty. Dla uzyskania takich efektów oraz postępów w innych obszarach niezbędne jest zbudowanie maszyny, która poradzi sobie z przetwarzaniem ogromnej ilości danych.

Superkomputery Mety są budowane przez łączenie wielu procesorów graficznych w węzły obliczeniowe, które są następnie łączone za pomocą wysokowydajnej struktury sieciowej, aby umożliwić szybką komunikację między tymi procesorami graficznymi. RSC obejmuje obecnie łącznie 760 systemów NVIDIA DGX A100 jako węzły obliczeniowe, co daje w sumie 6080 procesorów graficznych — przy czym każdy procesor graficzny A100 jest mocniejszy niż V100 używany w poprzednim rozwiązaniu Mety.

Każdy DGX komunikuje się za pośrednictwem NVIDIA Quantum 1600 Gb/s InfiniBand. Warstwa pamięci masowej RSC obejmuje 175 petabajtów pamięci Pure Storage FlashArray, 46 petabajtów pamięci podręcznej w systemach Penguin Computing Altus i 10 petabajtów Pure Storage FlashBlade.

Zdaniem Mety, projektowanie i budowanie superkomputera na taką skalę to nie tylko kwestia samej wydajności, ale także osiągnięcia wydajności na możliwie największą skalę przy wykorzystaniu najbardziej zaawansowanej dostępnej obecnie technologii. Po zakończeniu RSC sieć szkieletowa InfiniBand połączy 16 000 procesorów graficznych jako punkty końcowe, co czyni ją jedną z największych takich sieci wdrożonych do tej pory.

Dodatkowo firma zaprojektowała system buforowania i przechowywania danych, który może obsłużyć 16 TB/s danych treningowych. To jednak nie wszystko, bo Meta planuje go skalować do 1 eksabajta. Superkomputer jest odizolowany od internetu, bez bezpośrednich połączeń przychodzących lub wychodzących, a ruch może płynąć tylko z produkcyjnych centrów danych Meta. Dzięki temu badacze mogą bezpiecznie trenować modele przy użyciu zaszyfrowanych danych generowanych przez użytkowników.