Poważne ostrzeżenie Amodeia. "Wyścig na dno"

Amodei przedstawił plan, który ma ograniczyć tempo zwiększania możliwości najbardziej zaawansowanych systemów AI. Szef Anthropic uważa, że firmy technologiczne powinny najpierw zadbać o zabezpieczenia, a dopiero potem przyspieszać prace nad kolejnymi modelami. Jego apel pojawił się kilka dni po odejściu badacza z Anthropic, który publicznie zarzucił czołowym firmom z sektora AI brak odpowiedzialności.

W swoim stanowisku Amodei ocenił, że branża weszła w etap, w którym zagrożenia nie są już czysto teoretyczne. Wskazał na niedawne incydenty opisywane przez OpenAI, Anthropic i inne firmy, w tym przypadek testu, podczas którego model OpenAI miał uruchomić grupy agentów AI współpracujących potajemnie przy ataku na systemy innej firmy. Według Amodeia takie sytuacje pokazują, że błędnie ukierunkowane lub źle nadzorowane narzędzia mogą wywołać chaos.

Propozycja szefa Anthropic składa się z trzech elementów. Pierwszy zakłada dopuszczenie zewnętrznych, niezależnych kontrolerów do oceny ryzyk związanych z bezpieczeństwem. Amodei zapowiedział, że Anthropic zobowiąże się do takiego rozwiązania od razu i liczy, że podobny krok wykonają rywale.

Drugi punkt dotyczy porozumienia między firmami AI działającymi w krajach demokratycznych. Według tej koncepcji spółki, być może przy wsparciu rządów, miałyby uzgodnić wspólne limity i standardy bezpieczeństwa. Trzeci, najtrudniejszy etap, to koordynacja globalna, co w praktyce oznacza także próbę włączenia do takiego systemu Chin.

Amodei przekonuje, że obecnie firmy tkwią w groźnym "wyścigu na dno", w którym liczy się przede wszystkim przewaga technologiczna. W jego ocenie należałoby zastąpić go "wyścigiem na szczyt", gdzie konkurencja dotyczyłaby przede wszystkim tworzenia najbezpieczniejszych, a nie najmocniejszych modeli. Napisał też, że wdrożenie tych działań nie będzie proste, ale jego zdaniem ludzkość powinna podjąć taką próbę.

Ostrzeżenia przed skutkami rozwoju sztucznej inteligencji pojawiają się od lat, ale Amodei sam przyznał, że jeszcze w marcu 2023 r. nie widział sensu w sześciomiesięcznej pauzie dla wielkich eksperymentów z AI, o którą apelował wtedy Future of Life Institute. Teraz ocenia sytuację inaczej i twierdzi, że obraz zagrożeń całkowicie się zmienił. Równocześnie, według przywołanych sondaży, w Stanach Zjednoczonych rośnie niepokój opinii publicznej wobec niekontrolowanego rozwoju AI.

Wokół motywów Amodeia już pojawiają się spory. Krytycy mogą uznać taki apel za próbę budowania wizerunku firmy tworzącej przełomową technologię, zwłaszcza że według "The Wall Street Journal" planowane na przyszły miesiąc IPO Anthropic może przyciągnąć ok. 100 mld dol. inwestycji i wycenić spółkę na 2 bln dol. Z drugiej strony sam Anthropic powstał po odejściu badaczy z OpenAI i Google, którzy uznali, że tamte firmy obrały niewłaściwy kierunek rozwoju AI.

Anthropic ma w swojej historii również spór z Pentagonem. Firma sprzeciwiła się wykorzystywaniu swojej technologii do masowej inwigilacji w kraju oraz do autonomicznej broni. Administracja Trumpa odpowiedziała zakazem używania narzędzi Anthropic przez agencje federalne, co doprowadziło do sporu prawnego, w którym spółka jak dotąd ma korzystną pozycję.

Pierwsze sygnały z branży sugerują, że część liderów AI może poprzeć przynajmniej część tych postulatów. Sam Altman napisał, że zgadza się z Amodeiem co do potrzeby kontrolowania tempa rozwoju najbardziej zaawansowanych modeli, a pomysł wpuszczenia niezależnych oceniających z dostępem podobnym do pracowników uznał za dobry i zapowiedział podobne działanie w OpenAI. Elon Musk również poparł stanowisko szefa Anthropic. Google nie odpowiedział od razu na prośbę o komentarz, choć kierownictwo DeepMind wcześniej opowiadało się za podobnymi rozwiązaniami. Znacznie mniej prawdopodobne wydaje się przyłączenie Mety, która stawia na modele open source. Mark Zuckerberg w ubiegłym miesiącu ostrzegał, by kilka firm, takich jak Anthropic, nie decydowało za wszystkich o kierunku rozwoju tej technologii.

Najważniejsze pozostaje jednak stanowisko administracji Donalda Trumpa w USA. Dotychczasowa polityka wobec AI koncentrowała się tam raczej na przyspieszeniu rozwoju, wzmocnieniu gospodarki i utrzymaniu przewagi amerykańskich firm nad chińskimi konkurentami. Republikanie pracują nad zwiększeniem produkcji energii i ograniczaniem regulacji, choć w czerwcu Trump podpisał rozporządzenie wykonawcze, które ma stworzyć procedurę rządowego przeglądu bezpieczeństwa modeli AI przed ich udostępnieniem.

Jeśli Biały Dom choć pośrednio poprze inicjatywę Anthropic, nowe standardy bezpieczeństwa mogą stać się w USA branżową normą. Bez takiego wsparcia firmy prawdopodobnie szybko oddalą się od pomysłu spowolnienia rozwoju AI, a dyskusja wróci do punktu wyjścia do czasu kolejnego poważnego alarmu.