Intel, sport i połączona rzeczywistość

Wirtualna rzeczywistość od pewnego czasu jest obszarem, który coraz bardziej kojarzymy z Intelem. Aktywnie poszukująca swojej przyszłości firma, chcąc wyjść poza znany dobrze rynek PC, poszukuje dla równowagi innych rynków, także tych wschodzących. Stąd właśnie zaangażowanie Intela w Internet Rzeczy, stąd też zaangażowanie w Wirtualną Rzeczywistość.

Przypomnijmy, w co właściwie Intel się chce bawić (i na czym zarabiać). Kluczowa definicja Wirtualnej Rzeczywistości została podana przez Jarona Laniera, amerykańskiego informatyka i futurologa, i brzmi – to sposób użycia technologii komputerowej w tworzeniu efektu interaktywnego, trójwymiarowego świata, w którym obiekty dają wrażenie przestrzennej obecności. Na obecnym poziomie techniki ta definicja oznacza, że wirtualna rzeczywistość to generowanie obrazów i dźwięków symulowanego środowiska (bądź odtwarzanego środowiska fizycznego), które poprzez rozmaite manipulatory wchodzą w interakcje z użytkownikiem.

Chyba każdy zainteresowany nowymi technologiami widział, przynajmniej na zdjęciach, to co najbardziej dziś się z VR kojarzy, czyli te spore, nakładane na oczy gogle, które na miniaturowych ekranach wysokiej rozdzielczości wyświetlają składowe części obrazu tak, by uzyskać efekt stereoskopowy – wrażenie widzenia obrazu z głębią. Gogle takie zawierają zwykle też czujniki pozwalające ustalić pozycję urządzenia w realnej przestrzeni, co służy przełożeniu ruchów głową i ciałem na zmianę położenia wirtualnej kamery – punktu widzenia, z którego użytkownik obserwuje podany mu przed oczy obraz świata.

Najsłynniejsze gogle tego typu to przede wszystkim Oculus Rift oraz HTC Vive, ale oczywiście nie jedyne. Sony stawia na swoje klasyczne gogle PlayStation VR, Google na wykorzystanie jako gogli VR ekranów (i czujników) wydajnych smartfonów z Androidem, spełniających specyfikację Daydream, o wirtualnej rzeczywistości zaczęło mówić nawet Apple – właściwie każdy chce mieć już dziś swoją własną platformę VR, w przekonaniu, że to jest Następna Wielka Rzecz dla branży IT. Co więc przygotował Intel?

Najgłośniejsza technologia VR Intela właściwie nie jest wirtualną rzeczywistością – w sensie definicji podanej przez pana Laniera. Czym więc jest? Obok VR funkcjonują technologie takie jak AR (Augmented Reality – rozszerzona rzeczywistość), oraz od niedawna, MR (Merged Reality, połączona rzeczywistość). Pierwsza przedstawia użytkownikowi zapożyczony obraz realnego świata, który zostaje uzupełniony o nałożone cyfrowe obiekty (np. rozmaite tabele i wykresy, niczym wzrok Terminatora). Druga to bardziej zaawansowana forma AR – cyfrowe obiekty wchodzą w interakcję z rzeczywistością, mogą zostać przez nią np. przesłonięte.

W dziedzinie rozszerzonej rzeczywistości Intel zaistniał pośrednio – najbardziej znane rozwiązanie tego typu, gogle Microsoft HoloLens „napędza” procesor Intel Atom. W dziedzinie połączonej rzeczywistości – no właśnie, mamy Project Alloy. W goglach tych oglądamy realny świat, ale nie do końca… to już nie jest nasz świat, to świat połączony z wirtualnymi obiektami. Wbudowane w gogle kamery RealSense przechwytują widok przestrzeni przed użytkownikiem (z uwzględnieniem głębi obrazu) i z minimalnym opóźnieniem, nieprzekraczającym kilku milisekund rzutują go do wirtualnej przestrzeni.

To ciekawy – i unikalny jak dotąd – sposób na wyróżnienie się wśród tych dotychczasowych propozycji. Gogle takie jak Oculus Rift odcinają użytkownika od naszego świata, microsoftowy HoloLens nakłada na świat swoją warstwę danych, tymczasem Project Alloy przemienia świat praktycznie w czasie rzeczywistym. Co najważniejsze, Alloy jest wolny od ograniczeń fizycznych, typowych dla gogli VR – jest mały, zwarty, przenośny i wygodny. Uwolniony od kabli, otwiera drogę do wykorzystania go w realnej przestrzeni, w realnym ruchu.

Sześć stopni swobody – kto pamięta wykład z mechaniki, ten wie, że stopniem swobody jest możliwość wykonania ruchu ciała niezależnie od innych ruchów, a liczba stopni swobody układu fizycznego to najmniejsza liczba niezależnych zmiennych potrzebnych do jednoznacznego opisania jego stanu. Gdy Intel zachwala swoje gogle Project Alloy jako obdarzone sześcioma stopniami swobody, to rozumie przez to pełną swobodę ruchu w trójwymiarowej przestrzeni. To możliwe trzy przesunięcia wzdłuż osi x, y i z, oraz trzy możliwe obroty ciała wokół tych osi.

Dzisiejsze eSporty wyglądają dość… statycznie. Zawodnicy większość czasu spędzają w fotelach, większość ich ruchów przynależy palcom i nadgarstkom. O ile ciekawszy byłby eSport, w którym zawodnicy uczestniczą w zmaganiach całym ciałem, na arenach w realnej przestrzeni, wzbogaconej o wirtualne obiekty? Do tak dynamicznego przetwarzania połączonej rzeczywistości jeszcze trochę brakuje, ale strategia Intela ewidentnie do takiego wykorzystania zmierza. Sport i widowiska – nie tylko sportowe – mają odgrywać w tym ważną rolę.

Zademonstrowane do tej pory zastosowania Project Alloy tak właśnie wyglądały – od spacerów wirtualnych, w których można było napotkać realną (choć nieco spikselowaną) postać Briana Krzanicha, szefa Intela, przez interakcje czysto cyfrowych obiektów ze zwirtualizowanymi obiektami fizycznymi, po nawet zwirtualizowane instrumenty muzyczne, na których grano w połączeniu z instrumentami w realnej przestrzeni, przeniesionymi dla muzyka przez kamery RealSense.

Wrażenie zanurzenia w połączoną rzeczywistość wzmacnia nie tylko to, że Intelowe gogle nie tylko nie potrzebują podpiętych kablami zewnętrznych komputerów, które tworzyłyby dla nich wirtualny świat, ale też radzą sobie bez specjalnych kontrolerów. Kontrolerami mogą być dłonie użytkownika, jak i dowolny inny fizyczny obiekt. Kamery RealSense mają być w stanie śledzić ich ruch z dokładnością do każdego palca oddzielnie, choć wciąż przy tak dużej dokładności przekłada się to na opóźnienia.

Co z połączoną rzeczywistością będzie można zrobić? Dwa ostatnie przejęcia Intela pokazują, co może być na rzeczy. Pierwsze, to kupienie startupu Voke (obecnie Intel True VR), który zajmował się immersyjnymi widowiskami sportowymi. Cały zespół trafił do nowego działu – Intel Sports Group.

Głównym produktem startupu była stereoskopowa kamera TrueVR, pozwalająca nagrywać wideo w 180° – a w odpowiedniej konfiguracji przestrzennej, uzyskać po software’owym przetworzeniu pełną panoramę wideo. Innymi słowy, TrueVR daje przystosowany do widowisk sportowych zestaw kamer, który pozwala przetwarzać w czasie rzeczywistym obraz całej przestrzeni, możliwy do oglądania z dowolnej pozycji.

To samo w sobie jest ciekawe, ale robi się jeszcze ciekawsze w połączeniu z wcześniejszym przejęciem izraelskiej firmy Replay Technologies, której ludzie też trafili do Intel Sports Group – i która stworzyła technologię freeD, pozwalającą na tworzenie rotacji w 360° obrazów kluczowych momentów gry. Oczywiście wszystko to wymagało sporej mocy obliczeniowej, dostarczanej przez farmę serwerów Intela.

Intel ma więc system kamer VR, ma technologię do płynnej rotacji pozyskanego obrazu… i ma gogle, pozwalające na mieszanie przestrzeni fizycznej i wirtualnej. Z takim wyposażeniem można w przyszłości zaprosić kibiców na stadion zupełnie nowego rodzaju – stadion, w którym będą mogli się znaleźć w samym środku gry, i to nie sami, ale z towarzystwem, a przy tym nawet biegając po swoim wirtualnym stadionie, w żaden sposób nie przeszkodzą rozgrywce sportowców.

Nikt spoza Intela (i może najbliższych partnerów) gogli Project Alloy w rękach nie miał, nikt ich nie rozkręcił, możemy jedynie polegać na oficjalnych wypowiedziach przedstawicieli firmy – i nieoficjalnych spekulacjach, które wiele wyjaśniają na temat tego, jak Intel zdołał stworzyć taką technologię.

Z tego co wiemy, gogle Project Alloy napędzane procesorami Intel Core, wykorzystują czwartej generacji kamery RealSense, które nie tylko mierzą głębię, ale oferują też coś, co Intel określa jako VIO-D, wizualny inercyjny drogomierz i głębokościomierz. Sensory te pozwalają też na delokalizację obiektu, tj. odtworzenie jego pozycji w środowisku, które wcześniej zostało wyuczone oraz budowanie modeli fizyki obserwowanej przestrzeni.

Zaskakuje nieco, jak tak wymagające zadania realizowane są przez autonomiczną jednostkę, niepodłączoną do zewnętrznego peceta (podczas pokazów jedynym kablem, który podpięty był do gogli Project Alloy był kabel wideo do zewnętrznego wyświetlacza, pokazującego to, co widzi użytkownik). Przetwarzanie takiej ilości danych wymagałoby naprawdę potężnego GPU – wystarczy przypomnieć sobie, jakich kart graficznych wymagają gogle Oculus Rift czy HTC Vive. Czy zintegrowana grafika Iris Pro 580, której moc obliczeniową szacuje się na 1,1 TFLOPS, wystarczy?

Tego nie wiemy. Wiemy jednak, że w zeszłym roku Intel kupił niewielką irlandzką firmę Movidius, specjalizującą się w budowaniu specjalizowanych czipów do przetwarzania wielu strumieni wideo jednocześnie – wszystko przy bardzo niskim zużyciu energii. Służą one do tworzenia z obrazu rzeczywistej przestrzeni jej wirtualnej reprezentacji, do wykorzystania w VR albo np. do sterowania dronem.

Najnowszy układ Movidiusa, czip Myriad 2, to bardzo interesująca licznordzeniowa konstrukcja, nieprzypominająca niczego innego na rynku. Łączy w sobie sterujące całością rdzenie architektury UltraSPARC, 128-bitowe procesory wektorowe (SIMD) o bardzo długim słowie i mały superszybki bufor pamięci (Scratchpad). Do tego dochodzi niespotykany sprzętowy potok renderowania bez shaderów, składający się wyłącznie ze stałych, zaimplementowanych w sprzęcie funkcji przetwarzania wideo – takich jak splatanie czy konwersja kolorów.

Komentując przejęcie Movidiusa Intel wyraził nadzieję, że zestawienie tworzonych przez Movidiusa, wydajnych układów przetwarzania wideo z jego własnymi kamerami RealSense przyczyni się do postępu w takich dziedzinach jak VR, drony czy kamery przemysłowe. Czy to właśnie taki specjalizowany czip jak Myriad 2 (lub jego ulepszona wersja) może służyć do cudów z połączoną rzeczywistością?

Przekonamy się o tym już w bliskiej przyszłości. Project Alloy nie jest produktem finalnym, dla końcowego użytkownika, raczej platformą deweloperską, z której pełnię możliwości mieliby wyciągnąć partnerzy Intela. Zestaw będzie dostępny w drugiej połowie 2017 roku jako platforma otwarta, co pozwoli programistom, twórcom i wynalazcom na tworzenie własnych produktów na jego bazie. To zaś oznacza, że być może już na tegoroczną Gwiazdkę pierwsze konsumenckie produkty zbudowane na bazie tej technologii będą mogły trafić pod strzechy, budząc zainteresowanie znacznie szerszego grona odbiorców niż, co by nie mówić, adresowane głównie do graczy gogle „odcinające” użytkowników od świata rzeczywistego.