Hyperlapse: Microsoft naprawia filmy z GoPro

Filmy rejestrowane z perspektywy pierwszej osoby, czy to z Google Glass, czy kamerką GoPro zamontowaną na kasku, mają to „coś”. Jednak dobry film tego typu naprawdę niełatwo nagrać, gdyż sprzęt przenosi każde drgnięcie, a do tego nagrania potrafią mieć po kilka godzin. Przyspieszonych po prostu nie da się oglądać… Tu na ratunek może przyjść projekt Hyperlapse, nad którym pracuje Microsoft.

Filmy Hyperlapse to nic innego, jak nagrania poklatkowe, ale z gładko poruszającą się kamerą. Ta metoda przetwarzania materiałów pozwoli „uratować” materiały, które zwykłe przyspieszenie przez podpróbkowanie klatek zwyczajnie zniszczy, nawet jeśli wykorzystamy algorytmy stabilizacji obrazu. Efekty przywodzą na myśl animacje wykonane z użyciem mechanizmów Photosynth i ogląda się je dużo przyjemniej, niż roztrzęsione efekty przyspieszenia nagrania. Efekty można zobaczyć na poniższym filmie, więcej materiałów do porównania można znaleźć na stronie Microsoft Research.

Tworzenie filmu Hyperlapse zaczyna się od analizy filmu wejściowego pod kątem dokładnej rekonstrukcji otoczenia w trzech wymiarach (stąd pewne niedoskonałości, widoczne choćby na przykładowych nagraniach ze wspinaczki). Proces ten przypomina tworzenie panoram w Photosynth – również bazuje na znajdowaniu jak najgęstszego układu charakterystycznych punktów, ale robi to na każdej ramce filmu, a nie na kolejnych zdjęciach. W trakcie przetwarzania odtwarzana jest także ścieżka kamery w symulowanym otoczeniu. Jako że ścieżka jest bardzo chaotyczna, zawiera każde drgnięcie i ruch głowy nagrywającego, dla polepszenia wrażeń jest wygładzona (na ilustracji poniżej została zaznaczona czerwoną linią).

Kolejne wyzwanie czeka przy renderowaniu filmu. Jako że w danej chwili odpowiednia ramka nie zawsze pokrywa całe pole widzenia wirtualnej kamery, poruszającej się po sztucznie wyznaczonej ścieżce, należy wypełnić brakujące fragmenty obrazu. Mechanizm Hyperlapse upewnia się, że każdy piksel każdej klatki filmu jest pokryty przez przynajmniej jedną klatkę źródłową. Obrazy źródłowe są dobierane tak, by żaden fragment nie był nadmiernie zniekształcony bądź rozmyty przez szybki ruch. Wybrane obrazy są następnie „zszyte” z wykorzystaniem losowych pól Markowa (MRF), a następnie wygładzone i ujednolicone z wykorzystaniem modeli czasoprzestrzennych Poissona. Oświetlenie jest ujednolicone, granice ramek źródłowych niewidoczne dla oglądających, a ewentualne zniekształcenia trudno dostrzec w ruchu.

Efekty nie są może tak doskonałe, jak to, co moglibyśmy uzyskać prowadząc kamerę na gimbalu, ale z pewnością ogląda się je przyjemniej niż filmy przyspieszone tradycyjnymi metodami. Nie wiadomo jeszcze kiedy i w jakiej formie wynalazek Microsoft Research wejdzie w życie – prawdopodobnie udostępniony zostanie program przetwarzający filmy dla systemu Windows. Zapowiada się wybawienie dla amatorów nagrywania wyczynów sportowych z GoPro na kasku.