Mikroskop dla ruchu, czyli świetny podsłuch i narzędzie ratujące życie

Taki „mikroskop”, czyli algorytm powiększający ruchy na podstawie nagrania filmowego, powstał na MIT. Za pomocą eulerowskiego przetwarzania obrazu możliwe jest śledzenie zmian koloru skóry w rytm pulsu, obserwowanie uwypuklonego oddechu czy też znacznie powiększonych ruchów budynków na wietrze na podstawie zwykłych filmów, jakie każdy z nas może nakręcić lustrzanką, kamerą ręczną, telefonem czy webcamem. Możliwe jest nawet przetwarzanie w czasie rzeczywistym, co daje bardzo ciekawe wyniki przy obserwacji pacjentów w szpitalach – można śledzić ich puls bez przypinania do nich urządzeń, nawet jeśli poruszają się po terenie obiektu. Dzięki temu można zobaczyć też jak porusza się paczka czipsów, gdy ktoś mówi obok niej, co jest już trochę niepokojące.

Naukowcy z MIT udostępnili swój wynalazek w Internecie i każdy może nagrany przez siebie film „powiększyć”. Wystarczy przejść na stronę projektu, założyć konto i wysłać kilka filmów. Serwis wymaga, by materiały nie zajmowały więcej niż 100 MB i miały więcej niż 64 klatki długości. Szczegóły obliczeń i przykładowe zastosowania można znaleźć na stronie MIT-u.

Filmy warto nagrywać przy dobrym, jasnym świetle i na jednolitym tle, kontrastującym z filmowanym obiektem. Warto mieć na uwadze, że bez statywu lub innego sposobu na unieruchomienie aparatu nagranie dobrego materiału jest niewykonalne – najmniejszy ruch kamery zostanie zwielokrotniony podczas przetwarzania materiału. Po umieszczeniu w swojej przestrzeni filmów można przystąpić do zabawy. Choć obliczenia wykonywane przez program są skomplikowane, obsługa aplikacji webowej jest banalnie prosta. Do dyspozycji mamy kilka wariantów częstotliwości oraz możliwość wyboru między powiększaniem zmiany barw i powiększaniem ruchu.

Przetworzenie filmu zajmie trochę czasu – 15-sekundowy film będzie gotowy po około pół godziny. Będzie można zobaczyć jego podgląd, a jeśli rezultaty okażą się zadowalające, można wyrenderować i pobrać gotowy film. Materiał może składać się z dwóch filmów obok siebie lub tylko „powiekszonego”. Oczywiście można zachować kilka wariantów filmu z różnymi parametrami i wybrać najlepszy później.

A oto kilka przykładów, co można zobaczyć po powiększeniu ruchu nagranego zwykłą lustrzanką:

Oczywiście nie wszystkie ruchy da się uchwycić na takim nagraniu. Do niektórych trzeba zastosować wyższą liczbę klatek na sekundę. Zastosowania tego algorytmu w medycynie czy mechanice jest dość oczywiste. Autorzy programu poszli jednak o krok dalej i na podstawie ruchów paczki czipsów odtworzyli… dźwięk z pomieszczenia. W końcu fale dźwiękowe wywołują zmiany ciśnienia, które odkształcają tak delikatne przedmioty, jak opakowania przekąsek. Efekty można zobaczyć w grudniowej prezentacji podczas TEDxBeaconStreet (na stronie TED znajdziecie polskie napisy). W niepowołanych rękach takie narzędzie może okazać się idealnym aparatem podsłuchowym, który małym kosztem pokona dźwiękoszczelne szyby. Wystarczy nagrać odpowiednio delikatny i wrażliwy na odkształcenia obiekt, który znajduje się w pomieszczeniu w odpowiednim momencie, by odtworzyć rozmowę. W eksperymentach używana była kamera zdolna nagrywać z bardzo wysoką liczbą klatek. Jeśli ważne rozmowy mają być prowadzone przy paczce chrupek, lepiej podawać je w masywnej misce.

Kolejnym zastosowaniem, jakie widzą przed tym wynalazkiem naukowcy, jest nasłuchiwanie w kosmosie. Dźwięk nie pokona przestrzeni kosmicznej, ale światło zrobi to bez przeszkód. Można więc pokusić się o rejestrowanie obrazu i odtworzenie dźwięków na jego podstawie. Pozwoli to usłyszeć zjawiska, które wcześniej mogliśmy tylko zobaczyć.