Wyszukiwanie naprawdę podobnych obrazków i Photosynth w jednym
Nie od dziś wiadomo, że konferencje SIGGRAPH to kopalnia pomysłów i ciekawych rozwiązań na potrzeby grafiki komputerowej, obróbki dźwięku i wszelkich multimediów. Tym razem na azjatyckiej edycji wydarzenia zaprezentowany zostanie ciekawy projekt, który być może kiedyś odmieni oblicze wyszukiwarek obrazków.
Celem projektu jest znalezienie wizualnie podobnych obrazów w sieci. Jednak nie ma to być wyszukiwarka typu TinEye, która znajdzie inne rozmiary grafiki identycznej z podaną na poziomie pikseli, ale coś bardziej „ludzkiego”. Algorytm opracowany na Carnegie Mellon University znajduje grafiki przedstawiające podobny obiekt, ale podobny w sposób, w jaki określiłby to ludzki mózg, a nie maszyna analizująca kolorowe punkty. Algorytm korzysta z możliwości znalezienia kluczowych fragmentów obrazu i na tej podstawie wyszukuje podobne obiekty na zdjęciach kolorowych, czarno-białych, obrazach, a nawet szkicach.
Szczegóły i naukowy opis algorytmu znajdują się w publikacji uniwersyteckiej (PDF), a dodatkowe materiały można znaleźć na stronie projektu. Za to osobom mniej zainteresowanym równaniami polecamy prezentację wideo. Jak widać, wyniki wyszukiwania są lepsze nawet niż Wyszukiwanie obrazem wprowadzone niedawno przez Google, zwłaszcza kiedy mamy do czynienia ze szkicami. Szczególnie imponujące są wyniki zwrócone na podstawie schematycznego rysunku roweru i konturów samochodów.
Szerokie możliwości algorytmu mogą zrewolucjonizować sposób, w jaki wyszukujemy obrazki. W Internecie będzie można znaleźć inne zdjęcia tego samego obiektu. I to nie tylko inaczej kadrowane lub o innym rozmiarze, ale również zrobione o innej porze roku, o innej porze dnia i w innej tonacji kolorystycznej. Taka wyszukiwarka aż prosi się o wersję mobilną, która w połączeniu z geolokalizacją poda nam informacje o obiektach w pobliżu jeszcze lepiej, niż Google Goggles. Poza tym wyszukiwarka jest niemal stworzona dla osób pracujących z grafiką wszelkiego rodzaju, którym precyzyjne wyniki wyszukiwania zdjęć danego budynku, obrazów namalowanych w tym miejscu lub szkiców wybranego obiektu zaoszczędzi wiele godzin żmudnego przeszukiwania stron typu iStock Photo. A z drugiej strony, jak wydać było na prezentacji, algorytm pozwoli ze sporym prawdopodobieństwem określić skąd zostało zrobione zdjęcie, a nawet gdzie siedział autor rysunku.
Wypada wyjaśnić jeszcze nawiązanie do PhotoSynth — usługi pozwalającej między innymi na tworzenie trójwymiarowych panoram z zestawów zdjęć. Dzięki temu algorytmowi możliwe jest wyszukiwanie zdjęć „sąsiadujących” oraz ułożenie ich w „graf podobieństwa”. Jeśli będziemy poruszać się po ścieżkach w grafie, uzyskamy efekt przypominający oglądanie panoram w Photosynth. W ten sposób można nie tylko układać i dopasowywać do siebie zdjęcia z określonego zbioru, ale również znajdować grafiki, które pomogą uzupełnić takie zestawy.
Na razie proces analizy i przeszukiwania zbiorów grafik nie jest zbyt wydajny, ale zespół pod przewodnictwem Alexeia Efrosa będzie pracował nad jego optymalizacją. Projekt jest ciekawy i prawdopodobnie trafi pod skrzydła któregoś z poważnych graczy na rynku wyszukiwania obrazów. Plotka głosi, że Google już dofinansował projekt, choć nie wiadomo jaką kwotą.