Blog (79)
Komentarze (533)
Recenzje (0)
@NRNProjekcja semi-transparentna, AR i... Gorillaz z Madonną (?!) - czyli koncerty Vocaloidów (Vocaloid, cz. 4, ostatnia)

Projekcja semi-transparentna, AR i... Gorillaz z Madonną (?!) - czyli koncerty Vocaloidów (Vocaloid, cz. 4, ostatnia)

14.09.2012 03:00

Nareszcie! W końcu znalazłem chwilę, żeby zamknąć serię Vocaloid :) Wpis niniejszy poświęcony jest koncertom tychże. Jest tu nieco do opowiedzenia, więc pomijając dalsze wstępy, zapraszam do lektury!

Vocaloid Live Concert - historia prawdziwa

Do niedawna wierzyłem, że pierwszy koncert z udziałem Vocaloidów miał miejsce wraz z popularyzacją Character Vocal Series i pojawieniem się na scenie Hatsune Miku. Podejrzewam, że sądziliście tak samo, o ile w ogóle słyszeliście o tych koncertach. Nic bardziej mylnego!

Pierwszy koncert odbył się 6. grudnia 2004 roku, a udział wziął głos "Miriam" (źródło pośrednie ; źródło bezpośrednie ). Jako, że nie było wówczas jeszcze CVS, nie był to koncert w takim sensie, jaki rozumiemy dzisiaj. Zresztą, nie to jest kwintesencją tej sensacji. Otóż koncert ten miał miejsce w... Novosibirsku, w Rosji! Był to tak naprawdę eksperyment z odwróconym użyciem techniki "minus 1". O co chodzi? -1 to technika, w której nagranie nie posiada jednego elementu (np. nagrany jest cały utwór poza solistą instrumentalnym, lub poza wokalem). Tym razem jednak, to właśnie cały utwór wykonywany był na żywo, a wokal generowany był z wykorzystaniem Vocaloida. Żeby tego było mało, całość nie była bezpośrednio nastawiona pod system Yamahy, lecz nazywała się "Polyphony Studio 5th Anniversary Concert". Poniżej fragment artykułu źródłowego :

Among the participants, (...) was one very unusual artist - Yamaha Vocaloid. It performed the song "Sad Mondays" *, (Tune - R.Dattatreya, Lyrics - I.Fomchenkov, Arrangement - A.Ustinov). The vocal performance, done with the voice of Miriam was accompanied by live musicians Alexander Bazanov (drums), Artyom Lapin (bass), Eugene Kolmakov (guitar) and Nikolay Panchenko (saxophone). (...) During the song, (...) a phone connection was established with (...) the song author, the president of Jasmine Music Technology Dr. Ravi E. Dattatreya expressed his delight in the fact that his song was performed in public by such an unusual artist. He said: "We at Jasmine Music are now working to improve this technology. I am glad to be part of the first public performance of Vocaloid! (...)"

Innymi słowy, do listy pracujących nad systemem Vocaloid, poza Hiszpanią (autor modułu przetwarzania sygnałów, a zarazem "ojciec" Vocaloidów) i Japonią (Yamaha i jej technicy, oraz firmy powiązane, jak np. Crypton Future Media) należy dołączyć także Amerykanów ze stowarzyszenia Jasmine Music Technology oraz Rosjan, którzy organizowali wyżej opisany koncert.

Są jednak ludzie, którzy na pewno zarzucą mi, że to nie jest "prawdziwe" wystąpienie Vocaloidów, gdyż nie prezentują się one na "scenie" w swojej "cielesnej" formie. Fakt, przyznaję, jest to coś zupełnie innego, swego rodzaju eksperyment, który jednak przetarł drogę dla późniejszych wystąpień.

[youtube=http://www.youtube.com/watch?v=u_gBSWE_KYE] Jeden z koncertów w Tokyo. Występują Character Vocal 2: Kagamine Rin, oraz Character Vocal 2: Kagamine Len w piosence "Migikata no Chou" (ang. "Butterfly on Your Right Shoulder")

Oficjalna lista "prawdziwych" koncertów

Źródło.

1st Concert Title: Animelo Summer Live -RE:BRIDGE- Date: August 22, 2009 Venue: Saitama Super Arena Location: Tokyo, Japan 2nd Concert Title: MikuFes'09 Date: August 31, 2009 Venue: Studio Coast Location: Tokyo, Japan 3rd Concert Title: 39's Giving Day Date: March 09, 2010 Venue: Zepp, Tokyo Location: Tokyo, Japan 4th Concert Title: MikuPa - Tokyo Date: March 09, 2011 Venue: Zepp, Tokyo Location: Tokyo, Japan 5th Concert Title: Mikunopolis Date: July 02, 2011 Venue: Nokia Theater Location: California, United States 6th Concert Title: MikuPa - Sapporo Date: August 16 & 17, 2011 Venue: Education & Culture Grand Hall Location: Sapporo, Japan 7th Concert Title: MikuPa - Singapore Date: November 11, 2011 Venue: Suntec Exhibition Hall 402 Location: Suntec City, Singapore 8th Concert Title: Title: MikuPa 2012 Date: March 08, 2012 Venue: Tokyo Dome City Hall Location: Tokyo, Japan 9th Concert Title: Title: 39's Giving Day 2012 Date: March 09, 2012 Venue: Tokyo Dome City Hall Location: Tokyo, Japan 10th Concert Title: MikuPa Hong Kong Date: Oct. 02, 2012 Venue: KITEC Star Hall Location: Hong Kong 11th Concert MikuPa Taiwan Date: Oct. 06, 2012 Venue: Taipeishow Location: Taiwan 12th Concert (TBA)

[youtube=http://www.youtube.com/watch?v=VlTZ0IWfVBQ] Ten sam koncert w Tokyo. Występują Character Vocal 1: Hatsune Miku, oraz Character Vocal 3: Megrine Luka w piosence "Magnet"

Technologia

Trudne początki

Pierwszy koncert w aktualnej "konwencji" miał miejsce w Tokyo, w 2009 roku. Użyto wówczas zwykłego ekranu projekcyjnego i projektora o wysokiej mocy. Podkład muzyczny (co jest wspólne także dla wszystkich późniejszych koncertów) zapewniał prawdziwy zespół, grający "w czasie rzeczywistym".

Ogólnie rzecz biorąc - żadna nowość, żadna wybitna technologia... A jednak całość okazała się wielkim sukcesem, i kolejnym krokiem do rozwoju idei koncertów wirtualnych wokalistów.

Spytacie, jak wygenerowano obraz (warstwa software'owa)? Do tej informacji nie udało mi się dokopać, ale... Pamiętacie może jak wspominałem o aplikacji MikuMikuDance, jako elemencie rozwoju fandomu zebranego wokół Hatsune Miku? Otóż aplikacja ta miała gigantyczny wpływ na rozwój koncertów... fanowskich! Zaprojektowano specjalny program o nazwie AniMiku, który potrafi wczytywać modele oraz sekwencje animacji z MikuMikuDance oraz wyświetlać je w niezależnym oknie na dowolnym urządzeniu jak monitor, czy projektor w sposób niemal identyczny z tym mającym miejsce na oficjalnych koncertach. O wszystkim napisał autor aplikacji, Re:VB-P, we wpisie na forum VocaloidOtaku.net. Warto zaznaczyć, że oprogramowanie to jest faktycznie wykorzystywane do koncertów fanowskich, m.in. na konwentach - przykładem może być Tora-Con (artykuł ang. + film), gdzie połaszono się nawet o zastosowanie przeźroczystego ekranu-dyfuzora.

[youtube=http://www.youtube.com/watch?v=WV4Sah8aSqI] Przedpremierowa demonstracja działania AniMiku.

[youtube=http://www.youtube.com/watch?v=fIkZBY90n8o] Samouczek krok-po-kroku dla AniMiku. Uwaga! Filmik zawiera niezidentyfikowany szum w tle.

Dynamiczny rozwój

Jednak już następny koncert był przełomowy. MikuFes'09 to przedsięwzięcie poświęcone w głównej mierze właśnie Hatsune Miku. Przedstawiono wówczas całkowicie nową technologię.

Na scenie umieszczono dwie metalowe wieże (pylony), między którymi rozstawiono prostokątny, przejrzysty lub semi-transparentny ekran. Nie udało mi się uściślić informacji, jakie medium zastosowano - czy było to szkło, szkło dymione, lustro weneckie, czy jakiś rodzaj elastycznego półprzejrzystego materiału. Najczęściej powtarza się w Sieci fraza "materiał o wysokiej przeźroczystości" lub "przejrzysty ekran" (źródło ). Nie można więc żadnej z powyższych opcji wykluczyć, choć ja skłaniałbym się ku zwykłemu szkłu, o czym świadczy m.in. fakt, że widać tylną część sceny.

[youtube=http://www.youtube.com/watch?v=GgcqVeQUt7c] Zrobiony metodą "chałupniczą" pseudo-hologram, wyglądający do złudzenia podobnie do technik zastosowanych na koncercie. Prawda, że prosta idea?

Na tym koncercie zastosowano jednak tylko jeden projektor, a obraz wyświetlany był w formie "3D na 2D" (obraz modelu 3D wyświetlany na dwuwymiarowej powierzchni). Później było już tylko lepiej. Wprowadzono wyświetlanie większej liczby postaci na raz, nowoczesny system wieloprojektorowy, oraz nową, niższą pozycję tychże, dzięki czemu nie powodują one oślepienia widzów patrzących z dołu.

Warto też zwrócić uwagę, że w późniejszych koncertach planowano (niestety, nie posiadam odpowiedniego źródła, aby to potwierdzić) zastosowanie ekranów dwuwarstwowych, co miałoby zapewnić wrażenie pełnego trójwymiaru.

Prawdziwe 3D za sprawą rozszerzonej rzeczywistości

20. października 2011 roku, w Tokyo, odbył się koncert w ramach Digital Content Expo. Ponownie dokonał się przełom, łączący świat rzeczywisty z tym wirtualnym. Na scenie występowały bowiem prawdziwe tancerki... cały koncert był jednak emitowany przez live stream po przepuszczeniu przez system rozszerzonej rzeczywistości. W ten sposób, wraz z tymi prawdziwymi tancerkami, udział brały avatary Vocaloidów. Było to coś kompletnie przełomowego, gdyż po raz pierwszy zrobiono coś takiego w ten konkretny sposób. Więcej informacji oraz filmy z wydarzenia znajdziecie na BBC (ang.) oraz Vocaloid Blog (jap.).

Co do "kompletnego przełomu" - faktycznie, zastosowanie AR (en. "Augumented Reality", czyli właśnie rozszerzonej rzeczywistości) w takim celu było czymś nowym. Jednak występy postaci wirtualnych na scenie wraz z prawdziwymi ludźmi mają nieco dłuższą historię.

Duch Peppera, Gorillaz i Madonna - Grammy 2006

Tak się składa, że już 6 lat temu zastosowane przy koncertach Vocaloidów techniki miały swoje zastosowanie na rynku muzycznym. Jako, że jestem fanem technologii Yamahy, ciężko mi jest przyznać coś takiego, ale pierwszeństwo w tej kategorii mają Gorillaz i Madonna, za sprawą ich wystąpienia w czasie wręczania Grammy w 2006 roku.

Zastosowano wówczas technikę o nazwie "Pepper's Ghost" autorstwa Henry'ego Dircksa, a spopularyzowaną przez Johna Henry'ego Pepper, zwanego "Profesorem". Ogólnie wykorzystywana jest ona m.in. w przedstawieniach teatralnych z udziałem "duchów" oraz w parkach rozrywki, w atrakcjach typu "nawiedzony dom". Technika ta, polega na odpowiedniej "zabawie" oświetleniem oraz półprzejrzystym lustrem ustawionym pod kątem względem widowni, co pozwala na stosowanie różnych ciekawych sztuczek w czasie przedstawienia, bez konieczności stosowania efektów specjalnych i CGI (ang. "Computer Generated Image"). Więcej o tej technice dowiecie się z angielskiej Wikipedii (niestety, po polsku tego artykułu nie znalazłem; źródło 1 ; źródło 2 ).

Jak to wszystko wyglądało w tym przypadku możecie zobaczyć na nagraniu z koncertu - w szczególności polecam fragment od 2:20 do 3:05. Nie, Madonna tak naprawdę nie chodziła między komputerowymi postaciami - to co widać na filmie, to odbicie, tworzące odpowiednie złudzenie optyczne.

[youtube=http://www.youtube.com/watch?v=2lGimcqEZno] Grammy 2006 - Gorillaz i Madonna w miksie "Feel good inc." i "Hung up"

Niestety, jeśli chodzi o postaci komputerowe, również w tym przypadku mamy do czynienia ze złudzeniem trójwymiaru.

Prawdziwe 3D nadchodzi!

Wciąż są jednak prowadzone prace nad nowymi technologiami projekcji trójwymiarowej. Jedne projekty polegają na wyświetlaniu na (jedno- lub wielowarstwowej) tafli szkła obrazu z matrycy projektorów*, co pozwala na uzyskanie takiego efektu za sprawą odpowiedniej polaryzacji światła. Inne, polegają na generowaniu sztucznej mgły i odpowiedniej manipulacji światłem oraz samą mgłą. Jeszcze inne, jak poniższy przykład, wcale daleko nie odbiegają od techniki zastosowanej przy koncertach Vocaloidów:

[youtube=http://www.youtube.com/watch?v=HtVcN0q-A08] Prezentacja systemu Musion Eyeliner. Wbrew pozorom, nie został jeszcze zastosowany w żadnym Vocaloid Live Concert. A szkoda, bo doskonale by się nadawał.

* - nie śmiejcie się ze mnie, ale... zgubiłem gdzieś filmik z prezentacją tego rozwiązania... jak go znajdę, wstawię go tu od razu ;)

Na zakończenie - pytanie do publiczności.

Zastanówmy się teraz nad jedną, dość istotną kwestią. Wyobraźcie sobie połączenie technologii i technik opisanych przeze mnie we wpisach serii Vocaloid, oraz we wpisie o wirtualnej wokalistce z AKB48.

Czy nie obawiacie się przyszłości, w której generowani będą "sztuczni" ludzie, jak Aimi Eguchi, którzy otrzymują cyfrowo przetworzony głos za sprawą systemu Vocaloid i jemu podobnych, oraz którzy są obrazowani w pełnym trójwymiarze na scenie pełnej ludzi, w sposób uniemożliwiający rozpoznanie, czy jest to postać prawdziwa, czy projekcja (np. za sprawą Peppers Ghost)?

Artykuły z serii Vocaloid:

Wybrane dla Ciebie
Komentarze (8)