Instant NeRF od NVIDIA Research zamienia zdjęcia w sceny 3D

NVIDIA stworzyła algorytm, który jest w stanie renderować sceny z obrazów w ciągu zaledwie kilku milisekund. Instant NeRF wykorzystuje sztuczną inteligencję do zrekonstruowania scen 3D z kilku obrazów 2D wykonanych pod różnymi kątami.

Jak wynika z informacji opublikowanych przez NVIDIĘ, cały proces, znany jako renderowanie odwrotne, wykorzystuje sztuczną inteligencję do przybliżenia zachowania światła w świecie rzeczywistym. W ten sposób, mając kilka obrazów wykonanych pod różnymi kątami, możliwe jest zrekonstruowanie sceny 3D.

Dane wskazują, że technologia Instant NeRF, wykorzystując sieci neuronowe, potrzebuje zaledwie kilku sekund na przeszkolenie na kilkudziesięciu nieruchomych zdjęciach. Mając dane dotyczące kątów kamery, z których zostały zrobione zdjęcia, model może wyrenderować powstałą scenę 3D w ciągu kilku milisekund.

Twórcy modelu podają, że tworzenie tego rodzaju scen tradycyjnymi metodami zajmuje wiele godzin lub dni, w zależności od złożoności i rozdzielczości wizualizacji. Instant NeRF znacząco skraca czas, szczególnie przy zachowaniu kilku środków ostrożności. W przypadku tworzenia scen z udziałem ludzi lub ruchomych elementów, niezbędne jest szybkie robienie ujęć. Jeśli podczas procesu przechwytywania obrazu będzie zbyt dużo ruchu, scena generowana przez sztuczną inteligencję zostanie rozmyta.

Zdaniem deweloperów, stworzona technologia może zostać wykorzystana do szkolenia robotów i samojezdnych samochodów. Z jej pomocą będą w stanie w zrozumieć rozmiar i kształt rzeczywistych obiektów poprzez przechwytywanie ich obrazów lub nagrań wideo. Mają także nadzieję, że możliwe będzie jej wykorzystywanie w architekturze i rozrywce do szybkiego generowania cyfrowych treści, które można będzie łatwo modyfikować.