Film prosto z mózgu. Dzięki AI możemy zobaczyć, jak działa nasz umysł

MinD-Video jest trenowany na publicznie dostępnych danych z odczytów funkcjonalnego obrazowania mózgu metodą rezonansu magnetycznego. Dane są przydatne dla treningu, zwłaszcza jeśli podczas obrazowania osobie pokazywano jakieś wideo. Twórcy używają też w tym celu rozszerzonego modelu generowania obrazu AI Stable Diffusion.

Dwumodułowy system jest w stanie na podstawie odczytywanych z mózgu badanego obrazów i generatora grafiki AI, który wypełni pomiędzy nimi luki, wygenerować "wysokiej jakości" rekonstrukcję filmu, który był oglądany przez badanego podczas odczytywania sygnału z jego mózgu. Naukowcy ustalili, że w zależności od różnych wskaźników ich model był w stanie zrekonstruować filmy ze średnią dokładnością wynoszącą nawet 85 proc.

Artykuł, który naukowcy napisali na temat nowego modelu, opiera się na wcześniejszej pracy, polegającej na wykorzystaniu sztucznej inteligencji do odtwarzania obrazów poprzez samą tylko analizę fal mózgowych. Sprawienie, że graficzna AI uzupełnia brakujące klatki, by stworzyć płynny film, jest dosyć imponujące, co można stwierdzić, porównując oryginalne i "zrekonstruowane" filmy dostępne publicznie na stronie badaczy.

Filmy wygenerowane przez model w widoczny sposób różnią się od oryginałów i potrzeba jeszcze będzie wiele pracy, nim różnice przestaną być tak rzucające się w oczy. Przedstawiony powyżej kot to dosyć dobrze odwzorowany przykład, ale już z innymi pokazanymi porównaniami jest trochę gorzej. Poniżej możemy zobaczyć jak AI znacząco uprościło widziany na filmie z podróży samochodem krajobraz oraz jak z żółwia morskiego zrobiło rybę.

Naukowcy uważają, że obrazy generowane przez AI mogą dać nam wgląd w neurologiczne działanie naszego umysłu, na przykład poprzez ukazanie dominacji kory przedczołowej w procesie percepcji wzrokowej. Jednak od generowania obrazów z naszej wyobraźni poprzez założenie hełmu i "wymyślenie" sobie filmu jesteśmy niestety dosyć daleko.