Кадр из фильма Акиры Куросавы «Сны» (1990 г.).
ФотоLegion Media
Не за горами тот день, когда мы будем просить умный гаджет показать нам сны, которые мы видели неделю назад. Исследователи еще на шаг приблизили тот день, когда технологии смогут подключаться к нашему сознанию и извлекать образы наших мыслей.
Нейробиологи из Национального университета Сингапура и Китайского университета Гонконга сообщили, что разработали процесс, способный генерировать видео из сканирования мозга. В исследовании, опубликованном на сервисе препринтов arXiv, они объяснили, что для своего открытия использовали функциональную магнитно-резонансную томографию (ФМРТ). Объединив изображения, полученные с ее помощью, и технологии Stable Diffusion (ПО, создающее изображения по текстовым описаниям), они получили плавные видео высокого качества.
Stable Diffusion раньше использовали, чтобы получить картинки, и искусственный интеллект с этим неплохо справлялся. (Вот, например, краткая история Вселенной за пару минут от этой нейросети.) А с видео пока есть затруднения. ФМРТ фиксирует изображения активности мозга каждые несколько секунд, и из-за этого страдает видео — стандартная скорость захвата видео составляет 30 кадров в секунду.
Тем не менее команда добилась высококачественного видео с помощью своей модели Mind-Video, которая сгладила недостающие фрагменты. В результате точность видео с динамикой движения составила 85%.
Да вы и сами можете оценить, насколько точно получилось. На двух встроенных окнах видео показаны две картинки: слева настоящие объекты, а справа то, как «дорисовала» их нейросеть.
Это исследование нейробиологи провели не ради развлечения. Они полагают, что их открытие в перспективе распахнет новые горизонты изучения работы мозга. А если и нет, то сама перспектива запечатлеть сны выглядит очень волнующей, ведь в 90% случаев мы их забываем в первые минуты после того, как проснемся.
