Ученые превратили активность птичьего мозга в песню

Команда смогла полностью воссоздать песню птицы, считывая только ее мозговую активность. Так удалось воспроизвести даже сложные вокализации — вплоть до высоты и тембра голоса и объема звука. В будущем эта работа поможет создать вокальные протезы для людей, которые потеряли способность говорить.

Работа опубликована в журнале Current Biology. Команда исследователей из Калифорнийского университета в Сан-Диего (США) воспроизвела песню зебровой амадины. Биологи имплантировали кремниевые электроды взрослым самцам и проследили за активностью птичьего мозга — пока птицы пели. В частности, ученые регистрировали активность нейронов в сенсомоторной части мозга, которая контролирует мышцы, ответственные за пение.

Затем исследователи загрузили данные в алгоритмы машинного обучения. По задумке, с их помощью должны были воссоздать компьютерные копии реальных песен зебровой амадины на основе нейронной активности. Для этого команда использовала простые представления паттернов вокализации — изменения давления и напряжения в сиринксе (голосовом органе) птиц во время пения. Затем исследователи обучили алгоритмы сопоставлять нейронную активность с этими представлениями.

По словам авторов работы, использовать представления удобнее, чем сопоставлять нейронную активность с самими песнями. «Если вам нужно смоделировать каждый нюанс, каждую деталь лежащего в основе звука, то проблема воспроизведения становится намного сложнее. А имея простое представление, система может изучать данные — более надежные и подходящие для более широкого диапазона условий и поведения», — рассказал Викаш Гиля, автор работы.

Следующий шаг — показать, что система может реконструировать пение птиц по нейронной активности в реальном времени. Проблема будущей работы в том, что пение певчих включает в себя не только воспроизведение звука, но и постоянный мониторинг окружающей среды и обратной связи. То есть птицы сами слушают свои песни и вносят коррективы, исходя из того, что в тот момент услышали и надеются спеть дальше.

В итоге исследователи планируют создать вокальный протез для людей, которые лишись возможности говорить. Он должен работать в режиме реального времени: так человек сможет контролировать то, что говорит. «Мы взяли данные исследований за последние 40 лет, чтобы создать речевой протез — устройство, которое не просто преобразует сигналы мозга в рудиментарный набор целых слов, но дает ему возможность издавать любой звук, а значит, и любое слово, которое можно себе представить», — отметил Тимоти Гентнер, автор работы.