Ученые научились читать мысли: детали удивительного открытия

Ученые Колумбийского университета (США) создали систему, которая трансформирует мысли в четкую и узнаваемую речь. Нейроинженеры считают, что их система, работа которой основана на нейросетях и вокодера, позволит улучшить систему общения компьютера с мозгом.
Как передает Орбита-Львов, об этом сообщает Scientific Reports.

По словам ученых, когда человек говорит (или даже просто представляет себе, что говорит), в некоторых участках мозга возникает активность. Также четкая картина сигналов наблюдается и тогда, когда мы слышим, как кто-то говорит или представляем себе, что кто-то слушает.

Команда доктора Нима Месгарани (Nima Mesgarani) сосредоточилась на простых компьютерных моделях, которые способны анализировать спектрограммы, представляющие собой визуальное изображение звуковых частот.

Поскольку этот подход не дал ничего похожего на четкую речь, команда доктора Месгарани использовала вокодер — компьютерный алгоритм, который может синтезировать речь после изучения записей разговоров людей. Эта технология аналогична той, которую используют Amazon Echo и Apple Siri.

В рамках исследования пациентов с эпилепсией попросили прослушать фразы, произнесенные разными людьми, и измерить модели мозговой активности. После того эти нейронные узоры обработали вокодеры.

Также исследователи попросили пациентов прослушать дикторов, которые повторяют цифры от 0 до 9, записывая при этом сигналы мозга, которые затем можно было бы пропустить через вокодер.

Звук, который выдал вокодер в ответ на эти сигналы, был проанализирован и очищен нейронными сетями.

В итоге появился роботизированный голос, произносящий последовательность цифр. Для проверки правильности записи доктор Месгарани и его команда поручили отдельным лицам прослушать запись и сообщить о том, что они услышали.

«Мы обнаружили, что люди могут понимать и воспроизводить звуки примерно в 75% случаев», — сказал доктор Месгарани.

Доктор Месгарани и его команда планируют протестировать сложные слова и предложения, и они хотят провести те же тесты на мозговые сигналы, излучаемые, когда человек говорит или думает говорить.

По словам исследователей, их система может быть частью импланта, подобного тому, который используют некоторые больные эпилепсией. Он трансформирует мысли владельца непосредственно в слова.

Напомним, ранее ученые Лондонского университета (Великобритания) заявили, что человечество приближается к глобальной катастрофе — если не изменить методы производства пищи и рацион питания, погибнут миллионы людей.

Источник