Однако ученые точно не знали, как именно эти движения, называемые артикуляторными жестами, планируются мозгом. В частности, не было полностью понятно, как кора головного мозга контролирует производство речи и интерпретирует жесты.
Расшифровка сигналов головного мозга
Ученые из Северо-западного университета регистрировали сигналы мозга с поверхности коры, используя электроды, размещенные у пациентов, перенесших операцию по удалению опухолей головного мозга. Пациенты должны были бодрствовать во время операции, поэтому исследователи попросили их прочитать слова с экрана.
После операции ученые отмечали время, когда пациенты воспроизводили фонемы и жесты. Затем они использовали записанные сигналы мозга из каждой области коры и сопоставляли их с тем, какие фонемы и жесты использовали пациенты, и измеряли точность расшифровки. Сигналы головного мозга из предцентральной коры лучшим образом совпадали с жестами, чем с фонемами, в то время как сигналы из нижней лобной коры были одинаково хороши для декодировании как фонем, так и жестов. Эта информация помогла подтвердить лингвистические модели речевого производства, а также в будущем поможет инженерам в разработке нейрокомпьютерных интерфейсов для декодирования речи из этих областей мозга.