Мозковий імплантат перетворює думки на мову в реальному часі

Майже через два десятиліття після того, як вона перенесла інсульт стовбура мозку у 30-річному віці, що позбавило її здатності говорити, жінка у США знову змогла перетворювати свої думки на слова в режимі реального часу завдяки новому процесу взаємодії мозку з комп’ютером (BCI). Аналізуючи її мозкову активність з інтервалами у 80 мілісекунд і перетворюючи її в синтезовану версію її голосу, інноваційний метод, розроблений американськими дослідниками, усунув дратівливу затримку, яка була характерна для попередніх версій цієї технології.

Прорив у технології перетворення думок на мову

Здатність нашого тіла видавати звуки в той момент, коли ми їх обдумуємо, є функцією, яку ми часто сприймаємо як належне. Лише у рідкісні моменти, коли нам доводиться чекати перекладача або чути нашу мову з затримкою через динамік, ми усвідомлюємо швидкість власної анатомії.

Для людей, у яких зв’язок між мозковими центрами мовлення та здатністю формувати звуки був порушений, наприклад, через такі захворювання, як аміотрофічний склероз, або через пошкодження критично важливих ділянок нервової системи, мозкові імпланти, що працюють у парі зі спеціалізованим програмним забезпеченням, відкривають нові можливості для спілкування. Останнім часом у сфері BCI відбулися значні прориви, спрямовані на скорочення часу, необхідного для перетворення думок на мову.

Подолання затримок у мовному синтезі

Більшість сучасних методів вимагають повного аналізу всього речення перед тим, як програмне забезпечення зможе зрозуміти його зміст, що суттєво затягує процес від формування думки до її озвучення. Це не лише неприродно, але й може бути неприємним і незручним для користувачів.

«Покращення швидкості декодування та зменшення затримки мовного синтезу є критично важливими для динамічної розмови та плавного спілкування», – пишуть у своєму звіті дослідники з Каліфорнійського університету в Берклі та Сан-Франциско.

Затримка ще більше ускладнюється тим, що відтворення синтезованої мови займає додатковий час, і користувачеві та слухачеві потрібно його сприйняти, пояснює команда під керівництвом інженера-комп’ютерника Кейло Літтлджона (Kaylo Littlejohn) з Каліфорнійського університету в Берклі.

Використання нейромереж для прискорення мовлення

Крім того, більшість існуючих методів передбачають навчання інтерфейсу на основі фізичних спроб користувача промовити слова. Для людей, які давно не говорили або ніколи не мали цієї можливості, це створює серйозні труднощі у зборі достатньої кількості даних для навчання системи.

Щоб подолати ці перешкоди, дослідники навчили гнучку глибоку нейронну мережу аналізувати активність сенсомоторної кори 47-річної учасниці, коли вона подумки «говорила» 100 унікальних речень зі словника, що містив трохи більше 1000 слів.

Літтлджон і його колеги також використовували допоміжну форму комунікації, засновану на 50 фразах із меншого набору слів.

Майже природне мовлення в режимі реального часу

Операція з інтервалами у 80 мілісекунд дозволила новій системі перекладу нейронних команд у мову працювати майже природним чином. На відміну від попередніх методів, цей процес не вимагав від учасниці спроб фізично вимовляти слова – достатньо було просто обмірковувати речення у своїй свідомості. Результати були значними: система перекладала майже вдвічі більше слів за хвилину порівняно з попередніми методами.

Ще більш важливим стало використання прогнозувального методу, який міг постійно інтерпретувати думки у реальному часі, забезпечуючи природне мовлення у вісім разів швидше за попередні підходи. Завдяки синтезу голосу, заснованому на записах її мови до інсульту, система також імітувала власний голос пацієнтки. Запустивши цей процес без обмежень у часі, команда продемонструвала, що їхній підхід здатен інтерпретувати навіть ті нейронні сигнали, які система не була спеціально навчена розпізнавати.

Перспективи технології

Автори дослідження зазначають, що метод потребує подальшого вдосконалення, перш ніж його можна буде вважати клінічно життєздатним. Хоча мова була зрозумілою, вона поки що поступається методам розпізнавання тексту. Однак, враховуючи неймовірний прогрес технології за останні кілька років, є вагомі підстави вважати, що в недалекому майбутньому ті, хто втратив здатність говорити, зможуть знову висловлювати свої думки – і навіть співати хвалу дослідникам, які створили ці пристрої для «читання розуму». Це дослідження було опубліковане у журналі Nature Neuroscience.