Енн було 30 років, коли у неї стався інсульт у стовбурі головного мозку, основі мозку, що з'єднується зі спинним мозком. Вона перестала рухати ногами, руками та навіть м'язами, що приводять у дію її голосові зв'язки. Тепер, після багатьох років тренувань зі штучним інтелектом (ШІ), інтерфейс «мозок-комп'ютер» (BCI) дозволяє їй спілкуватися майже в реальному часі своїм власним синтезованим голосом.

Щоб досягти цього, її голова повинна бути підключена до машини, яка реєструє її нейронну активність за допомогою сітки з 253 електродів, які розміщені безпосередньо на її мозку. Але це перший раз, коли вона може говорити, хоча й як робот і підключена до пристрою, за понад два десятиліття.

Енн, якій вже за п'ятдесят, не думає слова, вона намагається їх сказати. Область моторної кори, яка відповідає за мовлення, не пошкоджена. Саме тут починається робота групи нейробіологів, інженерів і програмістів ШІ, і саме в цьому полягає одна з відмінностей від інших спроб повернути здатність спілкуватися тим, хто не може говорити. Інші BCI впливають на конкретну область мови, коли пацієнти думають про слово або уявляють, що його пишуть. Ця нова система реєструє те, що відбувається в її мозку, коли вона хоче сказати «привіт».

Про це пояснює у листі Гопала Ануманчіпаллі, професор електротехніки та інформатики в Каліфорнійському університеті в Берклі та співавтор цього дослідження, нещодавно опублікованого в Nature Neuroscience: «Це коли вона намагається сказати „hello“, не думаючи про це. Через параліч Енн не може артикулювати чи вимовляти нічого. Однак нейронний сигнал її наміру є потужним, що робить його надійною підказкою для декодування», – пояснює Ануманчіпаллі.

Декодування починається з електродів, розміщених у моторній корі мовлення. У здорової людини звідси виходять нейронні зв'язки, які досягають, через стовбур головного мозку, м'язів, що контролюють голосовий тракт. З втратою цього зв'язку, близько двадцяти вчених з Берклі та Каліфорнійського університету в Сан-Франциско, спираючись на кілька попередніх робіт, розробили систему навчання на основі алгоритмів, які декодували специфічну нейронну активність Енн, коли вона хотіла артикулювати слово.

За словами Чхоль Джун Чхо з Берклі та провідного співавтора дослідження, «в основному, ми перехоплюємо сигнал там, де думка перетворюється на артикуляцію». У примітці університету Чхо додає: «Те, що ми декодуємо, відбувається після того, як виникла ідея, після того, як було вирішено, що сказати, після того, як було вирішено, які слова використовувати і як рухати м'язами голосового тракту».

Щоб машина та Енн могли спілкуватися, вона повинна була тренуватися з набором з 1024 слів, які система представляла у формі фраз. Вони також тренували BCI з серією з 50 встановлених фраз. Як тільки Енн бачила, що вони починають з'являтися на екрані, вона починала свої спроби говорити, і система перетворювала мозковий сигнал як на текст, так і на голос.

Енн зберегла відео зі свого весілля, що дуже допомогло. З його допомогою вони змогли вибрати голос синтезатора, як вибирають голос навігатора або Siri. Енн сказала дослідникам, що почути власний голос допомагає їй з'єднатися з машиною. Стає звичайною практикою записувати людей з когнітивними порушеннями або хворобами, які загрожують їх здатності говорити в майбутньому, з надією, що наука поверне їм їх голос у майбутньому.

Другий великий внесок цієї роботи – швидкість. Цей BCI не єдиний, який дозволив людям, які втратили можливість говорити, знову спілкуватися. Але досі це були дуже повільні системи. Процес, за допомогою якого суб'єкти мали намір говорити чи писати, повинен був пройти через кілька етапів. Перш ніж щось зрозуміле, будь то голос чи текст, з'являлося на іншому кінці системи, минало кілька секунд, занадто багато для реального та плавного спілкування. Цей новий BCI значно скорочує затримку.

«Приблизно одну секунду, виміряно з того моменту, як наш декодер голосу виявляє її намір говорити в нейронних сигналах», – каже Ануманчіпаллі. Для цього нейробіолога, експерта з обробки мови та штучного інтелекту, цей новий метод передачі перетворює її мозкові сигнали на її персоналізований голос майже в реальному часі. «Їй не потрібно чекати, поки закінчиться фраза чи слово, оскільки декодер працює синхронно з її наміром говорити, подібно до того, як говорять здорові люди», – додає він.

Щоб виключити, що Енн і BCI навчилися повторювати як папуги фрази, які їм пропонувала система (хоча можливих комбінацій були тисячі), на завершальному етапі експериментів дослідники вивели на екран 26 слів, які складають так званий фонетичний алфавіт НАТО. Цей жаргон був методом, започаткованим століття тому і прийнятим військовою організацією в 50-х роках для полегшення радіозв'язку шляхом промовляння команд по буквах. Він починається зі слів альфа, браво, чарлі, дельта... Енн, яка не тренувалася з ними, змогла їх сказати без великої різниці з словниками, з якими вона тренувалася.

Досягнуте – це лише невелика частина того, що не вистачає. Вони вже працюють над тим, щоб їх ШІ захопив неформальні виміри спілкування, такі як тон, виразність, вигуки, запитання... «У нас триває робота, щоб спробувати побачити, чи можемо ми декодувати ці паралінгвістичні характеристики з мозкової активності», – йдеться в примітці Кейло Літтлджон, також співавтор цього дослідження. «Це проблема, яка тягнеться з минулого, навіть у галузях класичного синтезу аудіо, і [розв'язання якої] дозволить досягти повної природності».

Інші проблеми наразі також невирішувані. Однією з них є необхідність відкривати голову та ставити 253 електроди на мозок. Це визнає Ануманчіпаллі: «Наразі лише інвазивні методи довели свою ефективність з BCI мовлення для людей з паралічем. Якщо неінвазивні покращать захоплення сигналу точно, було б розумно припустити, що ми зможемо створити неінвазивний BCI». Але зараз, визнає експерт, вони ще не на цьому етапі.