Дослідники MIT розробили прилад, який може чути все, що ви промовляєте подумки. Механізм його дії ґрунтується на субвокалізації, а виглядає він дещо неприємно – прилад схожий на хедкраба та кальмара одночасно.

Проект AlterEgo складається з пристрою, який треба носити на собі та відповідної обчислювальної системи. Електроди в апараті зчитують нервово-м’язові сигнали щелепи та обличчя, які викликаються внутрішніми вербалізаціями – словами “у вашій голові” – але ці сигнали невидимі для людського ока. Далі сигнали передаються до системи машинного навчання, яка буде трансформувати певні сигнали у конкретні слова.

Пристрій також має пару навушників, які передають коливання крізь кістки обличчя до внутрішнього вуха. Оскільки вони не блокують вушний канал, навушники дозволяють системі передавати інформацію користувачеві, без перешкод для розмов чи інших слухових відчуттів.

Цей пристрій є частиною повної системи безшумної обчислювальної техніки, яка дозволяє користувачеві непомітно створювати та отримувати відповіді на складні обчислювальні проблеми. Наприклад, в одному з експериментів дослідників учасники використовували систему, щоб мовчки повідомляти ходи противників у шаховій грі, а також мовчки отримувати відповідні комп’ютерні рекомендації.

“Мотивація проекту зосереджувалася на тому, щоб побудувати пристрій для розширення інтелекту. Наша ідея полягала в наступному: чи можемо ми створити таку обчислювальну платформу, яка певною мірою сплавить людину та машину, яка буде сприйматися як розширення власних пізнавальних можливостей?”

– Арнав Капур, аспірант медичної лабораторії MIT, який очолив розробку нової системи. 

Патті Маес, професор медіа-мистецтв та науки, а також консультант Арнава Капура, пояснює філософію нової системи. Люди, в основному, не можуть жити без мобільних телефонів та інших цифрових пристроїв. Але на даний момент використання цих пристроїв є дуже руйнівним. Якщо ми хочемо перевірити щось, що має відношення до розмови, треба знайти свій телефон, відкрити додаток і ввести якесь ключове слово для пошуку, і все це вимагає, щоб людина перенесла увагу зі свого оточення на телефон. І сам професор, і його студенти дуже довго експериментували з новими формфакторами та типами досвіду, які дозволяють людям користуватися всіма чудовими знаннями та послугами цих пристроїв, залишаючись при цьому тут і зараз.

Тонкі сигнали

Ідея про те, що внутрішня вербалізація має фізичні кореляти, існувала приблизно з 19 століття, а в 1950-х роках це питання серйозно досліджували. Однією з цілей руху “швидкого читання” 1960-х років було усунення внутрішньої вербалізації, або “субвокалізації”.

Щоб перетворити субвокалізацію на своєрідний комп’ютерний інтерфейс, знадобилося декілька експериментів. Першим кроком дослідників було визначення того, які місця на обличчі є джерелами найбільш точних нервово-м’язових сигналів. Піддослідним помістили 16 електродів на різні ділянки обличчя – далі вони мали 4 рази подумки промовляти однакові слова, при цьому електроди кожного разу переміщали.

Для аналізу отриманих даних дослідники написали код і виявили, що сигнали від семи окремих місць розташування електродів однаково добре вирізняють субвокалізовані слова. У своїй статті дослідники говорять про прототип мовного інтерфейсу, який обтікає навколо задньої частини шиї, як телефонна гарнітура, і має щупальцеподібні вигнуті відростки, що торкаються обличчя в семи місцях з обох боків рота і вздовж щелепи.

Але в поточних експериментах науковці отримали очікувані результати, використовуючи лише чотири електроди уздовж однієї щелепи, що має покращити зручність пристрою при носінні.

Як тільки місця для розташування електродів були обрані, дослідники почали збирати дані для декількох обчислювальних задач з обмеженими словниками – по 20 слів кожна. Однією була арифметика, в якій користувач міг субвокалізувати різні розрахунки; інша було шаховою програмою, в якій користувач повідомляв про рухи, використовуючи стандартну систему нумерації шахів.

Для пошуку кореляції між окремими нервово-м’язовими сигналами та окремими словами використовувалася нейронна мережа. Основна конфігурація дослідницької системи містить таку мережу, яка вчиться виявленню субвокалізованих слів з нервово-м’язових сигналів, а також може підлаштуватися під особливості конкретного користувача.

Практичні питання

Під час експериментів кожному з тих, хто носив прилд, знадобилося близько 15 хвилин для налаштування. Капур говорить, що продуктивність системи повинна поліпшитися зі збільшенням кількості навчальних даних, які можна зібрати під час звичайного використання. В рамках поточної роботи дослідники збирають велику кількість даних про більш складні розмови, сподіваючись створити розширені словники.

Але якщо у повсякденному житті ми можемо легко розмовляти голосом, то в деяких умовах пристрої для “читання” думок виглядають справді необхідними. Уявіть, що ви керуєте літаком: велика кількість супутніх шумів та спеціальні захисні навушники дещо ускладнюють процес комунікації, навіть попри наявність мікрофона. Або ж ви працюєте у занадто тихому середовищі – і є дина ваша змога спілкуватися – це жести. Уявіть, наскільки б корисною була мисленнєва комунікація у таких випадках? Ми навіть не говоримо про людей, які з тих чи інших причин втратили здатність говорити. “Читач думок” + синтезатор мовлення – і ми знову маємо повноцінного члена суспільства, якого чують інші.