Как Intel помогла сохранить голос Стивену Хокингу

В первый раз Стивен Хокинг увидел Гордона Мура, сооснователя компании Intel, на конференции в 1997 году. Мур заметил, что компьютер Хокинга, который тот использовал для общения, был сделан на процессоре AMD, и спросил, не хотел ли бы ученый получить «реальный компьютер» с микропроцессором Intel. С этого времени Intel оказывает Хокингу техническую поддержку, заменяя его компьютер каждые два года. 

Кликер вместо голоса

Хокинг, который болеет БАС уже несколько десятков лет, потерял возможность говорить в 1985 году, во время поездки в Церн (Женева), где он подхватил пневмонию. В больнице его подключили к аппарату искусственной вентиляции легких. Его состояние было критическим. Врачи спросили его жену Джейн, следует ли им продолжать вентиляцию или отключить его от аппарата и прекратить жизнь. Она категорически отказалась от прекращения терапии. Хокинга перевезли в Эдинбрускую больницу в Кембридже, где врачи смогли побороть инфекцию. Чтобы он мог дышать, пришлось наложить трахеостому: через специальное отверстие в шее врачи провели трубку в его легкие. В результате этой манипуляции Хокинг необратимо потерял возможность говорить.

Некоторое время Стивен Хокинг общался, используя специальные карточки, терпеливо указывая на буквы и слова, поднимая брови. Мартин Кинг, врач, который занимался тогда Хокингом, стал искать возможность более эффективной системы для общения. Он позвонил в калифорнийскую компанию Words Plus, у них была программа «Эквалайзер», позволяющая пользователю выбирать слова и команды на компьютере с помощью кликера, который управлялся рукой. Кинг связался с управляющим директором Words Plus Вальтером Волтоцем и спросил, может ли помочь их программа профессору физики из Англии с диагнозом БАС. Оказалось, что Волтоц сделал более раннюю версию «Эквалайзера», чтобы помочь своей теще, которая также страдала от БАС и потеряла возможность говорить и писать. «Я спросил, не Стивен ли это Хокинг? Но он не мог подтвердить мне имя без разрешения, — рассказывает Волтоц. — На следующий день он позвонил мне и подтвердил это. Я сказал, что сделаю все, что нужно, бесплатно».

Первый «Эквалайзер» был установлен на компьютере Apple II, и связан с синтезатором речи, сделанном компанией Speech Plus. Эта система была потом адаптирована Дэвидом Мейсоном, мужем сиделки Хокинга, который был инженером. Он сделал портативную систему, которая крепилась к ручке коляски Хокинга. С этой новой системой Хокинг мог общаться со скоростью 15 слов в минуту.

Тем не менее нейроны, которые давали возможность его пальцу шевелиться, продолжали умирать.  К 2008 году рука Хокинга стала слишком слабой, чтобы управлять кликером. Его ученик и помощник, который был с ним в этот период, разработал специальное устройство «кликер для щеки». Соединенное с очками ученого, устройство улавливало с помощью низкого инфракрасного луча, когда Хокинг дергал мышцей щеки.

С того времени Хокинг добился того, что очень ловко стал писать электронные письма, активно использовать интернет, писать книги и говорить, используя всего лишь одну мышцу. Тем не менее его способность общаться продолжала снижаться. К 2011 году он мог писать только одно или два слова в минуту, поэтому он отправил письмо Муру, в котором написал: «Моя речь стала очень и очень медленной. Может ли Intel как-то помочь мне?»

Первый подход

Мур попросил Джастина Ратнера, главного технического директора Intel, изучить проблему. Ратнер собрал команду экспертов в области взаимодействия «человек-компьютер» из Intel Labs, которых привез в Кембридж на конференцию «Состояние Вселенной» по случаю 70-летия Стивена Хокинга 8 января 2012 года. «Я привез группу специалистов из Intel Labs, — сказал Ратнер аудитории. — Мы собираемся внимательно изучить применение имеющихся компьютерных технологий, чтобы увеличить скорость, с которой Стивен общается. Мы надеемся, что эта команда сделает прорыв и найдет технику, которая позволит ему общаться на том же уровне, который был несколько лет назад».

Хокинг был слишком болен, чтобы принять участие в праздновании своего дня рождения, поэтому он встретился с экспертами Inlet несколько недель позже в своем офисе на факультете математики и теоретической физики в университете Камбриджа. Команда состояла из пяти человек, в том числе: Хорст Хаусеккер, директор опытной технической лаборатории; Лама Нечман, директор предупреждающей компьютерной лаборатории и руководитель проекта и Пит Денман, дизайнер интефейсов. «Стивен всегда был источником вдохновения для меня, — сказал Денман, который тоже перемещается в инвалидной коляске. — После того, как я получил травму шеи и меня парализовало, моя мать дала мне почитать «Краткую историю времени», которая только вышла тогда. Она сказала мне, что люди в инвалидных креслах могут создавать удивительные вещи. Оглядываясь назад, я понимаю, как права она была».

После того, как команда Intel представилась, Хаусеккер стал объяснять, почему они здесь и что планируют делать.

Хаусеккер продолжал говорить около 20 минут, когда внезапно заговорил Хокинг.

«Он приветствовал нас и сказал, как он счастлив, что мы здесь, — говорит Денман. — Незаметно для нас, он печатал все это время. Ему потребовалось примерно 20 минут, чтобы написать около 30 слов. Это здорово отрезвило нас. Это был шок. Мы осознали, что проблема намного больше, чем мы думали до этого».

В то время на компьютере Хокинга был установлен интерфейс — программа называлась EZ Keys, это был апгрейд предыдущего программного обеспечения, и он также был создан в Words Plus. Она поставлялась с экранной клавиатурой, написанной на базовом алгоритме распознавания слов. Курсор автоматически сканировал клавиатуру по линиям и по колонкам, и ученый должен был выбрать то, что требуется, дернув мышцей щеки, тогда курсор останавливался. EZ Keys также позволяла Хокингу управлять мышью в Windows и использовать разные приложения на компьютере. Он пользовался интернетом при помощи Firefox и писал свои лекции с помощью Notepad. У него также была веб-камера для использования «Скайпа».

Трудные поиски

Команда Intel решила кардинально поменять устаревшую систему Хокинга, для чего необходимо было внедрить новое оборудование. «Джастин думал, что мы будем использовать такие технологии, как распознавание жестов и лица, распознавание взгляда и интерфейс «мозг-компьютер»», — рассказывает Нечман. —  Первоначально мы кормили его огромным количеством идей вроде этого и пробовали много вариантов». Эти попытки чаще не удавались, чем были успешными. Технологии распознавания движения глаз не могли поймать взгляд Хокинга из-за того, что отсвечивали стекла его очков. До начала проекта с Intel Хокинг тестировал технологию с использованием электродов, которые могли бы читать его мысли и передавать это на компьютер. К сожалению, поймать ощутимый сигнал от мозга не получилось. «Мы подсвечиваем буквы на экране и выбор нужной происходит, когда сигнал поступает от мозга,  говорит Вуд. — Со мной это работает отлично, но когда пытался Стивен, это не работало достаточно хорошо. Не получалось поймать достаточно сильный сигнал из-за шумов».

«Чем больше мы общались с ним и слушали его замечания, тем больше до нас доходило, о чем он действительно просит. В дополнение к увеличению скорости общения нужно было придумать новые варианты взаимодействия с компьютером», — рассказывает Нечман. После возвращения в Intel Lab и нескольких месяцев исследований Денман снял 10-минутное видео и отправил его Хокингу. В ролике был показан прототип нового юзер-интерфейса, который они собирались создать, и ему нужен был отзыв от Хокинга. «Мы сделали только некоторые изменения, мы не собирались кардинально менять его систему», — говорит Денман. Изменения включали такие опции, как «обратная кнопка», которую Хокинг мог бы использовать не только для стирания букв, но также и для навигации, чтобы двигать курсор назад; также был добавлен алгоритм, угадывающий слово, и еще алгоритм, который предлагал ему выбрать одно из возможных следующих слов прежде, чем он начнет их печатать.

Но главное изменение, по мнению Денмана, было связано с решением самой большой проблемы, которая была у Хокинга с его текущим интерфейсом — пропущенные нужные буквы.

«Стивен часто попадал не на ту клавишу, когда нажимал на соседнюю от нужной буквы, — рассказывает Денман. — Пропустив букву, он возвращался назад, опять нажимал неправильно, опять возвращался… Это было невыносимо медленно и сильно выбивало его из колеи».

Проблема усугублялась перфекционизмом Хокинга. «Это действительно очень важно для него — чтобы его мысли были сформулированы и написаны максимально точно, а также чтобы пунктуация была абсолютно правильной, — говорит Нечман. — Он научился быть достаточно терпеливым, чтобы оставаться перфекционистом. Он не тот человек, который хочет просто донести суть в сообщении. Он тот, кому важно быть лучшим».

Чтобы решить проблему с неправильно набранными буквами, команда из Intel добавила прототип, который мог бы интерпретировать намерения Хокинга, а не то, что он уже напечатал. Для этого использовался тот же алгоритм, который применяется при обработке текстов и в мобильной связи. «Это плотное взаимодействие, к нему нужно привыкнуть, — объяснялось в видео. — Когда первый iPhone вышел на рынок, люди жаловались на то, что текст предугадывается, но этот дискомфорт быстро прошел и пользователям стала нравиться эта опция. Проблема в том, что требуется время, чтобы привыкнуть, и вам придется передать управление системе. Эта опция могла бы увеличить вашу скорость и позволить вам сконцентрироваться на содержании».

В заключении в видео говорилось: «Каков уровень ваших волнений или опасений?»

Неожиданные сложности — слишком много новаций

В июне того года Хокинг приехал в Intel Labs, где Денман и его команда представили ему новую систему, которую они назвали ASTER (Assistive Text EditoR — помощник в печатании текста).

«Некоторая часть вашего текущего программного обеспечения слегка устарела, — сказал Денман. — Ну хорошо, оно сильно устарело, но вы привыкли его использовать, поэтому мы лишь изменили метод, с помощью которого работает алгоритм предсказывания следующих за напечатанным слов, и это поможет набирать правильное слово каждый раз, даже если какая-то буква набрана некорректно или пропущена».

«Это огромное улучшение по сравнению с предыдущей версией, — ответил Хокинг. — Мне очень нравится».

Они сделали новый юзер-интерфейс для компьютера Хокинга и Денман думал, что все в порядке и они на правильном пути. Но к сентябрю они получили комментарии от Хокинга: он не принял новую систему. Это было слишком сложно для него. Прототип с обратной кнопкой и алгоритм с пропущенными буквами оказались запутанными, и их нужно было пересмотреть. «Он один из самых блистательных умов современности, но нам не следовало забывать, что у него не было опыта взаимодействия с современными технологиями, — рассказывает Денман. — У него никогда не было возможности использовать iPhone. Мы хотели заставить самого знаменитого в мире 72-летнего пожилого человека научиться этому новому способу взаимодействия с технологиями».

Денман и его команда осознали, что им нужно начать думать об этой проблеме по-другому. «Мы думали, что сделали программное обеспечение в традиционном смысле, когда нужно забросить огромную сеть и стараться поймать столько много рыбы, сколько получится, — рассказывает Денман. — Мы не понимали, как сильно решение будет зависеть от Стивена. Нам пришлось буквально просветить все лазером, чтобы изучить одного человека».

В конце 2012 года команда Intel установила систему, которая записала как Хокинг взаимодействует с его компьютером. Они записали десятки часов видео, которые зафиксировали самые разные ситуации: Стивен печатает; Стивен печатает, когда он устал; Стивен использует мышь; Стивен печатает, чтобы сделать окошко нужного размера. «Я смотрел запись снова и снова, — говорит Денман. — Иногда я смотрел одно и то же по четыре раза и все еще находил что-то новое».

К сентябрю 2013 года — на этот раз с помощью Джонатана Вуда, ассистента Хокинга — они создали следующую итерацию пользовательского интерфейса компьютера Хокинга. «Я думал, у нас получилось. Я думал, мы сделали это», — говорит Денман. Однако к следующему месяцу стало очевидно, что у Хокинга есть проблемы с использованием. «Один из его ассистентов назвал это «пытка ASTER», — пересказывает Денман. — Если бы они сказали это при Стивене, он бы усмехнулся.»

Встречайте АСАТ!

Прошло очень много месяцев до того, как команда Intel наконец-то сделала версию, которая понравилась ученому. Например, сейчас Хокинг использует алгоритм предсказывания слов, созданный в лондонском стартапе SwiftKey, который позволяет ему выбирать слово после печатания буквы, в том время как предыдущая система требовала от него, чтобы он спускался в самый низ экрана и выбирал слово из списка.

«Его система предугадывания слов была очень старой, — говорит Нечман. — Новая система намного быстрее и эффективнее, но нам пришлось научить Стивена пользоваться ею. В начале он жаловался и только позже осознал: он уже знал, какое слово его предыдущая система могла бы предугадать. Раньше он сам был системой, которая предугадывает слова». Intel работал с SwiftKey, чтобы добавить огромное количество документов Хокинга в систему, так что теперь в некоторых случаях, ему не нужно долго печатать буквы до того, как система определит контекст. «Фраза «черная дыра» не требует долгого печатания, — говорит Нечман. — Выбирая «the» система автоматически предлагает «black». Выбирая «black», система предлагает «hole»».

Новая версия пользовательского интерфейса Хокинга называется ACAT (Assistive Contextually Aware Toolkit — помощник в распознавании контекста) и включает в себя контекстуальное меню, которое помогает Хокингу с разными сочетаниями слов, чтобы было удобнее говорить и находить письма; менеджер лекций, который помогает ему контролировать время, в течение которого он говорит. Интерфейс также имеет кнопку отключения звука, которая позволяет Хокингу выключать свой голос.

«Так как он работает с выключателем с помощью щеки, то во время еды или путешествий, он нечаянно может включиться, — говорит Вуд. — Но иногда ему нравится создавать случайные «разговоры». Он все время это делает и иногда это совершенно неуместно. Помню, как однажды он случайно напечатал «х х х х», и это, пропущенное через его синтезатор, звучало как «sex, sex, sex, sex»».

Рабочая комната Вуда находится рядом с комнатой Хокинга. Это больше лаборатория, чем учебный класс. Одна стена увешана электронным оборудованием и экспериментальными прототипами. На столе — камера, часть продолжающегося проекта с Intel. «Есть идея сделать камеру, которую мы можем закрепить на голове Стивена, чтобы она схватывала не только движение его щеки, но и другие движения лица, — говорит Вуд. — Он может двигать жевательными мышцами вверх и вниз, и двигать мышь, и даже, возможно, управлять своей коляской. Это отличная идея, но мы не уверены, что получится ее реализовать в скором времени»

Великолепный Пол

Еще один экспериментальный проект, предложенный производителями коляски для Хокинга годом раньше — это джойстик, который присоединен к подбородку Хокинга и позволяет ему управлять своей коляской. «Это то, чем Стивен очень увлечен, — говорит Вуд. — Мы уже один раз попробовали соединить подбородок Стивена и джойстик. Но так как у него совсем не двигается шея, то очень трудно присоединить и отсоединить джойстик». Вуд показывает WIRED — видео с недавним тестированием этой системы. В нем можно видеть Хокинга, «рулящего» своей коляской и пересекающего пустую комнату от начала до конца. «Как вы видите, он сам управляет этим, — говорит Вуд. — Ну, как-то так…»

Вуд показывает WIRED — небольшой серый ящик, который содержит только копию синтезатора голоса Хокинга. Это CallText 5010 — модель, которую Хокинг получил в 1988 году, когда приехал в компанию Speech Plus, которая сделала этот «голос». Специальная плата внутри синтезатора содержит процессор, который переводит текст в голос, такой прибор также использовался для автоматизации телефонных голосовых ответов в 1980-е.

«Я стараюсь сделать запрограммированную версию голоса Стивена, ведь мы не должны полагаться на эту старую плату», — говорит Вуд. Чтобы сделать это, нам пришлось найти команду из Speech Plus, которая работала там в те годы. В 1990-м Speech Plus была продана компании Centigram Communications. Centigram была, в свою очередь, поглощена компанией Lernout and Hauspie Speech Products, которая позже тоже была поглощена — компанией ScanSoft в 2001 году. ScanSoft был куплен Nuance Communications, транснациональной компанией с 35 офисами и более чем 1200 сотрудниками. Вуд связался с ними. «У них была та программа с голосом Стивена 1986 года выпуска, — рассказывает Вуд. — Мы нашли ее среди резервных копий в Nuence».

Хокинг очень привязан к своему голосу: в 1988 году, когда Speech Plus предложила ему новый синтезатор, голос в нем отличался от первой версии, и он попросил их вернуть оригинал.

Его голос был создан в начале 1980-х инженером из MIT Денисом Клаттом, одним из пионеров создания алгоритмов озвучивания текстов. Он изобрел DECtalk — одно из первых устройств, которое переводило напечатанный текст в голос. Он тогда записал три голоса — свой, жены и дочери. Женский голос был назван «Прекрасная Бетти», детский — «Малыш», а мужской голос — «Великолепный Пол». «Великолепный Пол» — это голос Хокинга.

Оригинал материала — Wired.