ISSN Print 2713-2757    ISSN Online 2713-2765
SCIENTIFIC AND PRACTICAL REVIEWED JOURNAL OF FMBA OF RUSSIA

Our news

2021-07-14
Разработан нейронный интерфейс, позволяющий человеку с параличом общаться

Разработан интерфейс мозг-компьютер (BCI), который позволяет человеку с параличом печатать, переводя нейронную активность, вызванную воображаемыми попытками писать от руки, в текст на экране компьютера. В качестве упрощенного описания электроды, имплантированные в мозг, измеряют активность многих нейронов, когда пользователь представляет, что пишет каждую букву (линии указывают моменты времени, в которые срабатывает каждый нейрон). Модель глубокого обучения, называемая рекуррентной нейронной сетью (RNN), изучает паттерны нейронной активности, создаваемые каждым персонажем, и анализирует, как эти паттерны активности соотносятся в нескольких испытаниях, создавая кластерные графики. Эта информация используется алгоритмом для предсказания букв, которые воображает участник текущего испытания, и это предсказание переводится в буквенный символ.

Чтобы преодолеть проблему построения алгоритма классификации, позволяющего предсказать, какую букву пользователь хочет выбрать, ученые перепрофилировали другой тип алгоритма - алгоритм машинного обучения, изначально разработанный для распознавания речи. Это позволяло им оценивать на основании только нейронной активности, когда пользователь начал попытки написать символ. Паттерн нейронной активности был удивительно последовательным. На основе этой информации группа создала набор данных, содержащий паттерны нейронной активности, соответствующие каждому символу. Этот набор данных был использован для обучения рекуррентной нейронной сети (RNN) алгоритму классификации.

 

Авторы также представляют многообещающие доказательства того, что их алгоритмы будут хорошо работать с ограниченными данными обучения за счет введения искусственной изменчивости в паттерны нейронной активности для имитации изменений, которые естественным образом происходят в человеческом мозге. Благодаря, этим методам алгоритм Виллетта и его коллег обеспечивает впечатляюще точную классификацию, выбирая правильный символ в 94,1% случаев. Участник смог набирать текст со скоростью 90 символов в минуту - это двукратное улучшение по сравнению с предыдущими iBCI.

 

Моделируя работу алгоритма классификации при тестировании с различными типами нейронной активности, ученые сделали ключевой вывод - нейронная активность во время почерка имеет большую временную изменчивость между символами, чем нейронная активность, когда пользователи пытаются рисовать прямые линии, и эта изменчивость фактически упрощает классификацию. Возможно, это противоречит интуиции, но может оказаться, что выгоднее декодировать сложное поведение, а не простое, особенно для задач классификации. Разработанный подход напрямую решает задачу набора текста в iBCI и, таким образом, выходит далеко за рамки прошлых устройств как с точки зрения производительности, так и с точки зрения функциональности.