В БелГУ создают технологию, которая способна вернуть самостоятельность самым тяжёлым пациентам — полностью парализованным людям. Уникальная система понимает человеческий взгляд и понимает мысленные команды, благодаря чему пациент управляет механической рукой. О том, как родилась эта идея, какие сложности возникли перед разработчиками и что ждёт проект в будущем, рассказал руководитель команды учёных, профессор Андрей Афонин.
Робот, который понимает взгляд
В Центре нейротехнологий Белгородского государственного национального исследовательского университета (НИУ «БелГУ») уже много лет создают интерфейсы «мозг-компьютер». Одно из ключевых направлений работы — реабилитация инвалидов. Изучая мировую практику, команда учёных под руководством профессора Андрея Афонина пришла к выводу, что острее всего нуждаются в помощи те, кто полностью парализован и не может двигать ни руками, ни ногами.
Фото из архива Андрея Афонина
— Единственное, что у них остаётся под контролем, — это глазные яблоки, — пояснил профессор.
Именно это наблюдение и стало отправной точкой для уникального проекта. Учёные решили создать систему, которая позволила бы одним движением глаз управлять роботом-манипулятором. Тогда человек, лишённый возможности двигаться, сможет самостоятельно обслуживать себя.
Силой мысли — взять стакан воды
Разработка представляет собой действующий макет системы. Он состоит из бюджетного трекера для слежения за взглядом Tobii Eye Tracker 4C, настольного манипулятора на базе Arduino и двух обычных веб-камер, установленных в двух взаимно перпендикулярных плоскостях. Принцип работы системы интуитивно понятен. Человек смотрит на экран, куда транслируется изображение с этих двух камер и фокусирует взгляд на определённой точке.
Фото из архива Андрея Афонина
— И, соответственно, схват манипулятора переместится в точку, на которой сфокусирован взгляд. Таким образом, пользователь может «наводить» механическую руку на нужный предмет, например, на бутылку с водой. А сам манипулятор — это механическая рука, которая устанавливается на пол рядом с кроватью пациента и способна выполнять различные действия: поднести ко рту стакан, вытереть пот со лба или взять любой другой необходимый предмет, — описал процесс Андрей Афонин.
Томограф в помощь глазам
Одной из главных трудностей для разработчиков стали естественные хаотичные движения человеческих глаз. Они необходимы человеку для ориентации в пространстве, но серьёзно мешают точному управлению механизмом. Решение нашли на стыке нейронаук и инженерии. Учёные оснастили систему fNIRS-томографом — устройством, которое определяет концентрацию гемоглобина в крови головного мозга.
— Когда мы о чём-то думаем, у нас возбуждаются конкретные группы нейронов в мозге. Для того чтобы думать, требуется очень много энергии, поэтому к этим возбуждённым нейронам сразу же приливает кровь, чтобы принести им кислород.Томограф улавливает эти изменения. И если система знает, какие зоны мозга активируются при мысленном сжатии кисти руки, она распознаёт эту команду. Мы можем таким образом считывать эти мысленные команды непосредственно с головного мозга, — рассказал разработчик.
На практике это выглядит так: пользователь наводит на предмет взгляд, а чтобы схват манипулятора сжался, нужно мысленно представить как он сжимает собственную руку. Это стало дополнительным каналом управления, который значительно упрощает и уточняет работу с системой.
Долгий путь от идеи до макета
Результат потребовал от команды около двух лет кропотливой работы. Основные усилия были сосредоточены на создании программного обеспечения, которое бы точно преобразовывало движения глаз и активность мозга в команды для манипулятора. В процессе участвовали и студенты университета, они выполняли в рамках этой темы свои выпускные квалификационные работы и магистерские диссертации. Таким образом, разработка велась силами внутренних резервов вуза, без
.
Схема из архива Андрея Афонина
Уникальность разработки и её будущее
По словам Андрея Афонина, инновационная система реабилитации не имеет аналогов в России. В мире прямых аналогов именно этому сочетанию технологий — управления манипулятором через инфракрасный томограф и слежение за глазами — тоже пока нет. Сейчас проект находится на стадии действующего демонстрационного макета. Следующая и главная цель учёных — создать полноценный рабочий образец, который можно будет тестировать с реальными пациентами.
Учёный объясняет, что работать с инвалидами можно только при наличии специальных лицензий, поэтому пока тестирование идёт лишь со здоровыми добровольцами.
— Мы хотим довести макет до настоящего рабочего образца, работающего с большим манипулятором, который может действительно обслуживать человека, — подчеркнул профессор.
Хотя разработка сфокусирована на реабилитации инвалидов, у технологии есть и другие варианты применения. Например, управление взглядом может быть полезно там, где человеку не хватает рук для выполнения большого количества действий одновременно.В перспективе технологию можно применять не только в медицине, но и в других областях, например, для управления сложной техникой, где оператору не хватает «степеней свободы» — в горнодобывающей промышленности или при управлении экскаватором.
— В военной технике такие решения используются давно — лётчики наводят прицел взглядом. Мы же применили этот принцип для управления манипуляторами, — заявил учёный.
В поисках промышленного партнёра
Чтобы инновационная разработка вышла из стен лаборатории и начала помогать людям, необходим промышленный партнёр — предприятие, заинтересованное в запуске производства. Учёные уверены, что их разработка будет востребована. Ориентировочная стоимость будущего устройства, по оценкам специалистов, может составить несколько миллионов рублей, что сопоставимо со стоимостью биоэлектрических протезов и является приемлемой ценой для медицинского оборудования.
— Нам бы хотелось видеть наши разработки внедрёнными, чтобы их действительно начали производить, чтобы они использовались людьми, — заключил профессор Андрей Афонин.
Именно в этом команда видит главную цель своей работы — тем, кто полностью обездвижен, дать самостоятельность в самых простых и таких важных бытовых действиях.
