Одиннадцатиклассник школы Nº 13 в Электростали Виталий Симонов создал устройство, которое обучает жестовому языку в игровом формате. Робот «Дактик» способен идентифицировать жесты благодаря технологиям компьютерного зрения и искусственного интеллекта. После того, как устройство распознает жесты, оно проверяет их правильность. Идея создания такой машины пришла школьнику во время поездки в автобусе, когда слабослышаший пассажир пытался что-то объяснить окружающим, но его никто не понял.

«Я заинтересовался, решил изучить подробнее эту тему и в итоге разработал проект. Всем ребятам, кто так же сильно, как и я, увлечен разработками, советую никогда сдаваться, все время пробовать что-то новое и искать альтернативные способы решения проблем», – рассказал Виталий. Увлекаться техникой и совершенствовать навыки в этой сфере ему помогает обучение в центре развития творчества детей и юношества «Диалог» в Электростали.

Робот «Дактик» работает в трех режимах, может предложить пользователю показать на жестовом языке букву, слово или целую фразу. Устройство считывает положение пальцев кисти руки и показывает корректность ответа. Для этого не нужно быть постоянно подключенным к интернету. Создатель предложил робота с дизайном в виде панды, который, как и формат игры, делает обучение интерактивным и увлекательным.

Виталий создавал свой проект в центре «Диалог» под руководством преподавателя программирования и робототехники Сергея Симонова. Воспитанник сам провел исследование, разработал конструкцию, ПО и обучил нейронную сеть. Корпус устройства распечатали на 3D-принтере. При этом нейросеть обучили благодаря фотографиям. Для этого собрали по 5 фотографий руки на каждую из букв жестового алфавита.

Специальная нейронная сеть разработана для фиксации положения пальцев пользователя компьютерным зрением. Корректность жеста отслеживается по 21 точке, которые равномерно расположены на кисти руки. Координаты этих точек передаются в математическую модель, которую Виталий разработал самостоятельно. Эта модель направляет данные и дает возможность системе распознать показываемые человеком буквы.

Робот «Дактик» уже протестирован, разработка получила положительные отзывы от педагогов и воспитанников школы-интерната для детей с ограниченными возможностями здоровья Nº1 в Электростали.

По словам педагога Сергей Симонова, самая важная задача наставника – показать ребенку цель, к которую ему предстоит достигнуть. Далее воспитанник будет работать сам, искать разные пути решения задачи. «Работа с роботами у нас в кружке начинается с 5-6 класса. Я ставлю ребятам задачи, которые их роботы должны выполнить. Если что-то не получается, то я подсказываю, направляю. С учениками повзрослее мы уже переходим к изучению электроники, чтобы они могли разрабатывать более сложные проекты и гаджеты», – рассказал Сергей Симонов. Об этом сообщает сайт Министерства образования Московской области.

Источник: Учительская Россия