Распознавание жестов — одна из ключевых функций Hearless. Мы используем компьютерное зрение и нейросети, чтобы определять жесты казахского жестового языка в реальном времени.
Пользователь направляет камеру смартфона на себя, и приложение анализирует положение рук, пальцев и их движение. Каждый кадр обрабатывается нейросетью, обученной на тысячах примеров жестов.
Сейчас в каталоге 20 базовых жестов, разбитых на 5 категорий: базовые, семья, еда, эмоции и числа. Мы постоянно расширяем этот набор.
После каждого распознавания пользователь получает обратную связь: правильно ли выполнен жест и насколько точно. Это позволяет учиться самостоятельно без помощи преподавателя.