Распознавание жестов пальцев и рук с помощью Kinect

Вам не нужно обучать свой первый алгоритм, так как это все усложнит. Также не используйте цвет, поскольку он ненадежен (смешивается с фоном и непредсказуемо меняется в зависимости от освещения и точки обзора).

1. Предполагая, что ваша рука является ближайшим объектом, вы можете просто сегментировать ее по порогу глубины. Вы можете установить порог вручную, использовать ближайшую область гистограммы глубины или выполнить подключенный компонент на карте глубины, чтобы сначала разбить его на значимые части (а затем выбрать объект не только на основе его глубины, но и с учетом его размеров, движения, пользовательского ввода и т. д.). Вот результат работы метода подключенных компонентов: .imgur.com/vN4C6.png" alt="подключенные компоненты">

2. Примените выпуклые дефекты из библиотеки opencv найти пальцы;

3. Отслеживайте пальцы, а не открывайте их заново в 3D. Это повысит стабильность. Я успешно реализовал такое обнаружение пальцев около 3 лет назад.

Прочтите мою статью :) http://robau.files.wordpress.com/2010/06/final_report_00012.pdf

Я провел исследование по распознаванию жестов для рук и оценил несколько подходов, которые устойчивы к масштабированию, вращению и т. д. У вас есть очень ценная информация о глубине, так как самой сложной проблемой для меня было на самом деле отделить руку от изображения.

Мой самый успешный подход — отследить контур руки и для каждой точки контура определить расстояние до центра тяжести руки. Это дает набор точек, которые можно использовать в качестве входных данных для многих алгоритмов обучения.

Я использую моменты изображения сегментированной руки, чтобы определить ее вращение, поэтому на контуре руки есть хорошая отправная точка. Очень легко определить кулак, вытянутую руку и количество вытянутых пальцев.

Обратите внимание, что хотя это работает нормально, ваша рука имеет тенденцию уставать, указывая в воздух.

Похоже, вы не знаете о библиотеке облачных точек (PCL). Это библиотека с открытым исходным кодом, предназначенная для обработки облаков точек и данных RGB-D, которая основана на OpenNI для низкоуровневых операций и предоставляет множество высокоуровневых алгоритмов, например, для выполнения регистрации, сегментации, а также распознавания.

Очень интересный алгоритм распознавания формы/объекта в целом называется неявная модель формы. Чтобы обнаружить глобальный объект (например, автомобиль или открытую ладонь), нужно сначала обнаружить возможные его части (например, колеса, багажник и т. д., пальцы, ладонь, запястье). и т. д.), используя детектор локальных признаков, а затем сделать вывод о положении глобального объекта, учитывая плотность и относительное положение его частей. Например, если я могу обнаружить пять пальцев, ладонь и запястье в данном районе, есть большая вероятность, что я на самом деле смотрю на руку, однако, если я где-то обнаружу только один палец и запястье, это может быть пара ложных срабатываний. Академическую исследовательскую статью об этом алгоритме неявной модели формы можно найти здесь< /а>.

В PCL есть пара руководств, посвященных теме распознавания форм, и к счастью, один охватывает неявную модель формы , реализованный в PCL. Я никогда не тестировал эту реализацию, но из того, что я мог прочитать в руководстве, вы можете указать свои собственные облака точек для обучения классификатора.

При этом вы не упомянули об этом явно в своем вопросе, но, поскольку ваша цель — запрограммировать приложение с ручным управлением, на самом деле вас может заинтересовать работа в реальном времени алгоритм обнаружения формы. Вам нужно будет протестировать скорость неявной модели формы, представленной в PCL, но я думаю, что этот подход лучше подходит для распознавания формы в автономном режиме.