Skeleton based visual pattern recognition. Applications to tabletop interaction

Abstract

[EN]The practical context of this thesis work is natural interaction in Interactive Multimedia Tabletops using visually recognized hand gestures. An interaction language has been de ned for the speci c characteristics of this kind of systems and applications. Hand gestures are captured using an optical video camera, then the image is processed to obtain the hand shape skeleton. Gesture recognition is performed using pattern matching techniques speci cally designed to work on the information provided by skeletal representations of the shapes in the image. This thesis work introduces a theoretical and computational contribution to the skeleton computation procedure which achieves better stability than other algorithms in the literature. This contribution starts from Voronoi skeleton computation method and based in results which permit an e cient and robust pruning, obtains stable skeletons in realtime (60fps), which make possible the application of this technique in the context of Interactive Multimedia Tabletops

[ES]El contexto de aplicación de esta tesis es la interacción en mesas computacionales (tabletops) mediante gestos manuales reconocidos visualmente. Se ha definido un lenguaje de interacción conveniente para este tipo de sistemas y aplicaciones. Los gestos de la mano son capturados con una cámara óptica, la imagen es procesada hasta obtener el esqueleto de la mano. El reconocimiento de los gestos se realiza mediante técnicas de reconocimiento de patrones especialmente diseñadas para trabajar sobre representaciones dadas por información extraída del esqueleto de la figura en la imagen. La tesis presenta una aportación teórica y computacional en el proceso de cálculo del esqueleto que consigue mayor estabilidad que otros algoritmos en la literatura. Dicha aportación parte del método de Voronoi de construcción de esqueletos y en base a resultados que permiten una poda eficiente y estable, obtiene esqueletos estables en tiempo real (30fps) que hacen posible la aplicación de esta técnica en el contexto de las mesas computacionales.