Clasificación de actividades humanas en tiempo real a partir de representaciones en esqueleto

Abstract

La detección, clasificación y predicción automática de actividades humanas es una tarea de interés en diferentes áreas de las ciencias de la computación, tanto por su dificultad, como por sus aplicaciones. El reconocimiento de actividades puede ser la base para sistemas que realicen tareas complejas, por ejemplo, sistemas de monitorización de pacientes, cuidado de ancianos, sistemas de rehabilitación, entrenamiento fı́sico, vigilancia inteligente, o robots inteligentes. Tı́picamente, este proceso se realizaba mediante sistemas basados en visión, como cámaras (mono o estéreo), pero la aparición de sensores asequibles que combinan visión con una noción de profundidad, como Microsoft Kinect (Figura 1.1) o Asus Xtion, ha provocado que, en la actualidad, gran parte de la investigación se centre en estos sensores. En esta Tesis de Máster se aborda el problema de clasificación de actividades a partir de representaciones en esqueleto, que hoy en dı́a pueden obtenerse fácilmente con estos sensores. También se tiene en cuenta su posible aplicación en un sistema de rehabilitación: el reconocimiento de actividades servirı́a como base para orientar a los pacientes para realizar sus ejercicios en casa, además de servir de ayuda para asistencia médica remota. Este trabajo aborda el problema de clasificación de actividades mediante técnicas de aprendizaje automático (machine learning), en concreto, clasificación supervisada. El enfoque, más que en los algoritmos y técnicas utilizados, se realiza en extracción de caracterı́sticas y representación de datos que se utilizarán para el proceso de entrenamiento y aprendizaje. Esta representación que proponemos, además, podrı́a utilizarse en sistemas que no estén basados en aprendizaje automático: donde sea más interesante disponer de una grabación del movimiento realizado. Esta Tesis de Máster tiene como precedente el Trabajo de Fin de Grado realizado en 2015 [1], que también realiza clasificación supervisada a partir del esqueleto humano. El trabajo anterior se centra en clasificar posturas estáticas (como estar de pie, sentado o tumbado) a partir de la información del esqueleto en un instante de tiempo. También contempla un método para reconocer movimientos simples: consiste en comparar posturas estáticas con poses clave del movimiento (obtenidas mediante clustering k-means), y sólo tiene en cuenta la velocidad del movimiento para distinguir los estados de “parado” y “en movimiento”. El objetivo es distinguir si un movimiento previamente definido y procesado es válido o no válido. Se observaron varios problemas, como que puede reconocer movimientos muy diferentes como válidos, siempre que estos pasen por las posturas clave. No disponer del orden en el que aparecen estas posturas también es una limitación. Este enfoque es aún menos viable para clasificación supervisada multiclase con varios movimientos, ya que el número de posturas clave aumenta con cada movimiento a reconocer. Además, encontrar las posturas clave en conjuntos de datos muy grandes mediante k-means es una tarea con mucho coste computacional. Debido a estos motivos, en el trabajo de este documento proponemos un método diferente para tratar movimientos, enfocado en la clasificación supervisada de varios movimientos. En este método proponemos una nueva representación geométrica del esqueleto, además de añadir información del movimiento a las posturas estáticas para facilitar el trabajo de los algoritmos de aprendizaje automático. El 19 octubre de 2016, en el congreso International Conference on Neurorehabilitation (ICNR 2016), se expondrá un artı́culo que recoge los resultados de clasificación de posturas estáticas obtenidos durante Trabajo de Fin de Grado [2]. La estructura de la memoria es la siguiente: en primer lugar, presentamos una descripción y análisis del estado del arte, donde exponemos trabajos relacionados que se pueden encontrar en la bibliografı́a. Se analizan diferentes enfoques y soluciones para la clasificación de activida-3 des humanas, y se comparan con las soluciones que se mostrarán en este trabajo. Más adelante (capı́tulo 3) se detallan las herramientas y técnicas utilizadas, incluyendo sensor, fuentes de datos, bibliotecas de software y entorno de desarrollo. En el capı́tulo 4, describimos la representación de datos propuesta para reconocer actividades humanas en tiempo real. El capı́tulo 5 está dedicado a los algoritmos de aprendizaje automático con los que se han realizado experimentos de entrenamiento y clasificación. El capı́tulo 6 describe el protocolo utilizado para los experimentos de clasificación, y muestra resultados para clasificación online y offline. El documento finaliza con un capı́tulo (7) de conclusiones y propuestas de trabajo futuro.