Reconocimiento multimodal de emociones

Abstract

En este Trabajo de Fin de Grado, se desarrollan y se prueban distintas implementaciones de redes neuronales para reconocer las emociones de las personas en tres modalidades diferentes: imagen, vídeo y audio. Se hacen pruebas con distintos tipos de redes neuronales y con distintas bases de datos públicas para saber qué red neuronal (y sus hiperparámetros), puede ser la más adecuada para cada modalidad. Una vez se obtienen los resultados del entrenamiento de estas redes, se comparan los resultados para saber cuál es la que ofrece mayor exactitud. Finalmente, desarrollar un algoritmo de fusión de clasificaciones de audio y vídeo. En conclusión, podemos decir que los mejores resultados se han obtenido utilizando distintos tipos de redes neuronales convolucionales. En todas las bases de datos el mejor resultado se ha logrado utilizando diferentes arquitecturas CNNs, a excepción del reconocimiento del habla, que con una base de datos en concreto se ha alcanzado el mejor resultado utilizando una base red neuronal recurrente.