Herramientas para el análisis de calidad de chatbots en Facebook Messenger

Abstract

Se ha desarrollado un analizador de chatbots de Facebook Messenger orientado a realizar un análisis de calidad.

Este TFG parte de cero, y pretende ser una base o un punto de partida para TFG’s posteriores que tengan por objetivo realizar análisis sobre la interacción con bots en Messenger. El trabajo consiste en un analizador de bots de Facebook Messenger comple- tamente automatizado, capaz de obtener el id asociado a un bot en Facebook messenger, el tiempo medio que tarda en responder, si deja algún mensaje sin res- ponder o le toma más tiempo del habitual, si su manera de expresarse se adapta a la que se usa en aplicaciones de mensajería instantánea e incluye emojis en sus respuestas, si se excede en el uso de estos, o no los emplea. En mensajería ins- tantánea también son populares los formatos multimedia, como audios, imágenes y vídeos. Se analizará también si el bot incluye entre sus respuestas mensajes de este tipo, así como si es capaz de soportar los mensajes que le llegen con este contenido, aportando una respuesta distinta de un simple "no te entiendo". En el análisis también se averiguará si el bot soporta el comando básico help (ayuda), y si se vale de una funcionalidad muy atractiva para los usuarios que es enviarles las opciones que tienen ante una pregunta en forma de botones. Esta funcionalidad Herramienta para el análisis de calidad de bots en Messenger enriquece la experiencia de los usuarios, y si el bot soporta esta funcionalidad, se analizará si responde correctamente (de la misma manera) ante la pulsación de uno de dichos botones y el envío de la respuesta de manera escrita (el usuario no se debe ver limitado a pulsar un botón y abandonar la escritura, debe poder disponer de ambas opciones). Dicho analizador estará disponible en un servidor, para ser ejecutado como un script al que se deberá pasar como parámetro el nombre del bot a analizar. También se desarrollará una interfaz gráfica simple que permita a los usuarios ver los resultados del análisis a medida que se van obteniendo, actualizando gráficas, para que pueda identificar los puntos en los que es posible que el bot flojee. (E.g.: ante un determinado mensaje tarda más de lo normal en responder, o no hace uso de emojis y contenido multimedia)