Contributions to neuronal architecture search in generative and multitask modeling

Abstract

Esta tesis se enmarca dentro del ámbito de la inteligencia artificial, más concretamente, en el delaprendizaje automático (AA). Dentro del extenso conjunto de técnicas y algoritmos que conforman elárea del AA, el trabajo ha sido enfocado en los modelos denominados redes neuronales profundas (RNP).En la última década, los resultados que han obtenido estos modelos han poblado el estado del arte paravarios problemas, entre los cuales destacan los relacionados con el tratamiento de imágenes.El origen de esta repentina aparición de los modelos neuronales entre los más potentes en distintosparadigmas del aprendizaje automático se debe, en gran parte, a la especialización de la estructuraneuronal que los define. Un claro ejemplo de este efecto es la aplicación de operaciones convolucionalessi el problema está relacionado con imágenes. Tradicionalmente, el diseño de estas estructuras se hallevado a cabo de forma manual, por expertos tanto en el problema como en los modelos neuronales.En los últimos años, la especialización de las RNP ha venido a costa de altos crecimientos en lascomplejidades de los modelos, especialmente en redes dedicadas a tratar problemas de procesado delenguaje natural. En este contexto, el desarrollo automático de estructuras neuronales ha sido propuestacomo una alternativa a el malgasto de tiempo de los expertos. Además, el avance conseguido en loscomponentes físicos que se encargan de procesar estos modelos ha resultado en un aumento del interés enestas técnicas. A pesar de esto, el aumento en la complejidad de los modelos (llegando a 175 mil millonesde parámetros en casos extremos), ha hecho que la eficiencia computacional de estas técnicas sea unaspecto a tener en cuenta. En esta tesis, se recogen diferentes técnicas y métodos para analizar procesosde búsqueda estructural pasados con el fin de mejorar futuras búsquedas de características similares.