Solving Partial Differential Equations using Artificial Neural Networks

Abstract

Las ecuaciones en derivadas parciales poseen una amplia gama de aplicaciones en la modelización de múltiples fenómenos físicos, biológicos o sociales. Por ello, necesitamos aproximar las soluciones de estas ecuaciones en términos computacionalmente factibles. Hoy en día, entre los métodos numéricos más populares para resolver ecuaciones en derivadas parciales en ingeniería, encontramos el método de diferencias finitas y el método de elementos finitos. Un método numérico alternativo que ha ganado popularidad recientemente consiste en el uso de redes neuronales artificiales.Las redes neuronales artificiales, o redes neuronales para abreviar, son estructuras matemáticas con propiedades de aproximación universales. Además, gracias al extraordinario desarrollo computacional de la última década, las redes neuronales se han convertido en métodos numéricos accesibles y potentes para ingenieros e investigadores. Por ejemplo, el procesamiento de imágenes y del lenguaje son aplicaciones de las redes neuronales en la actualidad que muestran prestaciones sublimes inconcebibles hace años.Esta tesis contribuye a la solución numérica de ecuaciones diferenciales parciales mediante redes neuronales con el siguiente doble objetivo: investigar el comportamiento de las redes neuronales como aproximadores de soluciones de ecuaciones diferenciales parciales, y proponer métodos basados en redes neuronales para marcos de trabajo difícilmente abordables mediante métodos numéricos tradicionales.Como propuestas novedosas basadas en redes neuronales, presentamos en primer lugar un método inspirado en el método de los elementos finitos cuando se aplican refinamientos de malla para resolver problemas paramétricos. En segundo lugar, proponemos un esquema general de minimización de residuos basado en una versión generalizada del método de Ritz. Por último, desarrollamos una técnica basada en la memoria para superar una limitación habitual de la integración numérica cuando se utilizan redes neuronales para resolver ecuaciones diferenciales parciales.

Partial differential equations have a wide range of applications in modeling multiple physical, biological, orsocial phenomena. Therefore, we need to approximate the solutions of these equations in computationally feasible terms. Nowadays, among the most popular numerical methods for solving partial differential equations in engineering,we encounter the finite difference and the finite element methods. An alternative numerical method that has recentlygained popularity for numerically solving partial differential equations is the use of artificial neural networks.Artificial neural networks, or neural networks for short, are mathematical structures with universal approximationproperties. In addition, thanks to the extraordinary computational development of the last decade, neural networks havebecome accessible and powerful numerical methods for engineers and researchers. For example, imaging andlanguage processing are applications of neural networks today that show sublime performance inconceivable yearsago.This dissertation contributes to the numerical solution of partial differential equations using neural networks with thefollowing two-fold objective: investigate the behavior of neural networks as approximators of solutions of partialdifferential equations and propose neural-network-based methods for frameworks that are hardly addressable via traditional numerical methods.As novel neural-network-based proposals, we first present a method inspired by the finite element method when applying mesh refinements to solve parametric problems. Secondly, we propose a general residual minimization scheme based on a generalized version of the Ritz method. Finally, we develop a memory-based strategy to overcome a usual numerical integration limitation when using neural networks to solve partial differential equations.

Deribatu partzialetako ekuazioak aplikazio ugari dituzte fenomeno fisiko, biologiko edo sozial anitzen modelizazioan. Horregatik, funtsezkoa da ekuazio horien soluzioen hurbilpenak konputazionalki egingarriak diren terminoetan adieraztea. Gaur egun, ingeniaritzan, deribatu partzialetako ekuazioak ebazteko zenbakizko metodo ezagunenen artean daude diferentzia finituen eta elementu finituen metodoak. Duela gutxi, deribatu partzialetako ekuazioak ebazteko ospea hartu duen zenbakizko metodo bat neurona-sare artifizialen erabilpena da.Neurona-sare artifizialak edo, laburtzearren, neurona-sareak hurbilketa-propietate unibertsalak dituzten egitura matematikoak dira. Gainera, azken hamarkadako garapen konputazional apartari esker, ingeniarientzako etaikertzaileentzako zenbakizko metodo eskuragarri eta indartsu bihurtu dira. Adibidez, irudien eta hizkuntzen prozesamendua neurona-sare artifizialen gaur egungo aplikazioak dira, eta duela urte batzuk pentsaezina zenerrendimendu bikaina erakusten dute.Tesi honetan neurona-sare artifizialen bidezko deribatu partzialetako ekuazioen zenbakizko ebazpena aztertuko dugu,honako helburu bikoitzarekin: alde batetik, neurona-sareen portaera ikertzea deribatu partzialetako ekuazioen soluzioenhurbiltzaile gisa, eta bestetik, neurona-sareetan oinarritutako metodoak proposatzea, ohiko zenbakizko metodoen bideznekez ekin dakiekeen lan-esparruetarako.Neurona-sareetan oinarritutako proposamen berritzaile gisa, lehenik eta behin, elementu finituen metodoaren funtzionamenduan oinarritutako metodo bat aurkeztuko dugu, problema parametrikoak ebazteko diskretizazioanfintzeak aplikatzen direnean. Bigarrenik, hondarren minimizazio eskema orokor bat proposatuko dugu, Ritz-en metodoaren bertsio hedatu batean oinarritua. Azkenik, memorian oinarritutako zenbakizko integrazio teknika baterakutsiko dugu. Teknika horren helburua da deribatu partzialetako ekuazioak ebazteko neurona-sareak erabiltzendirenean agertzen den ohiko muga gainditzea.