Redes neuronales profundas para la resolución de problemas de regresión con bases de datos tabulares pequeñas

Abstract

Las redes neuronales artificiales (ANN: Artificial Neural Networks) recientemente han tenido un gran impacto en la resolución de algunos problemas debido a que ha sido posible la implementación de algoritmos que requieren una gran capacidad de cómputo. Simultáneamente, enormes volúmenes de datos han sido dispuestos para el entrenamiento de estos modelos. Aunque la capacidad de cómputo ya no supone una restricción, la disponibilidad de volúmenes de datos puede ser un problema en algunos contextos en los cuales no siempre es factible obtener nuevos. En esta tesis se analizan modelos de ANN profundas con bases de datos tabulares pequeñas circunscritos a problemas de regresión. Una tarea de regresión se define como el mapeo de un valor numérico en referencia a una entrada también numérica. Se espera que cumpla con las siguientes características: carencia de sesgo, consistencia y eficiencia. Además, se ha propuesto una definición de base de datos pequeña para ANN a fines prácticos: la cantidad de parámetros de una ANN es una medida de su complejidad. El balance entre los parámetros y la cardinalidad del conjunto de observaciones indica que nos encontramos ante un problema de base de datos pequeña. Asimismo, se ha considerado que esta es una definición necesaria aunque perfectible. El estudio del la división del conjunto de datos en la evaluación del modelo se ha enfocado en las situaciones en las que se emplea un modelo de regresión (MR) construido con una ANN. Como contribución, se ha estudiado si el control del la división del conjunto de datos produce una estimación más precisa del error de generalización teniendo en consideración el mismo punto inicial. Con este propósito, se presenta un algoritmo evolutivo original que pueda controlar la división de los datos en función de una distancia. Otro de los aportes originales es la introducción de un algoritmo híbrido de optimización de hiperparámetros basado en recocido simulado. Con el algoritmo propuesto, se estudian algunos de los mecanismos de compensación entre los hiperparámetros que gobiernan la construcción del modelo, teniendo en consideración que esta dinámica en muchos casos es desconocida. Puede decirse finalmente que el control de la división del conjunto de datos a menudo reporta beneficios al reproducir fielmente la distribución estadística de datos. Asimismo, se observa la importancia de contar con algoritmos más refinados para la optimización de los hiperparámetros.

Artificial neural networks (ANN) have recently had a great impact on the resolution of some problems because it has been possible to implement algorithms that require a large computational capacity. Moreover, huge volumes of data have simultaneously been made available to train these models. Although computational capacity is no longer a constraint, the availability of data volumes may be a problem in some contexts where it is sometimes unfeasible to obtain new data. In this thesis, deep neural network models with small databases circumscribed to regression problems are analyzed. A regression task is defined as the mapping of a numerical value with reference to a numerical input. The following characteristics are expected to be fulfilled: unbias, consistency and efficiency. In addition, a definition of a small database for ANNs has been proposed for practical purposes: the number of parameters of an ANN is a measure of its complexity. The trade-off between the parameters and the cardinality of the set of observations indicates a small database problem. It has also been considered that this is a necessary definition, but always definition. The study of the dataset division on model evaluation is focused on situations where a regressor built with an ANN is employed. As a contribution, it has been studied whether variance control produces a more accurate estimation of the generalization error when the same starting point is considered. Consequently, an original evolutionary algorithm that makes it possible to control the division of the data according to a distance is presented. Another original contribution is the introduction of a hybrid hyperparameter optimization algorithm based on simulated annealing. The trade-off mechanisms between the hyperparameters governing the model construction are studied with the proposed algorithm, taking into consideration that these dynamics are in often cases unknown. In summary, it is benefitial to control data-set splitting in the order to reproduce faithfully the statistic data distribution. The importance of more refined algorithms for hyperparameter optimization is also noticeable.