Deep Landmarking : reconocimiento automático de estructuras anatómicas por medio de morfometría geométrica

Abstract

La adquisición de información fenotípica es un aspecto clave en diversos contextos, incluyendo análisis biométricos, estudios bioantropológicos, investigaciones biomédicas, y ciencia forense por citar algunos. Para ello se requiere la identificación automática de estructuras anatómicas de interés biométrico, como por ejemplo huellas dactilares, patrones en el iris, o rasgos faciales. Estas estructuras son utilizadas masivamente, pero poseen la desventaja de requerir intrusión para adquirir la información a ser analizada. En esta tesis presentamos un nuevo método, basado en la Morfometría Geométrica, para la detección y extacción automática de datos anatómicos característicos (features) en la forma de hitos (landmarks) en 2D o 3D. Para ello se entrenó una red neuronal con conjuntos de datos obtenidos en forma supervisada por medio de expertos antropólogos y biólogos. El sistema resultante posee la capacidad de realizar landmarking en forma automática en imágenes y video sin preparación previa, obteniéndose parámetros de calidad equivalente o superiores a los adquiridos por expertos humanos. Estos resultados abren la posibilidad de generar en forma automática y confiable vectores de atributos basados en propiedades fenotípicas. Se exploran algunas aplicaciones en diversos contextos incluyendo biometría, videojuegos, interfases naturales y otras aplicaciones.

Accurate gathering of phenotypic information is a key aspect in several subject matters, including biometric identification, biomedical analysis, bioanthropology studies, forensics, and many other. Automatic identification of anatomical structures of biometric interest, such as fingerprints, iris patterns, or facial traits, are extensively used in applications like access control, anthropological research, and surveillance, all having in common the drawback of requiring intrusive means for acquiring the required information. In this thesis we present a new method, based on two well established methodologies, Geometric Morphometrics and Deep Learning algorithms, for automatic phenotype detection and feature extraction in the form of 2D and 3D landmarks. A convolutional neural network was trained with a set of manually landmarked examples. The trained network is able to provide morphometric landmarks on images automatically, with a performance that matches human assisted landmarking. The ability to perform in the open (i.e., in images or video taken with no specific acquisition preparation). The feasibility of using landmarks as feature vectors for different classifications tasks is explored in a novel spectrum of biometrics, video games, and natural user interfaces applications.