Meta-aprendizaje Auto-organizado Temporal para Predicción a Largo Plazo de Series de Tiempo Caóticas Por Rigoberto Salomón Fonseca Delgado Tesis sometida como requisito parcial para obtener el grado de DOCTOR EN CIENCIAS EN LA ESPECIALIDAD DE CIENCIAS COMPUTACIONALES en el Instituto Nacional de Astrofísica, Óptica y Electrónica Sta. Ma. Tonantzintla, Puebla Febrero 2017 Supervisada por: Dra. María del Pilar Gómez Gil Investigadora del INAOE ©INAOE 2017 Derechos Reservados El autor otorga al INAOE el permiso de reproducir y distribuir copias de esta tesis en su totalidad o en partes A mi familia I II Agradecimientos A CONACYT por el apoyo otorgado a través de la Beca para estudios de Doctorado número 344837. Este trabajo fue parcialmente apoyado por el Proyecto CONACYT CB- 2010-155250. Un agradecimiento muy especial a mi Asesora la Dra. María del Pilar Gómez Gil por su guía, esfuerzo y dedicación en la satisfactoria conclusión de este proyecto de investigación. Agradezco a mis sinodales por el tiempo dedicado y las valiosas recomendaciones que ayudaron a mejorar el trabajo a lo largo de todo el proceso. Un agradecimiento a todos quienes conforman el CRECTEALC, en especial al Dr. Sergio Camacho por brindarme la oportunidad de empezar un nuevo camino lleno de oportunidades. Un afectuoso agradecimiento a mi esposa Liliana, mi familia y amigos por el apoyo y comprensión. III IV Resumen La predicción a largo plazo de series de tiempo de sistemas caóticos es una tarea difícil pero requerida en diversos dominios como economía, medicina, gobierno, etc. En los últimos años, varias investigaciones han puesto su atención en reutilizar conocimiento previo a fin de combinar modelos y mejorar la predicción. El proceso de aprender a partir de resultados previos es denominado meta-aprendizaje. En el contexto de combinación de modelos, la estrategia de meta-aprendizaje permite generar automáticamente un experto, capaz de recomendar una combinación de modelos apropiada para predecir una serie de tiempo en particular. Sin embargo, el proceso de meta-aprendizaje en series de tiempo impone retos no triviales tales como: analizar el comportamiento de los modelos con los datos, buscar modelos que puedan combinarse adecuadamente para cada serie, e incluso generar nuevos métodos de meta-aprendizaje, que consideren las variaciones de desempeño de los modelos en el tiempo. Esta investigación se centra en el problema de meta- aprendizaje de combinación de modelos, utilizando auto-organización y un análisis automático del comportamiento de los modelos. La meta es mejorar la exactitud en predicción a largo plazo alcanzada por los algoritmos del estado del arte en series de tiempo caóticas. La principal contribución de este trabajo es un nuevo método, basado en meta- características y en las redes neuronales de mapas auto-organizados, capaz de generar combinaciones de modelos de predicción considerando la exactitud de los modelos y su diversidad de comportamiento en el tiempo. El método desarrollado fue comparado con otros métodos del estado del arte, y validado utilizando series sintéticas y series obtenidas de aplicaciones reales, que presentan comportamientos tanto caóticos como no caóticos. Palabras Clave: Combinación de modelos, Meta-aprendizaje, Mapas Auto- Organizados, Predicción a largo plazo de series de tiempo, Series de tiempo caóticas. V Abstract Long-term prediction of time series from chaotic systems is a difficult task but required in various fields such as economics, medicine, government, etc. In recent years, several studies have turned their attention to reuse prior knowledge with the aim of combining models and improving prediction. The process of learning from previous results is called meta-learning. On the context of model combination, the meta-learning strategy lets to automatically generate an expert, able to recommend an appropriate combination of models to predict a time series in particular. However, the process of meta-learning in time series imposes nontrivial challenges such as: analyzing model behavior with time series data, look for models that can be combined with each series and even generate new methods of meta- learning those consider variations of model performance over time. This research focuses on the problem of meta-learning of model combination, using self-organization and an automatic analysis of the behavior of the models. The goal is to improve the accuracy on long-term prediction achieved by state of the art algorithms in chaotic time series. The main contribution of this work is a new method, based on meta-features and self-organized maps neural networks, capable of generating combinations of prediction models considering the accuracy of the models and their diversity of behavior over time. The developed method was compared with other methods of the state of the art, and validated using synthetic series and series obtained from real applications, that have a chaotic and non-chaotic behavior. Keywords: Combination of models, Meta-learning, Self-Organizing Maps, Long-term prediction of time series, Chaotic time series. VI Tabla de contenido Capítulo 1. Introducción .............................................................................................. 1 1.1 Problemática ..................................................................................................... 3 1.2 Pregunta de Investigación ................................................................................. 3 1.3 Hipótesis ........................................................................................................... 4 1.4 Objetivo General............................................................................................... 4 1.5 Objetivos Específicos ....................................................................................... 4 1.6 Resultados Principales ...................................................................................... 5 1.6.1 Combinación Basada en Diferentes Ventanas de Predicción.................... 5 1.6.2 Combinación Basada en Auto-Organización ............................................ 6 1.7 Aportaciones ..................................................................................................... 7 1.8 Organización del Documento ........................................................................... 9 Capítulo 2. Conceptos Preliminares ........................................................................... 11 2.1 Predicción de Series de Tiempo a Largo Plazo .............................................. 11 2.2 Revisión de Medidas de Error ........................................................................ 12 2.2.1 Medidas Dependientes de la Escala ........................................................ 13 2.2.2 Medidas Basadas en el Porcentaje de Error ............................................ 14 2.2.3 Medidas Basadas en Errores Relativos ................................................... 16 2.2.4 Medidas Relativas ................................................................................... 17 2.2.5 Errores Escalados .................................................................................... 18 VII 2.3 Caos y Auto-Organización ............................................................................. 19 2.4 Mapas Auto-Organizados SOM ..................................................................... 20 2.4.1 Competir .................................................................................................. 21 2.4.2 Cooperar .................................................................................................. 22 2.4.3 Arquitectura de la Red SOM ................................................................... 23 2.4.4 Establecer el Número de Neuronas ......................................................... 23 2.5 Meta-Aprendizaje ........................................................................................... 24 2.6 Ensambles ....................................................................................................... 25 2.6.1 Fuentes de Diversidad ............................................................................. 27 2.7 Resumen del Marco Teórico........................................................................... 28 Capítulo 3. Trabajo Relacionado ............................................................................... 31 3.1 Prediciendo Sistemas Caóticos ....................................................................... 31 3.2 Ensambles Basados en Redes SOM ............................................................... 33 3.3 Ensambles Basados en Meta-Aprendizaje ...................................................... 34 3.3.1 Método de Lemke y Gabrys .................................................................... 35 3.4 Otros Trabajos ................................................................................................ 36 3.4.1 Redes Modulares ..................................................................................... 37 3.4.2 Redes Difusas .......................................................................................... 39 3.5 Resumen de los Trabajos Relacionados ......................................................... 40 Capítulo 4. Métodos Propuestos ................................................................................ 41 4.1 Diagrama General del Esquema de Predicción .............................................. 42 4.2 Método Extractor de Meta-Datos ................................................................... 43 4.3 Combinación Temporal Validada ................................................................... 46 4.4 Error Representativo ....................................................................................... 48 4.5 Selección de Modelos Utilizando Redes SOM............................................... 50 VIII