Fernando Berzal REDES NEURONALES & DEEP LEARNING R E D E S N E U R O N A L E S & D E E P L E A R N I N G F E R N A N D O B E R Z A L R E D E S N E U R O N A L E S & D E E P L E A R N I N G GRANADA 2018 http://deep-learning.ikor.org Copyright © 2018 Fernando Berzal License information: LATEX Tufte-style book template licensed under the Apache License, Version 2.0 (the “License”); you may not use this file except in compliance with the License. You may obtain a copy of the Licenseathttp://www.apache.org/licenses/LICENSE-2.0.Unlessrequiredbyapplicablelaworagreedtoin writing, software distributed under the License is distributed on an “as is” basis, without warranties or conditions of any kind, either express or implied. See the License for the specific language governing permissions and limitations under the License. Índice PARTE I. REDES NEURONALES ARTIFICIALES 1 Inteligencia Artificial 3 Definiciones de I.A. 8 Los problemas de la I.A. 10 Técnicas heurísticas 22 Aprendizaje automático 27 Aplicaciones del aprendizaje automático 30 Tipos de aprendizaje automático 34 Aprendizaje supervisado 35 Sistemas de recuperación de información 38 Sistemas de pregunta-respuesta 39 Sistemas de recomendación 40 Nada es gratis 41 Aprendizaje no supervisado 42 Clustering 43 Reglas de asociación 49 ¿Otras formas de aprendizaje? 51 Aprendizaje por refuerzo 52 Aprendizaje por asociación 54 Aprendizaje por imitación 56 Su uso en aprendizaje automático 57 viii Evaluación de los resultados del aprendizaje 59 Métricas de evaluación 60 Precisión y tasa de error 61 Medidas sensibles a costes 63 Evaluación de rankings 65 Predicciones cuantitativas 71 Otras medidas 76 Métodos de evaluación 79 Conjuntos de entrenamiento, validación y prueba 81 Muestreo sin reemplazo: Validación cruzada 84 Muestreo con reemplazo: Bootstrapping 86 Finalización del modelo 87 Descomposición del error en sesgo y varianza 88 Técnicas de aprendizaje 95 Técnicas simbólicas: I.A. simbólica 97 Árboles de decisión 98 Inducción de reglas y listas de decisión 101 Técnicas analógicas: Reconocimiento de patrones 102 Vecinos más cercanos 104 Máquinas de vectores de soporte (SVM) 108 Técnicas bayesianas: Modelos probabilísticos 110 Naïve Bayes 113 Redes bayesianas 114 Redes de Markov 116 Técnicas evolutivas: Computación evolutiva 117 Algoritmos genéticos 120 Programación evolutiva 122 Estrategias de evolución 123 Programación genética 124 ix Técnicas conexionistas: I.A. conexionista 125 Combinación de múltiples modelos: Ensembles 129 Bagging 131 Boosting 132 Stacking 133 Selección y extracción de características 134 Selección de características 136 Extracción de características 137 Ingeniería de características 140 Deep Learning 141 Características clave del deep learning 145 Limitaciones del deep learning 153 Problemas derivados del sobreaprendizaje 154 Las redes neuronales como cajas negras 156 Inspiración biológica 160 Plasticidad 163 Organización jerárquica 166 Percepción 170 Modelos de neuronas y redes neuronales artificiales 185 Neuronas o elementos de procesamiento 187 Funciones de activación 194 Función de activación lineal 195 Función escalón 196 Función lineal con saturación 196 Función de activación sigmoidal 197 Función de activación lineal rectificada 201 Funciones de base radial 203 x Arquitecturas de las redes neuronales artificiales 204 Redes feed-forward 204 Redes competitivas 206 Redes recurrentes 207 Simulación de neuronas biológicas 210 PARTE II. ENTRENAMIENTO DE REDES 213 Perceptrones 215 La neurona de McCulloch y Pitts 215 Modelo computacional de McCulloch y Pitts 216 Modelo neuronal de McCulloch y Pitts 217 Ejemplo: Percepción fisiológica del calor y del frío 220 Reconocimiento de patrones con redes neuronales 221 El algoritmo de aprendizaje del perceptrón 226 Interpretación geométrica 229 Corrección del algoritmo de aprendizaje del perceptrón 231 Variantes y aplicaciones del perceptrón 235 Actualizaciones de los pesos 236 Tasas de aprendizaje 236 Zonas muertas 237 El perceptrón sigmoidal: Entradas y salidas continuas 239 El algoritmo del bolsillo: Clases no linealmente separables 240 El perceptrón de estabilidad óptima 242 El perceptrón multiclase 243 El perceptrón promedio 245 El perceptrón estructurado 248 Limitaciones del perceptrón 251 La función XOR 252 ¿Son dos bits iguales? 253 ¿Tienen dos patrones el mismo número de bits? 254 El libro de Minsky y Papert 255 Epílogo: Cómo resolver el problema XOR con perceptrones 256