UNIVERSIDAD NACIONAL DE CHIMBORAZO FACULTAD DE INGENIERÍA CARRERA DE INGENIERÍA ELECTRÓNICA Y TELECOMUNICACIONES “Trabajo de grado previo a la obtención del Título de Ingeniero Electrónico y Telecomunicaciones” TRABAJO DE GRADUACIÓN Título del Proyecto: “SISTEMA DE RECONOCIMIENTO DE EXPRESIONES FACIALES APLICADAS A LA INTERACCIÓN HUMANO-ROBOT” AUTOR: JUAN CARLOS TOAQUIZA AGUAGALLO DIRECTORA: ING. PAULINA VÉLEZ Riobamba – Ecuador AÑO 2016 Los miembros de Tribunal de Graduación del proyecto de investigación con el título: SISTEMA DE RECONOCIMIENTO DE EXPRESIONES FACIALES APLICADAS A LA INTERACCIÓN HUMANO-ROBOT presentado por: Juan Carlos Toaquiza Aguagallo y dirigida por: Ingeniera Paulina Vélez. Una vez escuchada la defensa oral y revisado el informe final del proyecto de investigación con fines de graduación escrito en la cual se ha constatado el cumplimiento de las observaciones realizadas, remite el presente para uso y custodia en la biblioteca de la Facultad de Ingeniería de la UNACH. ii CERTIFICACIÓN DEL TUTOR Certifico que el presente trabajo de investigación previo a la obtención del grado de Ingeniero en ELECTRONICA Y TELECOMUNICACIONES. Con el tema: “SISTEMA DE RECONOCIMIENTO DE EXPRESIONES FACIALES APLICADAS A LA INTERACCIÓN HUMANO-ROBOT” ha sido elaborado por el estudiante Juan Carlos Toaquiza Aguagallo, el mismo que ha sido revisado y analizado en un cien por ciento con el asesoramiento permanente de mi persona en calidad de Tutor por lo que se encuentran aptos para su presentación y defensa respectiva. iii AUTORÍA DE INVESTIGACIÓN La responsabilidad del contenido de este Proyecto de Graduación, corresponde exclusivamente a Juan Carlos Toaquiza Aguagallo e Ingeniera Paulina Vélez; y el patrimonio intelectual de la misma a la Universidad Nacional de Chimborazo. iv AGRADECIMIENTO Principalmente quiero agradecer la ayuda recibida por parte de mi familia. Sin ellos no hubiera sido posible realizar esta etapa de mi vida Quiero agradecérselo también a mi Directora de proyecto Paulina Vélez que me ha ayudado continuamente en todo el desarrollo del mismo aportando nuevas ideas y distintos puntos de vista. Sobre todo la disponibilidad que ha tenido para resolverme cada una de las dudas que me iban surgiendo. Por último, a toda la gente que estuvo cerca de mí en las buenas y en las malas, un enorme agradecimiento a ellos Juan C Toaquiza A v DEDICATORIA A mis padres y a mi familia que me ayudaron en todo el proceso, los quiero, gracias por la paciencia y el incondicional apoyo. Este triunfo es también de ustedes Juan C Toaquiza A vi INDICE GENERAL . INDICE GENERAL ....................................................................................................... vii INDICE DE FIGURAS .................................................................................................... ix INDICE DE TABLAS ....................................................................................................... x Resumen ............................................................................................................................ xi INTRODUCCIÓN ............................................................................................................ 1 CAPITULO I ..................................................................................................................... 3 1. FUNDAMENTACIÓN TEÓRICA ......................................................................... 3 1.1. LINUX ................................................................................................................ 3 1.1.1. Distribuciones de Linux .............................................................................. 5 1.1.1.1. Fedora ..................................................................................................... 6 1.2. IDE (Integrated Development Environment ) ..................................................... 8 1.2.1. Características de un IDE: ........................................................................... 8 1.2.2. Componentes: ............................................................................................. 9 1.2.3. Eclipse ......................................................................................................... 9 1.3. LENGUAJE DE PROGRAMACIÓN .............................................................. 11 1.3.1. Lenguaje de programación C++ ................................................................ 13 1.4. VISIÓN POR COMPUTADOR ....................................................................... 16 1.4.1. Procesamiento de imágenes ...................................................................... 17 1.4.2. OpenCV .................................................................................................... 19 CAPITULO II ................................................................................................................. 25 2. METODOLOGÍA ................................................................................................. 25 2.1. Tipo de estudio .................................................................................................. 25 2.1.1. Descriptivo ................................................................................................ 25 2.2. Métodos, Técnicas e Instrumentos .................................................................... 25 2.2.1. Método ...................................................................................................... 25 2.2.2.1 Experimental ............................................................................................. 25 2.3 Técnicas ............................................................................................................ 25 2.3.1. Observación .............................................................................................. 25 2.3.2. Instrumentos .............................................................................................. 25 2.4. Población y muestra .......................................................................................... 26 2.4.1. Población ................................................................................................... 26 2.4.2. Muestra ..................................................................................................... 26 2.5. Hipótesis ........................................................................................................... 26 2.6. Operacionalización de variables ....................................................................... 27 2.7. Procedimientos .................................................................................................. 29 2.8. Procedimiento y análisis ................................................................................... 30 2.8.1. Diseño ....................................................................................................... 30 vii CAPITULO III ................................................................................................................ 61 3. RESULTADOS ..................................................................................................... 61 3.1. Funcionamiento de la cámara con OpenCV...................................................... 61 3.2. Detección de rostros en tiempo real .................................................................. 61 3.3. Detección de ojos en tiempo real ...................................................................... 62 3.4. Detección de cara, ojos, nariz y boca en tiempo real ........................................ 63 3.5. Detección de expresiones faciales con OpenCV ............................................... 65 3.5.1. Felicidad .................................................................................................... 65 3.5.2. Tristeza ...................................................................................................... 67 3.5.3. Enojo ......................................................................................................... 67 3.5.4. Furia .......................................................................................................... 68 3.6. Condiciones de iluminación .............................................................................. 69 3.6.1. Iluminación natural ................................................................................... 69 3.6.2. Iluminación artificial ................................................................................. 69 3.6.3. Medición de la iluminación ....................................................................... 70 3.7. Comprobación de la hipótesis ........................................................................... 71 CAPITULO IV ................................................................................................................ 75 4. DISCUSIÓN ......................................................................................................... 75 CAPITULO V.................................................................................................................. 76 5. Conclusiones y recomendaciones ......................................................................... 76 5.1. Conclusiones ..................................................................................................... 76 5.2. Recomendaciones ............................................................................................. 77 CAPITULO VI ................................................................................................................ 78 6. PROPUESTA ........................................................................................................ 78 6.1. Título de la propuesta ........................................................................................ 78 6.2. Introducción ...................................................................................................... 78 6.3. Objetivos ........................................................................................................... 79 6.3.1. Objetivo General ....................................................................................... 79 6.3.2. Objetivos Específicos ................................................................................ 79 6.4. Fundamentación Científico-Técnico ................................................................. 79 6.5. Descripción de la propuesta .............................................................................. 80 6.6. Diseño organizacional ....................................................................................... 80 6.7. Monitoreo y Evaluación de la propuesta ........................................................... 81 CAPITULO VII .............................................................................................................. 82 7. BIBLIOGRAFIA .................................................................................................. 82 CAPITULO VIII ............................................................................................................. 84 8. APENDICES O ANEXOS.................................................................................... 84 8.1. ANEXO 1. Eye Detection ................................................................................. 84 8.2. ANEXO 2. Programación sonrisa ..................................................................... 87 viii INDICE DE FIGURAS Figura 1. Logo Linux .......................................................................................................... 3 Figura 2. Compañías relacionadas con Linux ..................................................................... 4 Figura 3. Distribuciones de Linux....................................................................................... 5 Figura 4. Logo fedora ......................................................................................................... 6 Figura 5. Escritorio Gnome 3 .............................................................................................. 7 Figura 6. Escritorio Gnome 3 .............................................................................................. 8 Figura 7. Logo Eclipse neón ............................................................................................... 9 Figura 8. Interfaz Eclipse Neón ........................................................................................ 10 Figura 9. Lenguajes de programación ............................................................................... 11 Figura 10. Logo C++ Eclipse ............................................................................................ 13 Figura 11. Ejemplo de visión por computador .................................................................. 17 Figura 12. Ejemplo del procesamiento de imágenes ......................................................... 18 Figura 13. Logo Open CV ................................................................................................ 19 Figura 14. Símbolo de código abierto ............................................................................... 20 Figura 15. Características de Haar Features ...................................................................... 23 Figura 16. Procedimiento general para la detección de expresiones faciales ................... 29 Figura 17. Gestor de paquetes para instalar Eclipse (captura de pantalla) ........................ 30 Figura 18. Ventana para añadir el path de OpenCV ......................................................... 31 Figura 19. Ventana para ingresar los módulos de OpenCV .............................................. 32 Figura 20. Fuente. Captura de pantalla tomados de la base de datos. .............................. 34 Figura 21. Imagen “sonreir.jpg” ....................................................................................... 36 Figura 22. Archivo haarcascade_frontalface_alt.xml ....................................................... 37 Figura 23. Imagen “sonreir.jpg” en escala de grises ......................................................... 37 Figura 24. Ecualización de histograma imagen “sonreir.jpg” ........................................... 38 Figura 25. Reconocimiento facial imagen”sonreir.jpg” .................................................... 40 Figura 26. Grafico “images.jpg” ....................................................................................... 42 Figura 27. Detección de ojos en “images.jpg” .................................................................. 45 Figura 28. Gráficos para detección de seriedad y felicidad .............................................. 54 Figura 29. Grafico para detección de tristeza.................................................................... 56 Figura 30. Grafico para detección de enojo ...................................................................... 58 Figura 31. Grafico para detección de furia ....................................................................... 59 Figura 32. Imagen de WebCam con OpenCV (captura de pantalla) ................................. 61 Figura 33. Detección de rostro. De frente y costado (captura de pantalla) ....................... 62 Figura 34. Detección de rostro y ojos. De frente y costado .............................................. 63 Figura 35. Detección de boca y nariz sin región de búsqueda .......................................... 64 Figura 36. Detección de boca y nariz sin región de búsqueda, con agentes externos ....... 64 Figura 37. Detección de rostro, ojos, nariz, boca, con región de búsqueda ...................... 65 Figura 38. Detección de seriedad o estado neutral ............................................................ 66 Figura 39. Detección de la felicidad ................................................................................. 66 Figura 40. Detección de la tristeza .................................................................................... 67 Figura 41. Detección del enojo ......................................................................................... 68 Figura 42. Detección de furia ............................................................................................ 68 Figura 43. Iluminación natural .......................................................................................... 69 Figura 44. Iluminación artificial ....................................................................................... 70 Figura 45. Luxómetro CEM DT-1309 .............................................................................. 70 Figura 46. Medición del nivel de iluminación .................................................................. 71 Figura 47. Esquema Organizacional ................................................................................. 80 ix INDICE DE TABLAS Tabla 1. Operacionalización de variables ......................................................................... 27 Tabla 2.Coordenadas de región para los ojos ................................................................... 41 Tabla 3. Medición de niveles de iluminación ................................................................... 71 Tabla 4. Frecuencia observada y gran total de filas y columnas ....................................... 72 Tabla 5. Frecuencia esperada ............................................................................................ 72 Tabla 6. Componentes Chi-Cuadrado ............................................................................... 73 Tabla 7. Grados de libertad vs Probabilidad ..................................................................... 74 x