Leandro Weige Dias Análise Comparativa entre a Primeira e a Segunda Versão do Kinect na Biometria do Caminhar Dissertação apresentada ao Programa de Pós- Graduação em Computação da Universidade Federal de Pelotas, como requisito parcial à obtenção do título de Mestre em Ciência da Computação Orientador: Prof. Dr. Ricardo Matsumura de Araújo Pelotas, 2017 Universidade Federal de Pelotas / Sistema de Bibliotecas Catalogação na Publicação D541a Dias, Leandro Weige DiaAnálise comparativa entre a primeira e a segunda versão do kinect na biometria do caminhar / Leandro Weige Dias ; Ricardo Matsumura de Araújo, orientador. — Pelotas, 2017. Dia114 f. : il. DiaDissertação (Mestrado) — Programa de Pós-Graduação em Computação, Centro de Desenvolvimento Tecnológico, Universidade Federal de Pelotas, 2017. Dia1. Aprendizado de máquina. 2. Biometria. 3. Reconhecimento do caminhar. 4. Kinect. I. Araújo, Ricardo Matsumura de, orient. II. Título. CDD : 005 Elaborada por Maria Inez Figueiredo Figas Machado CRB: 10/1612 AGRADECIMENTOS Agradeço primeiramente a Deus, pois tudo o que eu tenho eu devo a Ele, meu Criador e Salvador, Àquele que me da forças e coragem durante todos os momentos de minha vida. Também não posso deixar de agradecer ao meu orientador, Prof. Ricardo Matsumura de Araújo, pela sua atenção, dedicação, disponibilidade de estar sempre me auxiliando em minhas dúvidas, me motivando a prosseguir e me ensinando com zêlo o que necessitei aprender em todo o processo de desenvolvimento deste trabalho. Também agradeço aos professores do PPGC, pois com sua excelência no ensino transmitiram-me conhecimentos essenciais para realizar esta dissertação e me desenvolver academicamente. Quero agradecer especialmente a minha amada esposa, Luiza Fagundes Dias, pois ela de forma especial e carinhosa me motivou, deu forças e me apoiou em todos os momentos. Ela é parte essencial desta conquista, acreditou em mim e sempre esteve ao meu lado me auxiliando a todo o tempo. Te amo de todo o meu coração! Agradeço também aos meus pais, pois sem a educação e o apoio que me deram nunca teria chegado até aqui. Eles também são parte indispensável desta conquista, o que eu sou é resultado da dedicação deles em formar e educar a minha vida. Também desejo agradecer aos meus filhos, Fabrício e Lara, que me foram de motivação para seguir adiante. Porfim, agradeçoaUFPel, poisatravésdelapudemetornarservidorealunodomestrado no PPGC. Grandes coisas fez o Senhor por nós, por isso estamos alegres. — Salmos 126.3 RESUMO DIAS, Leandro Weige. Análise Comparativa entre a Primeira e a Segunda Versão do Kinect na Biometria do Caminhar. 2017. 114 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Desenvolvimento Tecnológico, Universidade Federal de Pelotas, Pelotas, 2017. Este trabalho tem por objetivo central trazer uma comparação entre as duas versões do sensor Kinect em relação a identificação biométrica através do caminhar humano. Para realizar a comparação entre os sensores, foram implementadas quatro metodologias diferentes de extração de parâmetros do caminhar humano, sendo analisados tanto atributos antro- pométricos, cinemáticos como espaço-temporais. Uma análise individual de cada atributo das propostas de caracterização do caminhar foi realizada para identificar os predicados que traziam maior contribuição na identificação dos indivíduos. Com a finalidade de se criar uma base de exemplos para a extração dos parâmetros do caminhar, foram capturados 50 indivíduos através dos sensores Kinect e aplicados algoritmos de aprendizado de máquina para a classificação das pessoas. Os resultados obtidos mostraram uma acurácia superior do Kinect One na maioria das metodologias, justificando a sua utilização em relação ao Kinect 360. Neste trabalho também foram realizados como experimentos adicionais a comparação entre os sensores com relação a identificação do gênero do indivíduo e a análise da dependência de pose. Palavras-Chave: aprendizado de máquina; biometria; reconhecimento do caminhar; kinect ABSTRACT DIAS, Leandro Weige. Comparative Analysys of Kinect’s First and Second Version on Biometrics of Gait. 2017. 114 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Desenvolvimento Tecnológico, Universidade Federal de Pelotas, Pelotas, 2017. Machine Learning, Biometrics, Gait Recognition, Kinect The main goal of this thesis is to bring a comparative between the two versions of the Kinect sensor in biometric identification through human gait. To compare the sensors, four different methods of human gait parameters extraction were implemented, being analyzed both anthropometric, kinematic and spatiotemporal attributes. An individual analysis of each attribute of the gait characterization methodologies was performed to identify the attributes that bring the greatest contribution in the identification of individuals. In order to create a base for extracting gait parameters, 50 individuals were captured through the Kinect sensors and machine learning algorithms were applied to classify the people. The results obtained show a superiority of Kinect One in most of the methodologies, justifying its use in relation to Kinect 360. In this work, a mapping between the sensors in relation to the identification of the individual’s gender and an analysis of the pose dependency were also performed as additional experiments. Keywords: machine learning; biometrics; gait recognition; kinect LISTA DE FIGURAS Figura 1 Ilustração do século 19 mostrando como realizar as medidas antropomé- tricas de Alphonse. Fonte: YESHION (2014). . . . . . . . . . . . . . . . 15 Figura 2 Sete componentes que formam a base para o caminhar humano. Fonte: VAUGHAN; DAVID; O’CONNOR (1999). . . . . . . . . . . . . . . . . . 18 Figura 3 Ciclo completo. Fonte: VAUGHAN; DAVID; O’CONNOR (1999). . . . . . 19 Figura 4 Ciclo completo do caminhar humano. Fonte: Adaptado de VAUGHAN; DAVID; O’CONNOR (1999). . . . . . . . . . . . . . . . . . . . . . . . . 19 Figura 5 Fases do ciclo do caminhar. Fonte: Adaptado por ANDERSSON (2014) de YAM; NIXON; CARTER (2004) e (YAM C. NIXON; CARTER, 2003). . 20 Figura 6 Rotação pélvica. Fonte: NETO (2015). . . . . . . . . . . . . . . . . . . 21 Figura 7 Inclinação da pélvis. Fonte: NETO (2015). . . . . . . . . . . . . . . . . . 22 Figura 8 Deslocamento lateral da pélvis. Fonte: NETO (2015). . . . . . . . . . . . 22 Figura 9 Duas teorias do caminhar. Fonte: SOUZA (2009). . . . . . . . . . . . . . 23 Figura 10 Componentes de uma análise baseada em modelo. Fonte: YAM; NIXON (2015). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Figura 11 Figuras de Movimento. Fonte: Adaptado de YOO; NIXON (2011) . . . . 25 Figura 12 Figuras de Movimento. Fonte: Adaptado de YOO; NIXON (2011) . . . . 25 Figura 13 Ângulo de captura do método de identificação de Benabdelkader. Fonte: BENABDELKADER; CUTLER; DAVIS (2015). . . . . . . . . . . . . . . . 27 Figura 14 Distâncias do corpo utilizadas como parâmetros estáticos. Fonte: BO- BICK; JOHNSON (2001). . . . . . . . . . . . . . . . . . . . . . . . . . . 28 Figura 15 Trajetória semi-circular percorrida pela pessoa. Fonte: Adapatado de AN- DERSSON (2014). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Figura 16 Sequência de esqueletos 2D. Fonte: Adaptado de YOO JANG- HEE; MOON; HWANG DOOSUNG; NIXON (2008). . . . . . . . . . . . . 29 Figura 17 Usuárioutilizandosensoresdecaptura. Fonte: AdaptadodeTANAWONG- SUW R.; BOBICK (2015). . . . . . . . . . . . . . . . . . . . . . . . . . 30 Figura 18 Fluxograma do algoritmo de Wang. Fonte: Adaptado de WANG et al. (2005). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Figura 19 Fluxograma da metodologia de Balazia. Fonte: Adaptado de BALAZIA (2013). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Figura 20 Dimensões obtidas do indivíduo e a sua segmentação. Na esquerda são ilustradas a altura e largura da pessoa e na direita é apresentada a divisão em oito partes. Fonte: Adaptado de YEOH et al. (2011). . . . . . . . . . 34 Figura 21 A silhueta típica de uma pessoa e suas sub-partes. Fonte: Adaptado de VENKAT; WILDE (2010). . . . . . . . . . . . . . . . . . . . . . . . . . 35 Figura 22 GEIs extraídos de multiplos ângulos. Pixels mais claros representam maior ocupação no ciclo do caminhar. Fonte: SIVAPALAN et al. (2011). . . . . 36 Figura 23 Na esquerda está um exemplo de um modelo de reconstrução de voxel, na imagem do meio é apresentado um GEV e na direita está uma represen- tação cortada do GEV exibida para melhor ilustrar as densidades internas. Fonte: SIVAPALAN et al. (2011). . . . . . . . . . . . . . . . . . . . . . 37 Figura 24 Demonstrativos dos ângulos de captura da base CMU MoBo Database. Fonte: SIVAPALAN et al. (2011). . . . . . . . . . . . . . . . . . . . . . 37 Figura 25 Retângulodemarcandoasilhuetadapessoa. Fonte: GUILLENetal.(2009a). 38 Figura 26 Imagens gaussianas sendo transformadas em GHGI. Fonte: ARORA et al. (2015a). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 Figura 27 Ângulos Euler utilizados para identificar o indivíduo. Fonte: (KASTANI- OTIS et al., 2015). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 Figura 28 Ilustração do funcionamento do KNN. Fonte: (PETERSON, 2009). . . . . 51 Figura 29 Árvore de decisão para jogar tênis. Fonte: (GFBIOINFO, 2017). . . . . . 53 Figura 30 Relações dos elementos da árvore de decisão para jogar tênis. Fonte: (GFBIOINFO, 2017). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 Figura 31 Um neurônio artificial. Fonte: (GERSHENSON, 2015). . . . . . . . . . . 54 Figura 32 Aparência do Kinect 360. Fonte: (CNET, 2017). . . . . . . . . . . . . . . 55 Figura 33 Juntas mapeadas pelo Kinect 360. Fonte: (MICROSOFT, 2017b). . . . . 56 Figura 34 Aparência do Kinect One. Fonte: (XBOX, 2015). . . . . . . . . . . . . . 57 Figura 35 Pontos mapeados pelos sensores Kinect. Fonte: (MASTER, 2017). . . . . 58 Figura 36 Fluxograma da metodologia para identificação dos indivíduos. . . . . . . . 60 Figura 37 Posição dos sensores Kinect na captura dos dados. . . . . . . . . . . . . . 60 Figura 38 Trajeto percorrido pelas pessoas nas capturas. . . . . . . . . . . . . . . . 61 Figura 39 Trajeto das capturas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 Figura 40 Gênero das pessoas capturadas. . . . . . . . . . . . . . . . . . . . . . . . 63 Figura 41 Altura das pessoas capturadas. . . . . . . . . . . . . . . . . . . . . . . . 64 Figura 42 Peso das pessoas capturadas. . . . . . . . . . . . . . . . . . . . . . . . . 64 Figura 43 Idade das pessoas capturadas. . . . . . . . . . . . . . . . . . . . . . . . . 64 Figura 44 Em(a)éapresentadoossegmentosqueforamutilizados, em(b)édescrito os ângulos destes segmentos e em (c) é apresentado o ângulo de abertura do pé. (ANDERSSON, 2014). . . . . . . . . . . . . . . . . . . . . . . . 67 Figura 45 Fases de extensão (vales) e flexão (picos) descritos pelos ângulos do joelho direito durante uma caminhada capturada (ANDERSSON, 2014). . . . . . 68 Figura 46 Adaptação da metodologia de (ARORA et al., 2015a). . . . . . . . . . . . 70 Figura 47 Área do retângulo (GUILLEN et al., 2009a). . . . . . . . . . . . . . . . . 70 Figura 48 Ângulo diagonal do retângulo (GUILLEN et al., 2009a). . . . . . . . . . . 71 Figura 49 Análise dos atributos antropométricos da metodologia de ANDERSSON (2014). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 Figura 50 Comparativo dos sensores utilizando a metodologia de ANDERSSON (2014). 82 Figura 51 Resultados das Figuras de Movimento. . . . . . . . . . . . . . . . . . . . 84 Figura 52 Resultados da Caixa Delimitadora. . . . . . . . . . . . . . . . . . . . . . 86 Figura 53 Comparativo dos sensores na implementação da metodologia da Divisão em Segmentos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 Figura 54 Resultado da aplicação do conjunto de atributos formado pelas propostas de maior acurácia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Figura 55 Comparativo do conjunto que seleciona atributos de todas as metodologias. 92 Figura 56 Comparativo entre os resultados. . . . . . . . . . . . . . . . . . . . . . . 93 Figura 57 Comparativo dos resultados da análise de dependência de pose. . . . . . . 97 LISTA DE TABELAS Tabela 1 Resultado na identificação do mal de Parkinson . . . . . . . . . . . . . . 45 Tabela 2 Ângulos das capturas realizadas através do Kinect . . . . . . . . . . . . . 47 Tabela 3 Algoritmos que obtiveram melhores resultados (* a última linha relaciona trabalhos que utilizaram algoritmos próprios de classificação.) . . . . . . . 47 Tabela 4 Versão do Kinect utilizada nos trabalhos . . . . . . . . . . . . . . . . . . 48 Tabela 5 Resumo dos trabalhos na identificação do caminhar . . . . . . . . . . . . 49 Tabela 6 Resumo dos trabalhos na análise da saúde . . . . . . . . . . . . . . . . . 50 Tabela 7 Exemplo de dados para árvore de decisão (GFBIOINFO, 2017). . . . . . . 52 Tabela 8 Implementação dos algoritmos de aprendizado de máquina no WEKA . . . 72 Tabela 9 Resultado utilizando a metodologia de Andersson com Kinect 360 . . . . . 74 Tabela 10 Resultado utilizando a metodologia de Andersson com Kinect One . . . . 75 Tabela 11 Atributos antropométricos com Kinect 360 . . . . . . . . . . . . . . . . . 75 Tabela 12 Atributos antropométricos com Kinect One . . . . . . . . . . . . . . . . . 75 Tabela 13 Impacto de cada atributo antropométrico no Kinect 360 . . . . . . . . . . 76 Tabela 14 Impacto de cada atributo antropométrico no Kinect One . . . . . . . . . 77 Tabela 15 Atributos cinemáticos com Kinect 360 . . . . . . . . . . . . . . . . . . . 78 Tabela 16 Atributos cinemáticos com Kinect One . . . . . . . . . . . . . . . . . . . 79 Tabela 17 Impacto de cada atributo cinemático no Kinect 360 . . . . . . . . . . . . 79 Tabela 18 Impacto de cada atributo cinemático no Kinect One . . . . . . . . . . . . 80 Tabela 19 Atributos espaço-temporais com Kinect One . . . . . . . . . . . . . . . . 80 Tabela 20 Atributos espaço-temporais com Kinect 360 . . . . . . . . . . . . . . . . 80 Tabela 21 Impacto de cada atributo espaço-temporal com Kinect 360 . . . . . . . . 81 Tabela 22 Impacto de cada atributo espaço-temporal com Kinect One . . . . . . . . 81 Tabela 23 Diferença entre os sensores na aplicação da proposta de ANDERSSON (2014) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Tabela 24 Resultado utilizando a metodologia das Figuras de Movimento com Kinect 360 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 Tabela 25 Resultado utilizando a metodologia das Figuras de Movimento com Kinect One . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 Tabela 26 Analisando o impacto de cada atributo das Figuras de Movimento no Kinect 360 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 Tabela 27 Analisando o impacto de cada atributo das Figuras de Movimento no Kinect One . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 Tabela 28 Resultado utilizando a metodologia da Caixa Delimitadora com Kinect 360 85 Tabela 29 Resultado utilizando a metodologia da Caixa Delimitadora com Kinect One 85 Tabela 30 Analisando o impacto de cada atributo da Caixa Delimitadora no Kinect 360 86