ANA FILIPA PINHEIRO SEQUEIRA Liveness Detection and Robust Recognition in Iris and Fingerprint Biometric Systems Ph.D. Thesis FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO June 2015 FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO Liveness Detection and Robust Recognition in Iris and Fingerprint Biometric Systems Ana Filipa Pinheiro Sequeira Programa Doutoral em Engenharia Eletrotécnica e de Computadores Supervisor: Jaime dos Santos Cardoso (PhD) June 2015 ⃝c Ana F. Sequeira, 2015 Resumo A Biometria constitui um regresso a uma forma mais tradicional de identificar alguém com base no que essa pessoa é em vez de ser baseada naquilo que essa pessoa sabe ou possui. Apesar de já existir uma pesquisa significativa nesta área, ainda há muito a fazer considerando que novos cenários de aplicabilidade aparecem a cada dia. Os sistemas de reconhecimento biométrico já não estão confinados à investigação forense ou ao controlo de funcionários. Estes sistemas têm vindo a ganhar uma visibilidade e aplicabilidade nos dispositivos de uso diário que reforçam a sua usabilidade em todos os aspetos da nossa rotina. Com esta expansão de aplicações biométricas, encontradas hoje em dia nos nossos computa- dores pessoais, smarthphones, serviços de gestão bancária e de controlo nos aeroportos, há uma crescente necessidade de uma melhor segurança. A importância de proteger a nossa identidade e as nossas informações tornou-se crucial devido a os nossos dispositivos se tornarem repositórios de informação sensível a muitos níveis. Assim, os métodos de deteção de vivacidade como medidas contra os spoffing attacks são mais importantes do que nunca. Novos métodos devem ser desenvolvidos que se debrucem sobre os novos cenários de aquisição de dados e que lidem com o crescente ruído nos dados biométricos recolhidos. É então de extrema importância o desenvolvimento de métodos de deteção de vivacidade ro- bustos. Em particular, trabalhámos com íris e impressão digital. Estes dois traços biométricos são muitas vezes escolhidos pelas suas características particulares. Entre os objetivos desta tese es- tavam o propósito de fazer contribuições na deteção de vivacidade relativamente a íris e impressão digital propondo novas abordagens quer do ponto de vista dos cenários de aquisição de imagem, no caso da íris, quer na abordagem usada para a classificação, no caso da impressão digital. Foram feitas contribuições relativamente a ambos os traços, que excederam o estado da arte e resultaram em publicações tanto de conferência como de revista. Não só os spoffing attacks preocupam os investigadores mas também a capacidade dos méto- dos de lidarem com dados ruidosos. O desenvolvimento de métodos robustos que ultrapassem o facto de a qualidade dos dados estar comprometida é uma necessidade da pesquisa biométrica dos nossos dias. Assim, um outro objetivo desta tese era contribuir para o reconhecimento por impressão digital desenvolvendo métodos robustos para extração de minúcias. O trabalho desen- volvido resultou na proposta de um método para a estimação do mapa de orientação e um método de realce de uma impressão digital que melhoraram os resultados existentes. Este trabalho pretendeu e foi bem sucedido em propôr métodos robustos e realistas tanto no problema da deteção de vivacidade em íris e impressão digital como em alguns passos do recon- hecimento por impressão digital. É de ressalvar que o foco de atenção deste trabalho é a qualidade dos dados e não a eficiência computacional, e esta teria de ser tida em conta ao ambicionar uma implementanção dos métodos em sistemas aplicados ao mundo real. Outro objetivo deste trabalho foi criar novas bases de dados e plataformas comuns de avaliação de métodos tais como competições biométricas. Assim, durante o trabalho desenvolvido, foram i ii construídas duas bases de dados e foram organizadas duas competições biomítricas. Ambas as bases de dados tiveram um grande impacto na comunidade científica e continuam a ser dissemi- nadas. Publicações usando estes datasets são já numerosas e continuam a aparecer regularmente. Abstract Biometrics represents a return to a traditional way of identifying someone relying on what that per- son is instead of what that person knows or owns. Even though the significant amount of research that has been done in this field, there is still much to do as new emerging scenarios of application appear everyday. Biometric recognition systems are no longer restricted to forensic investigation or control management of employees. They have been gaining a visibility and applicability in daily use devices which reinforces their usability in all aspects of our day to day life. With this spread of biometric applications, nowadays commonly found in our laptops, our smart phones, some bank management services and airport custom services, a necessity for im- proved security also is rising. The importance of protecting our identity and our data has become crucial as our devices are filled with sensible information of many kinds. Therefore the presentation attack or liveness detection methods as countermeasures against spoofing attacks are more important than ever. New methods should be developed which address the new acquisition scenarios and which deal with the increased noise in the biometric data col- lected. Its of utmost importance to develop robust liveness detection methods. In particular, we worked on iris and fingerprint. These two biometric traits are very often chosen against others due to its characteristics. Among the objectives of this thesis were the purpose of making con- tributions in iris and fingerprint liveness detection proposing novel approaches whether from the imaging scenarios perspective, in the case of iris, or from the classification approach, in the case of fingerprint. Contributions were made regarding both traits, that exceeded the state-of-the art and resulted in both conferences and journal publications. Not only the spoofing attacks concern the biometric researchers but also the ability of the meth- ods to deal with the noisy data. Therefore, the development of robust methods that overcome the compromised quality of data is a necessity of biometric research of nowadays. Therefore, another objective was to contribute to the fingerprint recognition problem developing robust methods to minutiae extraction. The work developed resulted in a proposed method for fingerprint orientation map estimation and a fingerprint image enhancement that over performed existing ones. This work aimed and succeeded to propose robust and realistic methods in both the iris and fingerprint liveness detection problem as well as in some steps of fingerprint recognition. It has to be noted that the focus of attention of this work was the quality of data and not the computational efficiency, therefore this one should have to be addressed if an application of the proposed methods to a real-world scenario was aimed. Another objective was to create new databases and promote common platforms of evaluation of methods such as biometric competitions. Therefore, along the work developed, two biometric databases were constructed and two biometric competitions were organized. Both databases had a strong impact in the research community and they continue to be disseminated. Publications using these benchmark datasets are numerous and continue to appear regularly. iii iv Acknowledgments I would like to express my gratitude to Professor Jaime S. Cardoso for everything that he taught me and for setting an admirable example both in his professional conduct and regarding his human qualities. I am forever grateful for all the support, encouragement and constant availability during the development of my work, that went far beyond the role of a supervisor. I extend my gratitude to INESC TEC for all the conditions provided. I am very glad to have had the possibility of being embraced by this institution. All the past and present members of the “Visual Computing and Machine Intelligence” (VCMI) group played a unique role in my professional and personal path during this time. I could say in which manner each one of you has helped and inspired me in a particular way and at a different moment. I will keep these memories with me wherever we go in the future. Nevertheless, a very special word of gratitude is due to Ana Rebelo, Inês Domingues, Hélder Oliveira, Ricardo Sousa, João P. Monteiro, João C. Monteiro, Eduardo Marques and Pedro Ferreira. I shall also dedicate a few words to someone whose influence in my life spanned out the time I was his student in the degree and master. The way I reason about Mathematics, Science, Knowledge and Life itself was deeply influenced by the many things he taught me about, the many things we changed opinions about and the many things I wondered about after all that. Thank you Professor António Machiavelo. With each one of my dear, dear friends I share all the small, medium and big steps in my life. This is one more step I took with you holding my hand, watching my back or simply bringing joy to my days. I am blessed for having you all and your presence in my life is the fuel that keeps me going. Thank you. To my close family that have always suffered with my absence and all the consequences of my choices in life, I thank the fact that, even at a distance, you were there sharing every moment with me, good or bad, and encouraging me. Without your support, everything would have been so much heavier. To my Mother and Father, to whom I belong and to whom I owe everything, I thank for being the certainty in my life. The work developed was not possible without the support provided by FCT – Fundação para a Ciência e a Tecnologia (Portuguese Foundation for Science and Technology), with Ph.D grant (Grant ID - SFRH / BD / 74263 / 2010). v vi