E´cole Doctorale Informatique et Information pour la Socie´te´ THE`SE pour obtenir le grade de Docteur en Informatique de l’E´cole Centrale de Lyon pr´esent´ee et soutenue publiquement par Boulbaba BEN AMOR le 08 de´cembre 2006 Contributions `a la reconstruction, la reconnaissance et l’authentification faciale 3D pr´epar´ee au sein du laboratoire LIRIS sous la direction de Liming CHEN Mohsen ARDABILIAN COMPOSITION DU JURY XXX Pr´esident (XXX) XXX Rapporteur (XXX) XXX Rapporteur (XXX) XXX Examinateur (XXX) M. Liming CHEN Directeur de th`ese (Professeur, E´cole Centrale de Lyon) M. Mohsen ARDABILIAN Co-directeur de th`ese (Maˆıtre de conf´erences, E´cole Centrale de Lyon) Table des mati`eres Table des mati`eres iv 1 Introduction 1 1.1 Contexte et probl´ematiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Objectifs et contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Organisation de la th`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 E´tat de l’art en mod´elisation et reconnaissance faciales 3D 7 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Technologies de num´erisation tridimensionnelle . . . . . . . . . . . . . . . . 8 2.2.1 Techniques de reconstruction actives . . . . . . . . . . . . . . . . . . 10 2.2.2 Techniques de reconstruction passives . . . . . . . . . . . . . . . . . 16 2.3 Identification/v´erification de personnes par visages 3D . . . . . . . . . . . . 18 2.3.1 2D vs. 2D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.3.1.1 M´ethodes de sous-espace (subspace methods) . . . . . . . . 20 2.3.1.2 M´ethodes bas´ees sur des attribues g´eom´etriques (geometric feature-based methods) . . . . . . . . . . . . . . . . . . . . . 21 2.3.2 2D vs. 2D via 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3.3 3D vs. 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3.3.1 M´ethodes de sous espace (subspace methods) . . . . . . . . 23 2.3.3.2 M´ethodes bas´ees sur l’alignement de surfaces . . . . . . . . 23 2.3.3.3 M´ethodes bas´ee sur le calcul de courbure . . . . . . . . . . 24 2.3.3.4 M´ethodes bas´ees sur le calcul g´eod´esique (bending-invariant canonical form) . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.4 Bi-modalit´e 2D+3D . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3 Reconstruction faciale 3D par vision active et mod´elisation g´eom´etrique 29 - i - TABLE DES MATIE`RES 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2 Vue d’ensemble de l’approche propos´ee . . . . . . . . . . . . . . . . . . . . . 30 3.3 Calibration du capteur st´er´eo . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.3.1 Mod`ele math´ematique de cam´era . . . . . . . . . . . . . . . . . . . . 33 3.3.1.1 Transformation monde/camera . . . . . . . . . . . . . . . . 34 3.3.1.2 Projection 3D-2D . . . . . . . . . . . . . . . . . . . . . . . 35 3.3.1.3 Prise en compte des distorsions . . . . . . . . . . . . . . . . 35 3.3.1.4 Transformation camera/image . . . . . . . . . . . . . . . . 36 3.3.1.5 Transformation globale . . . . . . . . . . . . . . . . . . . . 36 3.3.2 Au-del`a d’une cam´era . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.2.1 Calibrage st´er´eo . . . . . . . . . . . . . . . . . . . . . . . . 37 3.3.2.2 Relation droite/gauche . . . . . . . . . . . . . . . . . . . . 37 3.3.3 M´ethode de calibration . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.3.3.1 Classification des m´ethodes de calibration . . . . . . . . . . 38 3.3.3.2 M´ethode de calibration . . . . . . . . . . . . . . . . . . . . 39 3.4 Strat´egie de mise en correspondance st´er´eo . . . . . . . . . . . . . . . . . . 40 3.4.1 G´eom´etrie ´epipolaire et rectification g´eom´etrique . . . . . . . . . . . 41 3.4.2 Lumi`ere et d´etection sous-pix´elique de fronti`eres de franges . . . . . 42 3.4.3 Appariement par programmation dynamique . . . . . . . . . . . . . 44 3.4.3.1 Formulation math´ematique du probl`eme . . . . . . . . . . 46 3.4.3.2 Application a` l’appariement st´er´eo . . . . . . . . . . . . . . 47 3.5 Mod´elisation partielle du visage . . . . . . . . . . . . . . . . . . . . . . . . . 49 3.5.1 Triangulation optique . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.5.2 Interpolation via des mod`eles de splines cubiques . . . . . . . . . . . 51 3.5.3 G´en´eration de la forme 3D . . . . . . . . . . . . . . . . . . . . . . . 53 3.6 Mod´elisation compl`ete du visage . . . . . . . . . . . . . . . . . . . . . . . . 55 3.6.1 Recalage grossier des diff´erentes vues . . . . . . . . . . . . . . . . . . 58 3.6.2 Recalage fin moyennant ICP . . . . . . . . . . . . . . . . . . . . . . 58 3.7 R´esultats et proc´edure de validation . . . . . . . . . . . . . . . . . . . . . . 59 3.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 4 Reconnaissance/Authentification de personnes via leurs surfaces faciales 65 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 4.2 Vue d’ensemble de l’approche propos´ee . . . . . . . . . . . . . . . . . . . . . 67 4.3 Appariement de surfaces 3D via ICP . . . . . . . . . . . . . . . . . . . . . . 69 4.3.1 Pr´esentation de l’algorithme ICP . . . . . . . . . . . . . . . . . . . . 70 - ii - TABLE DES MATIE`RES 4.3.2 Initialisation de l’algorithme ICP . . . . . . . . . . . . . . . . . . . . 78 4.3.2.1 Utilisation de points d’int´erˆets . . . . . . . . . . . . . . . . 79 4.3.2.2 Utilisation des barycentres . . . . . . . . . . . . . . . . . . 80 4.3.3 Notre variante de l’algorithme ICP : R-ICP . . . . . . . . . . . . . . 80 4.4 Segmentation du visage 3D en r´egions . . . . . . . . . . . . . . . . . . . . . 82 4.4.1 E´tude anatomique du visage . . . . . . . . . . . . . . . . . . . . . . 82 4.4.2 Influences des muscles et des r´egions sur la forme faciale 3D . . . . . 86 4.4.3 Sch´ema de segmentation adapt´e . . . . . . . . . . . . . . . . . . . . 87 4.5 Calcul de carte g´eod´esique en vue de la reconnaissance . . . . . . . . . . . . 90 4.5.1 Calcul G´eod´esique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 4.5.1.1 D´efinition d’une g´eod´esique . . . . . . . . . . . . . . . . . . 91 4.5.1.2 Th´eorie de Sethian . . . . . . . . . . . . . . . . . . . . . . . 91 4.5.1.3 Algorithme de Cheminement Rapide . . . . . . . . . . . . . 92 4.5.1.4 Cheminement Rapide sur une triangulation aigu¨e . . . . . 93 4.5.1.5 Extension vers une triangulation quelconque . . . . . . . . 95 4.5.2 Application de l’algorithme du cheminement rapide dans le cas des surfaces faciales 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 4.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 5 Exp´erimentations, ´evaluations et discussions 101 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 5.2 Protocole d’exp´erimentation et d’´evaluation . . . . . . . . . . . . . . . . . . 102 5.2.1 Nouvelle base de donn´ees ECL-IV2 . . . . . . . . . . . . . . . . . . 102 5.2.2 Comparaison avec la base FRGC . . . . . . . . . . . . . . . . . . . . 108 5.2.3 Sc´enarios des exp´erimentations . . . . . . . . . . . . . . . . . . . . . 109 5.2.4 Crit`eres de performances . . . . . . . . . . . . . . . . . . . . . . . . 110 5.3 R´esultats obtenus et discussions . . . . . . . . . . . . . . . . . . . . . . . . . 111 5.3.1 Algorithme bas´e sur ICP . . . . . . . . . . . . . . . . . . . . . . . . 112 5.3.2 Algorithme bas´e sur notre variante R-ICP . . . . . . . . . . . . . . . 115 5.3.3 Algorithme bas´e sur le calcul de cartes g´eod´esiques . . . . . . . . . . 121 5.3.4 Comparaison des algorithmes ICP, R-ICP et cartes g´eod´esiques . . 124 5.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 6 Conclusion et perspectives 129 Bibliographie 133 - iii - Liste des figures 144 - iv - Chapitre 1 Introduction 1.1 Contexte et probl´ematiques Depuis les attentats du 11 septembre 2001 aux E´tats-unis, et la m´ediatisation qui en a ´et´e l’objet, les restrictions sur les fronti`eres se sont´elargies. Les pays, notamment europ´eens et les´etats am´ericaines, souhaitent mieux connaˆıtre et s’assurer de l’identit´e des voyageurs, surtout en mati`ere de flux migratoires. Cependant, leurs politiques de d´eploiement de la s´ecurit´e des citoyens et des services n’ont pas attendu ses ´ev´enements pour ´emerger. En effet, avec la croissance exponentielle des communications, tant en volume qu’en diversit´e (d´eplacement physique, transaction financi`ere, acc`es aux services, etc.), les pr´eoccupations internationalesontfaitressortircesn´ecessit´esenvuedeluttercontrelafraude,lacrimeetle terrorisme. Face `a ces responsabilit´es politiques, d’une part, et a` ce besoin de protection ci- viled’autrepart,lessyst`emesd’identificationetd’authentificationdepersonnesconnaissent un int´erˆet grandissant et suscitent un vif int´erˆet dans diff´erents domaines, tels que le sec- teur bancaire, les services publics, ainsi que dans le domaine de transport et notamment de voyages. Leur d´enominateur commun, est d’offrir des moyens simples, pratiques, fiables, pour v´erifier l’identit´e d’une personne, sans l’assistance d’une autre personne. Afin de r´esoudre ces probl`emes et de r´epondre a` ces besoins li´es a` la s´ecurit´e, la biom´etrie se pr´esente comme une technologie puissante. En effet, les diff´erents moyens biom´etriques sont bas´es sur des caract´eristiques comportementales et/ou physiologiques sp´ecifiques `a chaque personne. Ces caract´eristiques pr´esentent l’avantage qu’elles sont uni- verselles,uniques,permanentesetqu’ellesnepeuventˆetrefalsifi´eesa`ladiff´erencedesmoyens classiques tels que les mots de passe et les badges qui peuvent ˆetre utilis´es frauduleusement par d’autres individus. Empreintes digitales, num´erisation de l’iris, g´eom´etrie de la main ou analyse comportementale, plusieurs de ces mesures ont ´et´e techniquement prouv´e et commercialis´ees. Cependant, ils exigent, g´en´eralement, la coop´eration des utilisateurs qui les trouvent intrusifs. Ce caract`ere contraignant oblige la personne a` se plier aux exigences techniques du proc´ed´e, ce qui constitue g´en´eralement un gage d’efficacit´e et d’acceptation. - 1 - Chapitre 1. Introduction Dans ce contexte, la reconnaissance faciale s’av`ere bien adapt´ee pour faire face a` cette li- mitation puisque la coop´eration ou l’apprentissage des participants n’est pas exig´ee. Elle apparaˆıt donc comme une alternative appropri´ee, a` condition que des taux de reconnais- sancesuffisantssoientgarantis.Uneraisonpourlaquellecettemodalit´ebiom´etriqueasuscit´e r´ecemment une attention substantielle de la part de l’ensemble des acteurs du monde de la reconnaissance de visage, laboratoires de recherche mais aussi industriels. Les premi`eres ´etudes th´eoriques, dans ce domaine, remontent au d´ebut des ann´ees 1970 et le passage vers des produits commerciaux a rec¸ut une impulsion d´ecisive a` partir des ann´ees 1994-1996 graˆce `a la mise en oeuvre du programme FERET (Face Recognition Technology), organis´e par le minist`ere de la D´efense am´ericaine (Department of Defense, DoD). A` l’issue de ces tests d’´evaluation du programme FERET, on disposait d’une base d’images de r´ef´erence. Depuis la fin du projet en 1996, le grand changement est l’apparition sur le march´e de produits commerciaux. La grande comp´etitivit´e du march´e a fait´eclore un grand nombre d’algorithmes de reconnaissance de visage ou de variantes, dont la plupart n’´etaient mˆeme pas pr´esents lors des tests d’´evaluation FERET. Le DoD d´ecida alors de lancerlesprogrammesFRVTsuccessivementen2000eten2002(FacialRecognitionVendor Test 2000/2002) dont l’objectif ´etait d’´evaluer les performances des produits commerciaux. Lesr´esultatspubli´es,`al’issudecescampagnes,ontmontr´eesquelesalgorithmesd´evelopp´es souffrent encore de plusieurs probl`emes pos´es par les changements dans l’apparence des individus duˆ `a l’´eclairage, `a la posture, aux expressions faciales, a` l’age, a` la coiffure et au maquillage, aux accessoires port´es, etc. Comme tout autre probl`eme de reconnaissance des formes, les probl`emes li´es a` la recon- naissance de visages peuvent ˆetre cat´egoris´es en deux cat´egories : (a) la variabilit´e intra- classes et (b) la similarit´e inter-classes. La premi`ere cat´egorie pr´esente, d’abord, les varia- tions intrins`eques au visage dus aux changements d’expressions faciales, de la physionomie du visage, au ph´enom`ene de vieillissement et aux interventions chirurgicales. Cette varia- bilit´e englobe, ´egalement, les variations environnementales qui sont dus aux changements des conditions d’´eclairage, l’orientation du visage de la personne et a` l’occlusion par des accessoires ou par d’autres objets. La seconde cat´egorie pr´esente la similarit´e entre classes d’individus.Ici,lesapparencessontsimilairesdusa`desliensfamiliaux(exemples:jumeaux, jumelles, p`ere/fils, m`ere/fille, etc.) ou plus g´en´eralement l’appartenance a` la mˆeme race. Ces limitations, qui freinent le niveau de maturit´e de cette technologie biom´etrique, ont entraˆın´e le d´eveloppement d’autres formes d’acquisitions telles que : les cartes de profon- deurs (range images), les images infrarouge (IR images) et les images de hautes r´esolutions en vue de surmonter ces probl`emes difficiles a` r´esoudre avec des algorithmes de traitement classiques agissant sur l’information texture. C’est dans ce contexte que s’inscrivent les travaux de recherche de cette th`ese. Nous essayons de traiter les probl`emes li´es a` la recon- naissance faciale par l’introduction d’une nouvelle repr´esentation du visage par sa forme tridimensionnelle. Notre principale motivation est l’insuffisance de l’information texturale 2D, tr`es sensible aux variations, essentiellement, d’illumination et de pose. Nous nous basons donc, dans notre´etude sur les surfaces faciales comme supports de re- connaissance, en vue de calculer les scores de similarit´es entre les visages. Par ailleurs, outre - 2 - 1.2. Objectifs et contributions le probl`eme de reconnaissance, nous avons abord´e l’aspect acquisition de la forme 3D du visage. Le probl`eme, ici, est de reproduire le plus fid`element possible un mod`ele num´erique du mod`ele r´eel. Devant le couˆt tr`es´elev´e des scanners lasers 3D consid´er´es comme le moyen le plus adapt´e pour avoir des bonnes reconstructions, d’une part, et l’impr´ecision des me- sures des approches de reconstruction passives, d’autre part, nous essayons de proposer, ´egalement, des contributions a` ce sujet. 1.2 Objectifs et contributions Lamiseenoeuvredesprogrammesd’´evaluation,etl’apparitiondesbasesdedonn´ees,ap- pel´eesder´ef´erence,accompagn´eesdeleursprotocolesd’´evaluationappropri´es,a´enorm´ement contribu´e au d´eveloppement des algorithmes de reconnaissance faciale. Ainsi, l’alimentation delacommunaut´epardesrapports,desdiscussionsmen´eesetdesconclusionstir´ees,a`l’issu des´evaluations des diff´erents approches et syst`emes commerciaux, a aider a` aborder cet axe de recherche `a diff´erents niveaux. C’est, ´egalement, le cas de nos travaux qui s’appuis sur ces rapports et les consid`ere comme le point de d´epart, notamment le plus r´ecent celui du projet FRVT 2002. L’objectif principal de cette th`ese est, donc, d’analyser l’existant, en se r´ef´erant a` ce type de documents, et de proposer des solutions aux probl`emes. La principale innovation r´eside dans la substitution de l’image de texture par celle de forme tridimensionnelle du visage. En r´ealit´e, cette nouvelle modalit´e, utilis´ee seule ou coupl´ee avec l’image de texture, a rec¸u une vraie impulsion, au sein de la communaut´e, au mˆeme moments que nous avons d´ebut´e le pr´esent travail. Cependant, a` la diff´erence de la majorit´e des travaux pr´esents dans la litt´erature, nous avons abord´e les deux probl´ematiques d’acquisition et de recon- naissance faciale 3D. Ces ´etudes men´ees d’une fac¸on coupl´ee, nous ont permis d’acqu´erir des id´ees compl´ementaires et une compr´ehension plus ´elabor´e en mati`ere de donn´ees 3D. Les principales contributions pr´esent´ees touchent donc a` ces deux axes de recherches : En premier lieu, une chaˆıne de reconstruction 3D, de bout en bout, d´edi´ee au visages humainsa´et´emiseenplace.Cettetechniqueestbas´eesurlast´er´eo-visionactive(utilisation d’une lumi`ere texturante projet´ee sur la visage) et profite des outils math´ematiques de la mod´elisation g´eom´etriques 3D pour proposer un nouveau sch´ema hybride plus efficace que l’existant. Ce mariage entre la vision active et la mod´elisation graphique nous a permis de r´esoudre le probl`eme de couˆt tr`es ´elev´e des scanner 3D a` base de balayage laser tout en garantissant une bonne qualit´e g´eom´etrique de reconstruction. Nous nous int´eressons, plus particuli`erement dans cette partie, au probl`eme de mise en correspondance st´er´eo, par la formulation math´ematique du probl`eme et sa r´esolution moyennant une technique d’opti- misation adapt´ee, `a savoir la programmation dynamique (DP : Dynamic programming). Un passage en dessous du pixel dans les mesures a ´et´e, ´egalement, ´etudi´e et propos´e pour plus de pr´ecision en mati`ere d’information profondeur. En outre, nous ´etudions les techniques d’interpolation g´eom´etrique en vue de compl´eter le sch´ema de reconstruction. Cette partie de nos travaux a fait l’objet de plusieurs publications pr´esentant la d´emarche scientifique de notre approche [BAC05a][BAC05c][BAC06b][BAC05b]. - 3 - Chapitre 1. Introduction En second lieu, une approche de matching de visages 2 1/2D vs. 3D a ´et´e mise en place pour calculer le score de similarit´e entre deux visages via leurs surfaces faciales. Elle est bas´ee sur l’algorithme du plus proche voisin it´er´e (ICP : Iterative Closest Point). Cette premi`ere approche fait face au probl`emes de variations de conditions d’´eclairage et de posture [BOAC05][BAC06c]. En effet, la disponibilit´e d’un mod`ele complet 3D de visage dans la galerie de reconnaissance permet d’effectuer le matching quelque soit l’angle de prise de vue de l’image requˆete. En plus, une abstraction est faite sur l’information textu- rale ce qui permet d’´eliminer le probl`eme de changement d’´eclairage. Cette approche est am´elior´ee,parlasuite,pourplusd’invarianceauxchangementsd’expressionsfacialesettout changement dans la physionomie du visage (Barbe, moustache, etc.). Cette am´elioration consiste `a introduire une nouvelle m´etrique orient´ee r´egion dans l’algorithme de matching 3D [BAC06a]. Elle consiste `a segmenter le visage en r´egions qui ont des influences variables sur la d´eformation de la forme 3D du visage. Par cons´equent, elle attribue plus de poids aux r´egions statiques qu’aux r´egions moins statiques dans le visage. Enfin, nous avons d´evelopp´e l’une des premi`eres bases de visages 3D et son protocole pour l’´evaluation de nos approches et d’autres. Nous avons essay´e de r´epondre aux besoins, en mati`ere d’´evaluation et de mesures de performances, d’un spectre large d’approches en mettant en place une base de donn´ees vari´ees (2D, 2 2 1/2D et 3D) permettant l’´evaluation des algorithmes d´evelopp´es et leur invariance par rapport aux challenges de la technolo- gie. Le d´eveloppement de cette base de donn´ees a commenc´e au sein du projet europ´een BioSecure par une premi`ere campagne d’acquisition men´ee durant le workshop r´esidentiel organis´e a` Paris en aouˆt 2005 et prend suite dans le cadre du projet national technovision IV2 (Identification par l’Iris et le Visage via la Vid´eo)1. Nous avons mis au point, dans le cadre ce projet et en partenariat avec des acteurs acad´emiques et industriels un nouveau protocoled’´evaluationprenantencomptel’´evolutiondestravauxdanscedomaineauniveau national et international. 1.3 Organisation de la th`ese Le pr´esent manuscrit s’articule autour de quatres parties essentielles, outre la pr´esente introduction et la conclusion, qui seront pr´esent´ees de la mani`ere suivante : Afin de poser correctement les probl´ematiques trait´ees dans cette th`ese, la premi`ere partie est consacr´ee `a l’´etude de l’´etat de l’art des deux domaines qui nous int´eressent : la mod´elisation 3D de visages et leurs reconnaissances. Cet´etat de l’art pr´esente un survol sur lesprincipalesm´ethodesdenum´erisationtridimensionnellesetlesm´ethodesdemod´elisation faciales qui en d´ecoule ainsi que les m´ethodes r´ecentes d’indentification/authentification de personnes par visage 3D. Elle d´evoile les diff´erentes techniques propos´ees au sein de la communaut´e en soulignant les limites et les avantages de chacune. La deuxi`eme partie de cette th`ese est consacr´ee a` la description de notre approche hybride de reconstruction 3D de visage par vision active et mod´elisation g´eom´etrique. Nous 1http ://lsc.univ-evry.fr/techno/iv2/ - 4 -