UNIVERSITÄT KARLSRUHE (TH) FAKULTÄT FÜR INFORMATIK INTERACTIVE SYSTEMS LABS Prof. Dr. A. Waibel D IPLOMA THESIS Face Registration with Active Appearance Models for Local Appearance-based Face Recognition SUBMITTED BY Hua Gao JUNE 2008 ADVISORS M.Sc. Hazım Kemal Ekenel Dr.-Ing. Rainer Stiefelhagen Prof. Dr. Alex Waibel Interactive Systems Labs Institut für Theoretische Informatik Universität Karlsruhe (TH) Title: Face Registration with Active Appearance Models for Local Appearance- based Face Recognition Author: Hua Gao Hua Gao Werderstr. 76 76137 Karlsruhe, Germany email: [email protected] Statement of authorship IherebydeclarethatthisthesisismyownoriginalworkwhichIcreatedwithout illegitimate help by others, that I have not used any other sources or resources thantheonesindicatedandthatdueacknowledgementisgivenwherereference is made to the work of others. Karlsruhe, 30. June 2008 ....................................... (Hua Gao) Abstract Facerecognitionhasreceivedincreasingattentionfromdiverseresearchcommu- nities and the market over the past years. Various techniques have been inten- sively investigated aiming at high recognition accuracy and robustness against numerous facial appearance variations. Application areas of face recognition have also been expanded and more robust systems are required as the applica- tion scenarios become more unconstrained. In this work, variation in facial appearance caused by 3D head pose was con- sidered. Theproblemisalsoknownasthefaceregistrationproblem,whichisan important factor for face recognition as demonstrated in many previous studies. The registration approach studied in this thesis is able to normalize the head poseinsomedegreeofrotationin depthandalignthefaceintoacommoncoor- dinate framework. Moreover, the quality of face registration is assessed so that only successfully registered face images are used for recognition. Thedevelopedfaceregistrationapproachisbasedonactiveappearancemodel (AAM) fitting. A generic model was built in which both shape and appearance variations were modeled. After fitting the model on an input image, the pose of the input face was normalized and a frontal view of the input face was syn- thesized. To mitigate the influence of poor illumination, a modified histogram fitting approach was employed. Progressive model fitting was also investigated for a more robust estimate of model initialization. Face recognition was based on the fitted and pose normalized face images using our local appearance-based approach. Three experiments were conducted to evaluate the AAM-based face registra- tion approach. The first experiment was designed to evaluate the pose cor- rection based on AAM fitting in still images. The results showed a significant improvement in face recognition performance compared to the previous affine- based registration approach, which again demonstrated the importance of pose correction for face recognition. We also compared our local appearance-based face recognition approach with two well known holistic approaches. The local appearance-based approach significantly outperformed the holistic approaches and it was more robust against the error introduced by AAM fitting and face synthesis. The second experiment evaluated the eye localization with AAM fit- ting. Face tracking with AAM fitting was also evaluated on a video database for open set face recognition. A modified distance from feature space metric was employed to assess the quality of fitting on a single frame. Open set face recog- nition was performed on the successfully registered frames. The experimental results showed that both pose correction and registration quality assessment improved the recognition performance. Kurzzusammenfassung Gesichtserkennung wurde in den letzten Jahren sowohl von Seiten diverser Forschungsgemeinden, als auch vom Markt, große Aufmerksamkeit zuteil. Viele Methoden wurden intensiv untersucht mit dem Ziel, hohe Erkennungsleistung undRobustheitgegenVariationeninderAnsichtderGesichterzuerreichen. Zu- dem wurden neue Anwendungsgebiete für Gesichtserkennung erschlossen, die robustere Systeme erfordern, da die Anwendungsszenarien immer weniger Ein- schränkungen haben. In dieser Arbeit werden Variationen der Gesichtsansicht, die durch 3D Kopf- drehungenverursachtwerden,behandelt. DiesesProblemistbekanntalsGesicht- sregistrirungsproblem und ist ein sehr wichtiger Einfluss auf die Leistung von Gesichtserkennungssystemen, wie in vielen Studien gezeigt wurde. Der Reg- istrierungsansatz, der in dieser Arbeit behandelt wird, kann bis zu einem gewis- sen Grad Kopfdrehungen normalisieren und das Gesicht in ein gemeinsames Koordinatensystem transformieren. Zudem wird die Qualität der Registrierung gemessen, so dass nur erfolgreich normalisierte Gesichter zur Gesichtserken- nung verwendet werden können. Die entwickelte Gesichtsregistrierungsmethode basiert auf dem "fitten", d.h. der Parameterschätzung mit "active appearance models" (AAMs). Ein gener- ischesModellwurdegeneriert,beidemsowohlForm-alsauchTextur-Variationen modelliert wurden. Nachdem das Modell an ein Eingabebild "gefittet" wurde, wird die Kopfdrehung normalisiert und eine Frontalansicht des Gesichtes syn- thetisiert. Um den Einfluss schlechter Beleuchtungsverhältnisse zu minimieren, wird ein modifizierter Histogrammspezifikationsalgorithmus verwendet. Pro- gressives AAM fitting wurde ebenfalls untersucht, um eine robustere Initial- isierung des Systems zu erreichen. Gesichtserkennung wurde mit den nor- malisierten Gesichtsbildern mit Hilfe unseres auf lokalen Ansichten basierenden Ansatzes durchgeführt. Um die AAM-basierte Gesichtsregisitrierung zu evaluieren wurden drei Ex- perimente durchgeführt. Da erste Experiment evaluiert die Qualität der Nor- malisierung der Kopfdrehung mit Hilfe von Einzelbildern. Die Resultate zeigen einensignifikantenAnstiegderGesichtserkennungsleistung,verglichenmitdem vorherigen mit einer affinen Transformation arbeitenden Ansatz, was wiederum die Wichtigkeit der Normalisierung von Kopfdrehungen für die Gesichtserken- nung zeigt. Der auf lokalen Ansichten basierende Gesichtserkennungsalgorith- muswurdeauchmitzweibekanntenholistischenAnsätzenverglichen. Erzeigte deutliche bessere Ergebnisse und war auch robuster gegen Fehler, die aus AAM fitting und Synthese der Frontalansicht hervorgehen können. Das zweite Exper- iment evaluiert die Lokalisation der Augen mit Hilfe von AAM fitting. Gesicht- stracking mit AAM fitting wurde ebenfalls mit Hilfe einer Video-Datenbank für "open-set"Gesichtserkennungevaluiert. EinemodifizierteDistanz-zum-Merkmals- raum-Metrik wurde verwendet, um die Qualität des fittings bei einem Einzel- bild zu messen. Auf den erfolgreich normalisierten Bildern wurde dann "open- set" Gesichtserkennung durchgeführt. Die Ergebnisse zeigen, dass sowohl die Normalisierung der Kopfdrehung, als auch die Messung der Qualität der Reg- istrierung, die Erkennungsleistung erhöhen. Contents 1 Introduction 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Previous work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2.1 Face detection . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2.2 Face alignment . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.3 Face recognition . . . . . . . . . . . . . . . . . . . . . . . 6 1.3 Thesis overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2 Basic principles 9 2.1 Active appearance model . . . . . . . . . . . . . . . . . . . . . . . 9 2.1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1.2 Statistical model formulation: shape and appearance . . . 10 2.2 AAM fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2.1 Fitting goal . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.2 Inverse compositional image alignment . . . . . . . . . . 18 2.2.3 Fitting AAM with inverse compositional algorithm . . . . 20 2.3 DCT-based local appearance face recognition . . . . . . . . . . . . 23 2.4 K-NN classification . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3 Methodology 27 3.1 Model building . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.2 Initializing AAM fitting . . . . . . . . . . . . . . . . . . . . . . . . 28 3.3 Robust fitting issues . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.3.1 Fitting across illumination . . . . . . . . . . . . . . . . . . 31 3.3.2 Progressive fitting . . . . . . . . . . . . . . . . . . . . . . 33 3.3.3 Fitting while tracking . . . . . . . . . . . . . . . . . . . . 35 3.3.4 Re-initialization while tracking . . . . . . . . . . . . . . . 36 3.4 Pose normalization . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.4.1 Piecewise affine warping . . . . . . . . . . . . . . . . . . . 40 3.4.2 Thin-plate spline warping . . . . . . . . . . . . . . . . . . 41 3.5 Face recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.5.1 Feature extraction & selection . . . . . . . . . . . . . . . . 41 3.5.2 Classification . . . . . . . . . . . . . . . . . . . . . . . . . 42 i 4 Experiments 45 4.1 Experiment setup . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.2 Experimental data . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.2.1 Data set 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.2.2 Data set 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.2.3 Data set 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.3 Experimental results . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.3.1 Results of face recognition on still images . . . . . . . . . 48 4.3.2 Results of feature localization . . . . . . . . . . . . . . . . 54 4.3.3 Results of face recognition on video sequences . . . . . . . 57 5 Conclusion 65 6 Future work 67 ii