APPROCHE DIRECTE DE L’ESTIMATION AUTOMATIQUE DE L’ORIENTATION 3D D’IMAGES Mahzad Kalantari To cite this version: Mahzad Kalantari. APPROCHE DIRECTE DE L’ESTIMATION AUTOMATIQUE DE L’ORIENTATION 3D D’IMAGES. Interface homme-machine [cs.HC]. Université de Nantes, 2009. Français. ￿NNT: ￿. ￿tel-00433525￿ HAL Id: tel-00433525 https://theses.hal.science/tel-00433525 Submitted on 19 Nov 2009 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. ´ UNIVERSITE DE NANTES ´ E D COLE OCTORALE S T CIENCES ET ECHNOLOGIE DE L’INFORMATION ET DES MATHE´MATIQUES Ann´ee 2009 Th`ese de doctorat de l’universit´e de Nantes Sp´ecialit´e : Automatique et Informatique Applique´e Pr´esent´ee et soutenue publiquement par Mahzad KALANTARI le 4 septembre 2009 ´ `a l’Ecole Nationale des Sciences G´eographiques APPROCHE DIRECTE DE L’ESTIMATION AUTOMATIQUE DE L’ORIENTATION 3D D’IMAGES jury Pr´esident : M. Kasser Professeur des universit´es, E´cole Nationale des Sciences G´eographiques, IGN Rapporteurs : P. GrussenmeyerProfesseur des universit´es, INSA Strasbourg, UMR MAP 694 J. Louchet HDR, chercheur INRIA, ARTENIA Examinateurs :L. Polidori Professeur titulaire de chaire, E´cole Sup´erieure des G´eom`etres Topographes, CNAM F. Jung Directeur adjoint DDE 76 JP. Gue´don Professeur des universit´es, E´cole polytechnique de l’universit´e de Nantes Invit´e : Y. Egels Ing´enieur g´en´eral honoraire Directeur de th`ese : JP. GUE´DON Laboratoire : Institut de Recherche en Communications et Cybern´etique de Nantes Co-encadrant : F. Jung Composante de rattachement du directeur de th`ese :E´cole polytechnique de l’universit´e de Nantes N◦ ED : 503-061 Ecrire libert´e sur le bord d’une plage, c’est d´ej`a avoir la libert´e de l’´ecrire. Mˆeme si la mer efface ce mot : la libert´e demeure. Jean-Michel Wyl 3 ! - ! - - - - - ! "#$ %& () *+,& ./0 1&( %+ %& "45 67&) %8+)$ 9$($ :;& ' 2 ' 2 2 - ,&<=5 - A ! A A >?@B $>C "4C DEF G(>H ,& J;# K$ ! - 3 - - - 2 I ' 2 2 "#L))( .MN,4O( L .P=Q5 $$ L =&$ >+ 2 ! A - ! - -!- ,5 .MN( %;4H $=4O 6R "S,& 1;;8C 2 ' 2 2 3 3 3 ! - - A - ! - - ! - "#L))( .MN( $=4O 6R "S,& %+ 9( "8C 2 2 - ,&<=5 AΓEΩMETPHTOΣ MH∆EIΣ EIΣITΩ Que nul n’entre s’il n’est g´eom`etre Remerciements Je l’ai, comme beaucoup d’autres étudiants, découvert en cours de route : une thèse, d’après ce que j’ai pu voir, n’est que rarement un long fleuve tranquille. Celle−ci en tous cas ne l’a pas été, elle m’a amené à bouger beaucoup, et à changer trois fois de laboratoire en guère plus de trois années. J’ai donc un nombre considérable de personnes à remercier de m’avoir aidée, à un titre ou à un autre. Parfois même sans qu’ils s’en rendent compte, elles ont toutes contribué au succès de ce travail. − Bien évidemment mon directeur de thèse, JeanPierre Guédon, sans qui tout ceci se serait certainement mal terminé et qui a supporté stoïquement mes réactions, certes toutes justifiées, mais quand même... et puis mon co−directeur Franck Jung, qui as toujours été à mon écoute, et avec qui j’ai eu beaucoup de plaisir à travailler. − et puis, tout particulièrement, les deux rapporteurs de ma thèse, Jean Louchet et Pierre Grussenmeyer, qui ont accepté de consacrer une partie de leurs congés à analyser de près mes travaux. − mes professeurs et collègues en Iran, et parmi eux le professeur Ali Azizi qui m’a donné le goût de la photogrammétrie, sans ses cours je n’aurai jamais poursuivi dans cette voie, et Amir Hashemi qui m’a guidé dans les complexités des bases de Gröbner. Et puis en France, Marc Sigelle avec qui les discussions ont toujours très enrichissantes. − à l’IVC, qui m’a toujours reçu dans d’excellentes conditions et qui, comme seuls les vrais laboratoires s’obligent à le faire, a financé mes conférences à l’étranger; Merci à Patrick, et toute l’équipe du labo, Nicolas, Guillaume, Benoit, Sylvain, Florent, Eloise, Stéphane, ... avec une pensée toute particulière pour Aurore et son dynamisme. − A l’ESGT au cours de ma première année, Elisabeth Simonetto et Eric Labergerie pour nos travaux en commun en photogrammétrie, Rani El Méouche qui a toujours été à mes cotés et avec qui j’ai partagé les galères de la vie de thésard, Christophe Proudhom pour avoir toujours tenté de concilier des impératifs de planification avec mes demandes, et Laurent Polidori qui a réussi à honorer, même tardivement, les promesses du CNAM, et qui surtout a accepté de siéger à mon jury de thèse et d’y apporter sa grande expertise. − Au MATIS ensuite, où j’ai rencontré des gens formidables, au départ simples collègues, des relations très amicales se sont vite installées. Je pense particulièrement à Erwan, qui a toujours été présent quand j’avais besoin de lui. Et puis Nesrine, et sa bonne humeur. Je pense aussi à Fadi et son humilité malgré ses impressionnants scores de chercheur, ainsi que sa gentillesse. ... et bien sur, d’autres membres du laboratoire : Arnaud, Bertrand, Jean−Pierre, Karim, Jean−Pascal ainsi que Jean−Michael des TS, qui n’ont cessé d’apporter leur soutien actif à mes recherches, et puis aussi Mounia, Marie−Claude, François et Alain qui m’ont entouré de leurs conseils et ont øeuvré pour aplanir les difficultés autant qu’ils l’ont pu. − A l’ENSG enfin, qui m’a permis de façon quasi inespérée de terminer mes travaux dans d’excellentes conditions, Michel Kasser (qui a aussi accepté la charge de présider mon jury de iii Chapitre 0. Remerciements thèse), Véronique Lemaire qui m’a gentiment accueilli dans son département, et Olivier Dissard, Olivier de Joinville, Sylvie Ligé, et bien d’autres que je ne peux tous nommer, m’ont reçu dans un cadre chaleureux et parfaitement adapté. Une petite pensée aussi pour les membres du laboratoire LAREG, avec qui j’ai partagé d’innombrables pauses : Leila, Pierre, Alvaro et bien sur Christiane. ... dommage que l’accès aux abonnements électroniques, auquel j’ai pu avoir accès dans d’autres laboratoires, ne soit pas encore possible à l’IGN. Je remercie donc d’autant plus Anne Berry et le CDOC de l’IGN en général, qui a toujours été très réactif pour me fournir les articles papier dont j’avais besoin pendant mes recherches. ... une pensée particulière à Patricia Bordin, et nos pauses café−crème. Merci à son écoute et son soutien, et à ses conseils dans des moments les plus difficiles. ... et un petit clin d’øeil à Ismaila, Je me dois aussi de remercier le Conseil Général de la Sarthe, la Communauté Urbaine du Mans, le Conseil Régional des Pays de Loire, puis le programme Terra Numerica et l’IGN, pour avoir soutenu financièrement mes recherches. J’associe à ces remerciements la SFPT qui m’a honoré d’un prix prestigieux pour fêter son 50ème anniversaire. Et bien sur je remercie mes parents qui m’ont soutenue sur tous les plans, malgré la complexité du contexte international. Ils m’ont appris que la science est un investissement éternel. Et aussi mon frère Amir Shahriar, et mon ami Reza. C’est à eux que je dédie cette thèse. iv R´esum´e APPROCHEDIRECTEDEL’ESTIMATIONAUTOMATIQUEDEL’ORIEN- TATION 3D D’IMAGES R´ecemment, la g´eomatique grand public s’est empar´ee de la repr´esentation 3D des bˆati- ments. Le besoin d’acqu´erir des images et de les restituer en 3D, sous forme de maquettes parfaitement fid`eles `a la r´ealit´e, est ainsi devenu immense. On a donc vu depuis une d´ecennie, se construire des v´ehicules capables de photographier en st´er´eoscopie des villes enti`eres, et il a fallu concevoir les algorithmes capables de traiter ces ´enormes quantit´es d’images. Tr`es na- turellement, les industriels en charge de ces probl`emes se sont tourn´es vers les outils de vision par ordinateur et de robotique, tr`es bien adapt´es aux calculs temps r´eel, oubliant l’essentiel de l’h´eritage de la photogramm´etrie, orient´ee quant `a elle vers une extrˆeme pr´ecision, jug´ee ici comme une moindre priorit´e. N´eanmoins, les algorithmes publi´es en vision par ordina- teur pr´esentaient de r´eels d´efauts lorsqu’ils ´etaient appliqu´es `a des surfaces planes alors que cecasestextrˆemementcourantdansdessc`enesurbainespourtraiterlesfa¸cadesdebˆatiments. Les recherches que nous avons men´ees ont port´e sur la recherche de solutions nouvelles, capables d’exploiter les sp´ecificit´es de telles images : tout d’abord, nos travaux ont cherch´e `a acc´el´erer l’orientation relative des images, en tirant b´en´efice des points de fuite figurant dans celles-ci. Pour ce faire, de nouvelles m´ethodes d’extraction automatique de ces points ont ´et´e mises au point et ´evalu´ees plus performantes que celles disponibles jusqu’ici. Ensuite, nos recherches ont port´e sur les moyens de corriger le d´efaut ´evoqu´e pr´ec´edem- ment pour les surfaces planes, et de nouveaux algorithmes capables de donner en temps quasi-r´eel de bonnes solutions d’orientation relative pour de telles sc`enes ont ´et´e d´evelopp´es. A cette fin, de nouveaux outils math´ematiques ont ´et´e utilis´es : les bases de Gr¨obner. En rupture compl`ete avec les solutions lin´eaires habituelles, ils permettent en effet une r´esolu- tion directe des ´equations sous leur forme polynomiale. Ils ´evitent de passer par l’habituelle lin´earisation, qui n´ecessitait une solution approch´ee parfois difficile `a trouver dans les usages de photogramm´etrie terrestre. Finalement, nos travaux ont port´e sur les moyens d’acc´el´erer les m´ethodes d’orientation relative en exploitant opportun´ement la connaissance de la direc- tion verticale, obtenue par exemple `a l’aide du nouvel algorithme de d´etection des points de fuite. Au total, la th`ese pr´esente une remise `a plat g´en´erale des solutions permettant l’orienta- tion et la localisation de tout un ensemble d’images. Mots-cl´es : Photogramm´etrie, vision par ordinateur, d´etection de points de fuite, bases de Gr¨obner, r´esolution directe v Abstract A DIRECT APPROACH TO AUTOMATIC ASSESSMENT OF 3D IMAGES ORIENTATION In the recent years, the geomatics used by large public has been seized by the 3D repre- sentation of buildings and even of whole cities. The need to acquire some images and to draw them in 3D, as models perfectly representative of the reality became thus very large. One saw therefore, since one decade, the setting up of vehicles able to get stereoscopic images of complete cities, and thus it became necessary to forge the algorithms processing these huge amounts of images. In a natural manner, those in charge of these problems turned toward the tools used in computer vision and robotics, fully adapted to real time, and thus forgetting most of the inheritance of photogrammetry, that is oriented towards an extreme precision (judged here as a low priority). Nevertheless, the available algorithms in computer vision presented some shortcomings when they were applied to plane surfaces which is extremely current in urban scenes to cope with the facades. Our research have tried to find new solutions, able to exploit the specificities of such images : first of all, the work aimed at accelerating their relative orientation, taking benefit from the detected vanishing points. To achieve this goal new methods of automatic extraction of these points have been finalized, assessed as more efficient than those previously available. Then, researches have been led so as to correct the previous drawback for plane surfaces, and new algorithms able to provide in quasi-real time good solutions of relative orientation for such situations have been developed. To reach this goal, new mathematical tools permitting a complete rupture with traditional ones have been used : the Gr¨obner bases. They allow a direct resolution of the equations under their polynomial shape, without using a classical linearization, that required an approach solution sometimes difficult to find in terrestrial pho- togrammetry. Finally, the work has been dealing with the means to accelerate the methods of relative orientation using the specific knowledge of the vertical direction, given for example with the help of the new algorithm of detection of the vanishing points. In short, this works aims to present a general re-analysis of the solutions allowing the orientation and localization of a whole set of images. Keywords:Photogrammetry,computervision,vanishingpointsdetection,Gr¨obnerbasis, direct resolution vii