Geometric modeling of indoor scenes from acquired point data Sven Oesau To cite this version: SvenOesau. Geometricmodelingofindoorscenesfromacquiredpointdata. Other[cs.OH].Université Nice Sophia Antipolis, 2015. English. ￿NNT: 2015NICE4034￿. ￿tel-01176721￿ HAL Id: tel-01176721 https://theses.hal.science/tel-01176721 Submitted on 15 Jul 2015 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. UNIVERSIT(cid:201) NICE SOPHIA ANTIPOLIS ECOLE DOCTORALE STIC SCIENCES ET TECHNOLOGIES DE L’INFORMATION ET DE LA COMMUNICATION P H D T H E S I S to obtain the title of PhD of Science of the University of Nice - Sophia Antipolis Specialty : Computer Science By Sven Oesau Geometric modeling of indoor scenes from acquired point data Thesis Advisors : Pierre Alliez and Florent Lafarge prepared at INRIA Sophia Antipolis, Titane Team to be defended on June 24th, 2015 Jury : Reviewers : Renaud Marlet - (cid:201)cole des Ponts ParisTech Andrei Sharf - Ben-Gurion University of the Negev Advisors : Pierre Alliez - INRIA (TITANE) Florent Lafarge - INRIA (TITANE) Examinators : Noela DesprØ - Airbus Space and Defense Andreas Fabri - GeometryFactory RØsumØ La modØlisation gØomØtrique et la sØmantisation de scŁnes intØrieures (cid:224) partir d’Øchantillon de points et un sujet de recherche qui prend de plus en plus d’im- portance. Le traitement d’un ensemble volumineux de donnØes est rendu di(cid:30)cile d’une part par le nombre ØlevØ d’objets parasitant la scŁne et d’autre part par di- vers dØfauts d’acquisitions comme par exemple des donnØes manquantes, du bruit, ou un Øchantillonnage de la scŁne non isotrope. Cette thŁse s’intØresse de prŁs (cid:224) de nouvelles mØthodes permettant de modØliser gØomØtriquement et e(cid:30)cacement un nuage de point non structurØ et d’y donner de la sØmantique et se rØpartie en trois axes : dØtection de forme, classi(cid:28)cation et reconstruction. Dans le chapitre 2, nous prØsentons deux mØthodes permettant de transformer le nuage de points en un ensemble de formes. Nous proposons en premier lieu une mØthode d’extraction de lignes qui dØtecte des segments (cid:224) partir d’une coupe horizontale du nuage de point initiale.PuisnousintroduisonsunemØthodeparcroissancederØgionsquidØtecteet renforce progressivement des rØgularitØs parmi les formes planaires. Cette mØthode utilise les rØgularitØs usuelles des environnements transformØs par l’Homme, i.e. la coplanaritØ, le parallØlisme et l’orthogonalitØ, cela a(cid:28)n de rØduire la complexitØ du problŁme et d’amØliorer le (cid:28)ttage de donnØ lorsqu’elles sont dØfectueuses. Dans la premiŁre partie du chapitre 3, nous proposons une mØthode basØe sur de l’analyse statistiquea(cid:28)ndesØparerdelastructuredelascŁnelesobjetslaparasitant.Dansla seconde partie, nous prØsentons une mØthode d’apprentissage supervisØ permettant de classi(cid:28)er des objets en fonction d’un ensemble de formes planaires. Nous intro- duisons dans le chapitre 4 une mØthode permettant de modØliser gØomØtriquement le volume d’une piŁce (sans meubles). Nous commen(cid:231)ons par partitionner l’espace en utilisant des formes ØlØmentaires extraites de la structure inhØrente (cid:224) la piŁce. Une formulation ØnergØtique est ensuite utilisØe a(cid:28)n de labelliser les rØgions de la partition comme Øtant intØrieur ou extØrieur de maniŁre robuste au bruit et aux donnØes manquantes. ii Abstract Geometric modeling and semantization of indoor scenes from sampled point data is an emerging research topic. Recent advances in acquisition technologies provide highly accurate laser scanners and low-cost handheld RGB-D cameras for real-time acquisition. However, theprocessingoflargedatasetsishamperedbyhighamounts of clutter and various defects such as missing data, outliers and anisotropic sam- pling. This thesis investigates three novel methods for e(cid:30)cient geometric modeling andsemantizationfromunstructuredpointdata: Shapedetection,classi(cid:28)cationand geometric modeling. Chapter 2 introduces two methods for abstracting the input point data with prim- itive shapes. First, we propose a line extraction method to detect wall segments from a horizontal cross-section of the input point cloud. Second, we introduce a re- gion growing method that progressively detects and reinforces regularities of planar shapes. This method utilizes regularities common to man-made architecture, i.e. coplanarity, parallelism and orthogonality, to reduce complexity and improve data (cid:28)tting in defect-laden data. Chapter 3 introduces a method based on statistical analysis for separating clutter fromstructure. Wealsocontributeasupervisedmachinelearningmethodforobject classi(cid:28)cation based on sets of planar shapes. Chapter 4 introduces a method for 3D geometric modeling of indoor scenes. We (cid:28)rst partition the space using primitive shapes detected from permanent structures. An energy formulation is then used to solve an inside/outside labeling of a space partitioning, the latter providing robustness to missing data and outliers. Keywords: Geometry processing, Shape detection, Indoor scene reconstruction, Scene understanding, 3D modeling, LiDAR data, Energy minimization, Graph cut Contents Page Contents iii List of Figures vi List of Tables vii 1 Introduction 1 1.1 Point clouds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Geometric modeling of indoor scenes . . . . . . . . . . . . . . . . . . 7 1.3 Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.4 Motivation and contribution . . . . . . . . . . . . . . . . . . . . . . . 21 1.5 List of publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2 Shape detection 25 2.1 Feature sensitive line extraction . . . . . . . . . . . . . . . . . . . . . 25 2.2 Planar shape detection and regularization in tandem . . . . . . . . . 31 2.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3 Classi(cid:28)cation 55 3.1 Statistical analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 3.2 Object classi(cid:28)cation via planar abstraction . . . . . . . . . . . . . . . 61 3.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4 Geometric modeling of indoor space 73 4.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 4.2 Cell decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 4.3 Cell occupancy labeling with min-cut . . . . . . . . . . . . . . . . . . 75 4.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 5 Conclusion 93 Bibliography 99 List of Figures 1.1 Terrestrial laser scanning . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 Multi-view stereo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3 Floor plan room segmentation . . . . . . . . . . . . . . . . . . . . . . 16 1.4 Reconstruction with edge and corner regularization . . . . . . . . . . 18 1.5 Reconstruction from Multi-view stereo . . . . . . . . . . . . . . . . . 21 2.1 2D input point set . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.2 Line hypotheses at di(cid:27)erent scales . . . . . . . . . . . . . . . . . . . 27 2.3 Multi-scale line hypothesis . . . . . . . . . . . . . . . . . . . . . . . . 29 2.4 Global clustering of line directions . . . . . . . . . . . . . . . . . . . 30 2.5 Interleaved detection and regularization . . . . . . . . . . . . . . . . 33 2.6 Iterations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.7 Growing error metric . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.8 Seed point selection. . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.9 Constrained non-local re(cid:28)tting . . . . . . . . . . . . . . . . . . . . . 38 2.10 2D Morton curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.11 Kahn building . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.12 Robustness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.13 Kinect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.14 Regularity vs. coverage. . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.15 Road . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.16 Octree parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 2.17 Synergy between regularization and detection . . . . . . . . . . . . . 52 2.18 Detection on curved shapes . . . . . . . . . . . . . . . . . . . . . . . 53 3.1 Cluttered and uncluttered distributions . . . . . . . . . . . . . . . . 56 3.2 Horizontal slicing applied to a synthetic scene . . . . . . . . . . . . . 58 3.3 Clutter removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.4 Resampling for anisotropy removal . . . . . . . . . . . . . . . . . . . 60 3.5 Multiscale Planar Abstraction . . . . . . . . . . . . . . . . . . . . . . 61 3.6 Area fragmentation under multiple scales . . . . . . . . . . . . . . . 63 3.7 Pairwise Orientation . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.8 Princeton Shape Benchmark . . . . . . . . . . . . . . . . . . . . . . . 67 3.9 Confusion matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 3.10 Indoor objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 4.1 Reconstruction pipeline . . . . . . . . . . . . . . . . . . . . . . . . . 75 4.2 3D space partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.3 Estimation of point coverage. . . . . . . . . . . . . . . . . . . . . . . 78 4.4 Data term . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 vi List of Figures 4.5 Reconstruction of the Cory 5th (cid:29)oor . . . . . . . . . . . . . . . . . . 81 4.6 Reconstruction of the Euler building entry area . . . . . . . . . . . . 82 4.7 Reconstruction from a synthetic dataset . . . . . . . . . . . . . . . . 83 4.8 Reconstruction of Kinect-recorded indoor scene . . . . . . . . . . . . 84 4.9 Impact of parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 4.10 Reconstruction at lower resolutions . . . . . . . . . . . . . . . . . . . 88 4.11 Robustness to noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.12 Robustness to outliers . . . . . . . . . . . . . . . . . . . . . . . . . . 90 4.13 Failure case with stepped (cid:29)oors . . . . . . . . . . . . . . . . . . . . . 91 List of Tables 2.1 Benchmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 3.1 Feature importance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 3.2 Running times . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.1 Running times . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.2 Parameters and running times of lower resolution datasets . . . . . . 88