Deutsche Geodätische Kommission der Bayerischen Akademie der Wissenschaften Reihe C Dissertationen Heft Nr. 767 Ali Mohammad Khosravani Automatic Modeling of Building Interiors Using Low-Cost Sensor Systems München 2016 Verlag der Bayerischen Akademie der Wissenschaften in Kommission beim Verlag C. H. Beck ISSN 0065-5325 ISBN 978-3-7696-5179-9 Deutsche Geodätische Kommission der Bayerischen Akademie der Wissenschaften Reihe C Dissertationen Heft Nr. 767 Automatic Modeling of Building Interiors Using Low-Cost Sensor Systems Von der Fakultät Luft- und Raumfahrttechnik und Geodäsie der Universität Stuttgart zur Erlangung der Würde eines Doktors der Ingenieurwissenschaften (Dr.-Ing.) genehmigte Abhandlung Vorgelegt von M.Sc. Ali Mohammad Khosravani aus Shiraz, Iran München 2016 Verlag der Bayerischen Akademie der Wissenschaften in Kommission beim Verlag C. H. Beck ISSN 0065-5325 ISBN 978-3-7696-5179-9 Adresse der Deutschen Geodätischen Kommission: Deutsche Geodätische Kommission Alfons-Goppel-Straße 11 ! D – 80 539 München Telefon +49 – 89 – 23 031 1113 ! Telefax +49 – 89 – 23 031 - 1283 / - 1100 e-mail [email protected] ! http://www.dgk.badw.de Hauptberichter: Prof. Dr.-Ing. habil. Dieter Fritsch Mitberichter: Prof. Dr.-Ing. habil. Volker Schwieger Tag der mündlichen Prüfung: 09.12.2015 Diese Dissertation ist auf dem Server der Deutschen Geodätischen Kommission unter <http://dgk.badw.de/> sowie auf dem Server der Universität Stuttgart unter <http://elib.uni-stuttgart.de/opus/doku/e-diss.php> elektronisch publiziert © 2016 Deutsche Geodätische Kommission, München Alle Rechte vorbehalten. Ohne Genehmigung der Herausgeber ist es auch nicht gestattet, die Veröffentlichung oder Teile daraus auf photomechanischem Wege (Photokopie, Mikrokopie) zu vervielfältigen. ISSN 0065-5325 ISBN 978-3-7696-5179-9 This dissertation is gratefully dedicated to my beloved mother, for her endless love and encouragements, and to my late father. 5 Kurzfassung Die dreidimensionale Rekonstruktion von Innenraumszenen zielt darauf ab, die Form von Gebäudeinnenräumen als Flächen oder Volumina abzubilden. Aufgrund von Fortschritten im Bereich der Technologie entfernungsmessender Sensoren und Algorithmen der Computervision sowie verursacht durch das gesteigerte Interesse vieler Anwendungsgebiete an Innenraummodellen hat dieses Forschungsfeld in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen. Die Automatisierung des Rekonstruktionsprozesses ist weiterhin Forschungsgegenstand, verursacht durch die Komplexität der Rekonstruktion, der geometrischen Modellierung beliebig geformter Räume und besonders im Falle unvollständiger oder ungenauer Daten. Die hier vorgestellte Arbeit hat die Erhöhung des Automatisierungsgrades dieser Aufgabe zum Ziel, unter der Verwendung einer geringen Anzahl an Annahmen bzgl. der Form von Räumen und basierend auf Daten, welche mit Low-Cost- Sensoren erfasst wurden und von geringer Qualität sind. Diese Studie stellt einen automatisierten Arbeitsablauf vor, welcher sich aus zwei Hauptphasen zusammensetzt. Die erste Phase beinhaltet die Datenerfassung mittels eines kostengünstigen und leicht erhältlichen Sensorsystems, der Microsoft Kinect. Die Entfernungsdaten werden anhand von Merkmalen, welche im Bildraum oder im 3D Objektraum beobachtet werden können, registriert. Ein neuer komplementärer Ansatz für die Unterstützung der Registrierungsaufgabe wird präsentiert, da die diese Ansätze zur Registrierung in manchen Fällen versagen können, wenn die Anzahl gefundener visueller und geometrischer Merkmale nicht ausreicht. Der Ansatz basiert auf der Benutzerfußspur, welche mittels einer Innenraumpositionierungsmethode erfasst wird, und auf einem vorhandenen groben Stockwerksmodell. In der zweiten Phase werden aus den registrierten Punktwolken mittels eines neuen Ansatzes automatisiert hochdetaillierte 3D-Modelle abgeleitet. Hierzu werden die Daten im zweidimensionalen Raum verarbeitet (indem die Punkte auf die Grundrissebene projiziert werden) und die Ergebnisse werden durch eine Extrusion in den dreidimensionalen Raum zurückgewandelt (wobei die Raumhöhe mittels einer Histogrammanalyse der in der Punktwolke enthaltenen Höhen erfasst wird). Die Datenanalyse und -modellierung in 2D vereinfacht dabei nicht nur das Rekonstruktionsproblem, sondern erlaubt auch eine topologische Analyse unter Verwendung der Graphentheorie. Die Leistungsfähigkeit des Ansatzes wird dargestellt, indem Daten mehrerer Sensoren verwendet werden, die unterschiedliche Genauigkeiten liefern, und anhand der Erfassung von Räumen unterschiedlicher Form und Größe. Abschließend zeigt die Studie, dass die rekonstruierten Modelle verwendbar sind, um vorhandene grobe Innenraummodelle zu verfeinern, welche beispielsweise aus Architekturzeichnungen oder Grundrissplänen abgeleitet werden können. Diese Verfeinerung wird durch die Fusion der detaillierten Modelle einzelner Räume mit dem Grobmodell realisiert. Die Modellfusion beinhaltet dabei die Überbrückung von Lücken im detaillierten Modell unter Verwendung eines neuen, auf maschinellem Lernen basierenden Ansatzes. Darüber hinaus erlaubt der Verfeinerungsprozess die Detektion von Änderungen oder Details, welche aufgrund der Generalisierung des Grobmodells oder Renovierungsarbeiten im Gebäudeinnenraum fehlten. 6 Abstract Indoor reconstruction or 3D modeling of indoor scenes aims at representing the 3D shape of building interiors in terms of surfaces and volumes, using photographs, 3D point clouds or hypotheses. Due to advances in the range measurement sensors technology and vision algorithms, and at the same time an increased demand for indoor models by many applications, this topic of research has gained growing attention during the last years. The automation of the reconstruction process is still a challenge, due to the complexity of the data collection in indoor scenes, as well as geometrical modeling of arbitrary room shapes, specially if the data is noisy or incomplete. Available reconstruction approaches rely on either some level of user interaction, or making assumptions regarding the scene, in order to deal with the challenges. The presented work aims at increasing the automation level of the reconstruction task, while making fewer assumptions regarding the room shapes, even from the data collected by low-cost sensor systems subject to a high level of noise or occlusions. This is realized by employing topological corrections that assure a consistent and robust reconstruction. This study presents an automatic workflow consisting of two main phases. In the first phase, range data is collected using the affordable and accessible sensor system, Microsoft Kinect. The range data is registered based on features observed in the image space or 3D object space. A new complementary approach is presented to support the registration task in some cases where these registration approaches fail, due to the existence of insufficient visual and geometrical features. The approach is based on the user’s track information derived from an indoor positioning method, as well as an available coarse floor plan. In the second phase, 3D models are derived with a high level of details from the registered point clouds. The data is processed in 2D space (by projecting the points onto the ground plane), and the results are converted back to 3D by an extrusion (room height available from the point height histogram analysis). Data processing and modeling in 2D does not only simplify the reconstruction problem, but also allows for topological analysis using the graph theory. The performance of the presented reconstruction approach is demonstrated for the data derived from different sensors having different accuracies, as well as different room shapes and sizes. Finally, the study shows that the reconstructed models can be used to refine available coarse indoor models which are for instance derived from architectural drawings or floor plans. The refinement is performed by the fusion of the detailed models of individual rooms (reconstructed in a higher level of details by the new approach) to the coarse model. The model fusion also enables the reconstruction of gaps in the detailed model using a new learning-based approach. Moreover, the refinement process enables the detection of changes or details in the original plans, missing due to generalization purposes, or later renovations in the building interiors. 7 Contents Kurzfassung ............................................................................................................................................. 5 Abstract ....................................................................................................................................................6 1. Introduction ........................................................................................................................................11 1.1. Motivation .................................................................................................................................. 11 1.2. Objectives ................................................................................................................................... 13 1.3. Outline and Design of the Thesis ............................................................................................... 13 2. Overview of Indoor Data Collection Techniques...............................................................................15 2.1. State-of-the-Art Sensors for 3D Data Collection ........................................................................ 16 2.1.1. Laser Scanners .................................................................................................................. 17 2.1.2. 3D Range Cameras ........................................................................................................... 22 2.2. The Registration Problem ........................................................................................................... 31 2.2.1. Registration Using Point Correspondences in the Point Clouds ...................................... 31 2.2.2. Registration by the Estimation of the Sensor Pose ........................................................... 33 3. Data Collection using Microsoft Kinect for Xbox 360 ......................................................................36 3.1. Point Cloud Collection by Kinect ............................................................................................... 36 3.1.1. System Interfaces and SDKs ............................................................................................ 36 3.1.2. System Calibration ........................................................................................................... 36 3.1.3. Generation of Colored Point Clouds ................................................................................ 39 3.2. Point Clouds Registration ........................................................................................................... 42 3.2.1. Point Clouds Registration Based on RGB and Depth Information .................................. 42 3.2.2. Point Clouds Registration Based on an Indoor Positioning Solution and Available Coarse Indoor Models .......................................................................................................................... 43 3.3. Kinect SWOT Analysis .............................................................................................................. 49 4. Overview of Available Indoor Modeling Approaches .......................................................................50 4.1. Classification of Available Modeling Approaches ..................................................................... 51 4.2. Iconic Approaches ...................................................................................................................... 52 4.2.1. Image-Based Modeling .................................................................................................... 52 4.2.2. Range-Based Modeling .................................................................................................... 57 4.2.3. Modeling Based on Architectural Drawings .................................................................... 60 4.3. Symbolic Approaches ................................................................................................................. 63 8 5. Automatic Reconstruction of Indoor Spaces ......................................................................................65 5.1. Point Cloud Pre-Processing ........................................................................................................ 66 5.1.1. Outlier Removal ............................................................................................................... 66 5.1.2. Downsampling .................................................................................................................. 67 5.1.3. Noise Removal ................................................................................................................. 67 5.1.4. Leveling the Point Cloud .................................................................................................. 68 5.1.5. Height Estimation and Furniture Removal ....................................................................... 69 5.2. Reconstruction of Geometric Models ......................................................................................... 70 5.2.1. Generation of Orthographic Projected Image ................................................................... 70 5.2.2. Binarization ...................................................................................................................... 71 5.2.3. Morphological Image Processing ..................................................................................... 72 5.2.4. Estimation of the Lines Representing the Walls in 2D .................................................... 73 5.2.5. Topological Corrections ................................................................................................... 76 5.2.6. 2D to 3D Conversion of Reconstructed Models ............................................................... 81 6. Experimental Results and Analysis ....................................................................................................82 6.1. Kinect System Calibration and Accuracy Analysis .................................................................... 82 6.1.1. System Calibration ........................................................................................................... 82 6.1.2. Accuracy of Kinect Range Measurements ....................................................................... 85 6.2. Evaluation of the Reconstruction Approach ............................................................................... 88 6.2.1. Parameter Selection in Different Scenarios ...................................................................... 88 6.3. Quality of the Reconstructed Models ......................................................................................... 93 7. Application in the Refinement of Available Coarse Floor Models ....................................................95 7.1. Registration of Individual Detailed Models to an Available Coarse Floor Model ..................... 96 7.1.1. Approximate Registration ................................................................................................ 96 7.1.2. Fine Registration .............................................................................................................. 97 7.2. Fusion of Detailed Models to the Coarse Model ........................................................................ 99 8. Conclusion........................................................................................................................................103 8.1. Summary................................................................................................................................... 103 8.2. Contributions ............................................................................................................................ 103 8.3. Future Work .............................................................................................................................. 104 Appendix A. Point Cloud Registration – Fundamental Principles .......................................................106 A.1. Closed-Form Solution .............................................................................................................. 107 A.2. Iterative Solution (ICP) ........................................................................................................... 109 Appendix B. RANSAC ..........................................................................................................................112 Appendix C. SLAM Problem .................................................................................................................113