TORUS 1 – Toward an Open Resource Using Services TORUS 1 – Toward an Open Resource Using Services Cloud Computing for Environmental Data Edited by Dominique Laffly First published 2020 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc. Apart from any fair dealing for the purposes of research or private study, or criticism or review, as permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced, stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers, or in the case of reprographic reproduction in accordance with the terms and licenses issued by the CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the undermentioned address: ISTE Ltd John Wiley & Sons, Inc. 27-37 St George’s Road 111 River Street London SW19 4EU Hoboken, NJ 07030 UK USA www.iste.co.uk www.wiley.com © ISTE Ltd 2020 The rights of Dominique Laffly to be identified as the author of this work have been asserted by him in accordance with the Copyright, Designs and Patents Act 1988. Library of Congress Control Number: 2019956841 British Library Cataloguing-in-Publication Data A CIP record for this book is available from the British Library ISBN 978-1-78630-599-2 Contents Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii Part 1. Integrated Analysis in Geography: The Way to Cloud Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix Introduction to Part 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi Dominique LAFFLY Chapter 1. Geographical Information and Landscape, Elements of Formalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Dominique LAFFLY Chapter 2. Sampling Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Dominique LAFFLY 2.1. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Chapter 3. Characterization of the Spatial Structure . . . . . . . . . . . . . . . 19 Dominique LAFFLY Chapter 4. Thematic Information Structures . . . . . . . . . . . . . . . . . . . . 27 Dominique LAFFLY Chapter 5. From the Point to the Surface, How to Link Endogenous and Exogenous Data . . . . . . . . . . . . . . . . . . . . . . . . . . 35 Dominique LAFFLY 5.1. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 vi TORUS 1 – Toward an Open Resource Using Services Chapter 6. Big Data in Geography . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Dominique LAFFLY Conclusion to Part 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 Dominique LAFFLY Part 2. Basic Mathematical, Statistical and Computational Tools . . . . . . 59 Chapter 7. An Introduction to Machine Learning . . . . . . . . . . . . . . . . . 61 Hichem SAHLI 7.1. Predictive modeling: introduction . . . . . . . . . . . . . . . . . . . . . . . . . 61 7.2. Bayesian modeling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 7.2.1. Basic probability theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 7.2.2. Bayes rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 7.2.3. Parameter estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 7.2.4. Learning Gaussians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 7.3. Generative versus discriminative models . . . . . . . . . . . . . . . . . . . . . 66 7.4. Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 7.4.1. Naïve Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 7.4.2. Support vector machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 7.5. Evaluation metrics for classification evaluation . . . . . . . . . . . . . . . . . . 71 7.5.1. Confusion matrix-based measures . . . . . . . . . . . . . . . . . . . . . . . 71 7.5.2. Area under the ROC curve (AUC) . . . . . . . . . . . . . . . . . . . . . 73 7.6. Cross-validation and over-fitting . . . . . . . . . . . . . . . . . . . . . . . . . . 73 7.7. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 Chapter 8. Multivariate Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . 75 Astrid JOURDAN and Dominique LAFFLY 8.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 8.2. Principal component analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 8.2.1. How to measure the information. . . . . . . . . . . . . . . . . . . . . . . . 78 8.2.2. Scalar product and orthogonal variables . . . . . . . . . . . . . . . . . . . 80 8.2.3. Construction of the principal axes . . . . . . . . . . . . . . . . . . . . . . . 81 8.2.4. Analysis of the principal axes . . . . . . . . . . . . . . . . . . . . . . . . . 84 8.2.5. Analysis of the data points . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 8.3. Multiple correspondence analysis . . . . . . . . . . . . . . . . . . . . . . . . . 88 8.3.1. Indicator matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 8.3.2. Cloud of data points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 8.3.3. Cloud of levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 8.3.4. MCA or PCA? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 Contents vii 8.4. Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 8.4.1. Distance between data points . . . . . . . . . . . . . . . . . . . . . . . . . 97 8.4.2. Dissimilarity criteria between clusters . . . . . . . . . . . . . . . . . . . . 98 8.4.3. Variance (inertia) decomposition . . . . . . . . . . . . . . . . . . . . . . . 99 8.4.4. k-means method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 8.4.5. Agglomerative hierarchical clustering . . . . . . . . . . . . . . . . . . . . 104 8.5. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Chapter 9. Sensitivity Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 Astrid JOURDAN and Peio LOUBIÈRE 9.1. Generalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 9.2. Methods based on linear regression . . . . . . . . . . . . . . . . . . . . . . . . 109 9.2.1. Presentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 9.2.2. R practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 9.3. Morris’ method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 9.3.1. Elementary effects method (Morris’ method) . . . . . . . . . . . . . . . 114 9.3.2. R practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 9.4. Methods based on variance analysis . . . . . . . . . . . . . . . . . . . . . . . . 119 9.4.1. Sobol’ indices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 9.4.2. Estimation of the Sobol’ indices . . . . . . . . . . . . . . . . . . . . . . . . 122 9.4.3. R practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 9.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 9.6. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 Chapter 10. Using R for Multivariate Analysis . . . . . . . . . . . . . . . . . . . 129 Astrid JOURDAN 10.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 10.1.1. The dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 10.1.2. The variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 10.2. Principal component analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 10.2.1. Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 10.2.2. Data points (Individuals) . . . . . . . . . . . . . . . . . . . . . . . . . . 139 10.2.3. Supplementary variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 10.2.4. Other representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 10.3. Multiple correspondence analysis . . . . . . . . . . . . . . . . . . . . . . . . . 144 10.4. Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 10.4.1. k-means algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 10.5. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 viii TORUS 1 – Toward an Open Resource Using Services Part 3. Computer Science . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 Chapter 11. High Performance and Distributed Computing . . . . . . . . . . 155 Sebastiano Fabio SCHIFANO, Eleonora LUPPI, Didin Agustian PERMADI, Thi Kim Oanh NGUYEN, Nhat Ha Chi NGUYEN and Luca TOMASSETTI 11.1. High performance computing . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 11.2. Systems based on multi-core CPUs . . . . . . . . . . . . . . . . . . . . . . . . 157 11.2.1. Systems based on GPUs . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 Chapter 12. Introduction to Distributed Computing . . . . . . . . . . . . . . . 163 Eleonora LUPPI 12.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 12.1.1. A brief history . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 12.1.2. Design requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 12.1.3. Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 12.1.4. Grid computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 12.2. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 Chapter 13. Towards Cloud Computing . . . . . . . . . . . . . . . . . . . . . . . 179 Peio LOUBIÈRE and Luca TOMASSETTI 13.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 13.1.1. Generalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 13.1.2. Benefits and drawbacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 13.2. Service model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 13.2.1. Software as a Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 13.2.2. Platform as a Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 13.2.3. Infrastructure as a Service . . . . . . . . . . . . . . . . . . . . . . . . . . 182 13.2.4. And many more: XaaS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 13.3. Deployment model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 13.3.1. Public cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 13.3.2. Private cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 13.3.3. Hybrid cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 13.4. Behind the hood, a technological overview . . . . . . . . . . . . . . . . . . . 184 13.4.1. Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 13.4.2. Virtualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 13.4.3. Scalability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 13.4.4. Web-Oriented Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . 187 13.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 13.6. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188