Simulations parall`eles de Monte Carlo appliqu´ees `a la Physique des Hautes Energies pour plates-formes manycore et multicore : mise au point, optimisation, reproductibilit´e Pierre Schweitzer To cite this version: Pierre Schweitzer. Simulations parall`eles de Monte Carlo appliqu´ees `a la Physique des Hautes Energies pour plates-formes manycore et multicore : mise au point, optimisation, repro- ductibilit´e. Autre [cs.OH]. Universit´e Blaise Pascal - Clermont-Ferrand II, 2015. Fran¸cais. <NNT : 2015CLF22605>. <tel-01386468> HAL Id: tel-01386468 https://tel.archives-ouvertes.fr/tel-01386468 Submitted on 24 Oct 2016 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destin´ee au d´epˆot et `a la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publi´es ou non, lished or not. The documents may come from ´emanant des ´etablissements d’enseignement et de teaching and research institutions in France or recherche fran¸cais ou ´etrangers, des laboratoires abroad, or from public or private research centers. publics ou priv´es. Université Blaise Pascal École Doctorale des Sciences pour l’Ingénieur N° d’ordre : 2605 - EDSPIC : 711 Thèse pour l’obtention du grade de DOCTEUR D’UNIVERSITÉ Discipline : Informatique Présentée par Pierre SCHWEITZER le 19/10/2015 Simulations parallèles de Monte Carlo appliquées à la Physique des Hautes Énergies pour plates-formes manycore et multicore : mise au point, optimisation, reproductibilité Composition du jury : Rapporteurs : Stéphane VIALLE, Professeur, Supélec Metz Joël FALCOU, Maître de conférences HDR, Université Paris-Sud Examinateurs : David ROUSSEAU, Directeur de recherche, LAL Christophe HAEN, Ingénieur de recherche, CERN Directeur de thèse : David R.C. HILL, Professeur, Université Blaise Pascal Codirectrice de thèse : Cristina CÂRLOGANU, Chargée de recherche, LPC Invité : Claude MAZEL, Maître de conférences, Université Blaise Pascal Résumé Lors de cette thèse, nous nous sommes focalisés sur le calcul à haute performance, dans le domaine très précis des simulations de Monte Carlo appliquées à la physique des hautes énergies, et plus particulièrement, aux simulations pour la propagation de particules dans un milieu. Les simulations de Monte Carlo sont des simulations particulièrement consommatrices en ressources, temps de calcul, capacité mémoire. Dans le cas précis sur lequel nous nous sommes penchés, la première simulation de Monte Carlo existante prenait plus de temps à simuler le phénomène physique que le phénomène lui-même n’en prenait pour se dérouler dans les conditions expérimentales. Cela posait donc un sévère problème de performance. L’objectif technique minimal était d’avoir une simulation prenant autant de temps que le phénomène réel observé, l’objectif maximal était d’avoir une simulation bien plus rapide. En effet, ces simulations sont importantes pour vérifier la bonne compréhension de ce qui est observé dans les conditions expérimentales. Plus nous disposons d’échantillons statistiques simulés, meilleurs sont les résultats. Cet état initial des simulations ouvrait donc de nombreuses perspectives d’un point de vue optimisation et calcul à haute performance. Par ailleurs, dans notre cas, le gain de performance étant proprement inutile s’il n’est pas accompagné d’une reproductibilité des résultats, la reproductibilité numérique de la simulation est de ce fait un aspect que nous devons prendre en compte. C’est ainsi que dans le cadre de cette thèse, après un état de l’art sur le profilage, l’optimisation et la reproductibilité, nous avons proposé plusieurs stratégies visant à obtenir plus de performances pour nos simulations. Dans tous les cas, les optimisations proposées étaient précédées d’un profilage. On n’optimise jamais sans avoir profilé. Par la suite, nous nous intéressés à la création d’un profileur parallèle en programmation orientée aspect pour nos besoins très spécifiques, enfin, nous avons considéré la problématique de nos simulations sous un angle nouveau : plutôt que d’optimiser une simulation existante, nous avons proposé des méthodes permettant d’en créer une nouvelle, très spécifique à notre domaine, qui soit d’emblée reproductible, statistiquement correcte et qui puisse passer à l’échelle. Dans toutes les propositions, de façon transverse, nous nous sommes intéressés aux architectures multicore et manycore d’Intel pour évaluer les performances à travers une architecture orientée serveur et une architecture orientée calcul à haute performance. Ainsi, grâce à la mise en application de nos propositions, nous avons pu optimiser une des simulations de Monte Carlo, nous permettant d’obtenir un gain de performance de l’ordre de 400X, une fois optimisée et parallélisée sur un nœud de calcul avec 32 cœurs physiques. De même, nous avons pu proposer l’implémentation d’un profileur, programmé à l’aide d’aspects et capable de gérer le parallélisme à la fois de la machine sur laquelle il est exécuté mais aussi de l’application qu’il profile. De plus, parce qu’il emploi les aspects, il est portable et n’est pas fixé à une architecture matérielle en particulier. Enfin, nous avons implémenté la simulation prévue pour être reproductible, performante et ayant des résultats statistiquement viables. Nous avons pu constater que ces objectifs étaient atteints quelle que soit l’architecture cible pour l’exécution. Cela nous a permis de valider notamment notre méthode de vérification de la reproductibilité numérique d’une simulation. 2 Abstract During this thesis, we focused on High Performance Computing, specifically on Monte Carlo simulations applied to High Energy Physics. We worked on simulations dedicated to the propagation of particles through matter. Monte Carlo simulations require significant CPU time and memory footprint. Our first Monte Carlo simulation was taking more time to simulate the physical phenomenon than the said phenomenon required to happen in the experimental conditions. It raised a real performance issue. The minimal technical aim of the thesis was to have a simulation requiring as much time as the real observed phenomenon. Our maximal target was to have a much faster simulation. Indeed, these simulations are critical to asses our correct understanding of what is observed during experimentation. The more we have simulated statistics samples, the better are our results. This initial state of our simulation was allowing numerous perspectives regarding optimisation, and high performance computing. Furthermore, in our case, increasing the performance of the simulation was pointless if it was at the cost of losing results reproducibility. The numerical reproducibility of the simulation was then an aspect we had to take into account. In this manuscript, after a state of the art about profiling, optimisation and reproducibility, we proposed several strategies to gain more performance in our simulations. In each case, all the proposed optimisations followed a profiling step. One never optimises without having profiled first. Then, we looked at the design of a parallel profiler using aspect-oriented programming for our specific needs. Finally, we took a new look at the issues raised by our Monte Carlo simulations: instead of optimising existing simulations, we proposed methods for developing a new simulation from scratch, having in mind it is for High Performance Computing and it has to be statistically sound, reproducible and scalable. In all our proposals, we looked at both multicore and manycore architectures from Intel to benchmark the performance on server-oriented architecture and High Performance Computing oriented architecture. Through the implementation of our proposals, we were able to optimise one of the Monte Carlo simulations, permitting us to achieve a 400X speedup, once optimised and parallelised on a computing node with 32 physical cores. We were also able to implement a profiler with aspects, able to deal with the parallelism of its computer and of the application it profiles. Moreover, because it relies on aspects, it is portable and not tied to any specific architecture. Finally, we implemented the simulation designed to be reproducible, scalable and to have statistically sound results. We observed that these goals could be achieved, whatever the target architecture for execution. This enabled us to assess our method for validating the numerical reproducibility of a simulation. 3 Remerciements Mes premiers remerciements vont aux personnes sans qui je n’aurais jamais pu réaliser cette thèse, à commencer par mes deux encadrants David Hill et Cristina Cârloganu. Je tiens également à remercier très chaleureusement Claude Mazel qui m’a beaucoup encadré, aidé, relu, dépanné, sauvé durant l’intégralité de cette thèse. Ses conseils et sa réflexion m’ont été d’une grande aide. Il m’est nécessaire de remercier également Valentin Niess, pour sa patience et sa grande pédagogie quand il fallait m’expliquer la physique derrière ToMuVol, m’expliquer pourquoi nos simulations fonctionnaient d’une façon et pas d’un autre. Je lui dois beaucoup. Un grand merci également à Jonathan Passerat-Palmbach pour son aide et son soutien dès le début de la thèse (et même avant !). Je tiens à remercier également Samuel Béné pour son aide sur les aspects physiques liés à la thèse, ainsi que pour deux figures dans ce manuscrit. Je me dois de remercier également, chaleureusement, les personnels administratifs et techniques qui m’ont aidé et soutenu durant ma thèse : Séverine Miginiac, Aurélie Bavent, Béatrice Bourdieu, Socheata Sean et Nicolas Champeil. Sans eux, ma thèse aurait été bien plus monotone, et administrativement beaucoup plus contraignante. Merci également à toutes les personnes des équipes PCSV et IdGC du LPC chez qui je me suis « un peu » invité au fil de ma thèse et qui m’ont accueilli très gentiment : Lydia Maigne, Vincent Breton, Henri Payno, Sébastien Cipière, Silvia Gervois, Géraldine Fettahi, David Saramia. Merci aussi à toutes les personnes que j’ai pu côtoyer durant l’intégralité de ma thèse dans mes différents bureaux, et autres laboratoires et qui m’ont apporté bonne humeur : Nathalie Klement, Simon Nicolas, Romain Lardy, Wajdi Dhifli, Faouzi Jaziri, Luc Touraille, Pierre Marin, Nathanael Lampe, Bogdan Vulupescu, … Plus tous ceux que j’oublie ; rembobiner sur trois ans, ce n’est pas le plus évident ! Un merci particulier à Christophe Duhamel, qui a cru en moi dès le début. Et enfin, les deux derniers mercis pour Florence Guillebert, pour son aimable relecture du manuscrit et Susan Arbon-Leahy pour ses différentes relectures des articles (et résumés) écrit en Anglais. 4 Table des matières Résumé .................................................................................................................................................... 2 Abstract .................................................................................................................................................... 3 Remerciements ........................................................................................................................................ 4 Table des figures ...................................................................................................................................... 8 Table des tableaux ................................................................................................................................... 9 Tableau des codes..................................................................................................................................10 Introduction ...........................................................................................................................................11 1 – Contexte .......................................................................................................................................11 2 – Plan détaillé..................................................................................................................................13 Chapitre 1 : Contexte .............................................................................................................................16 1 – Introduction .................................................................................................................................16 2 – Contexte général ..........................................................................................................................16 3 – Le modèle de propagation des muons ........................................................................................18 3.2 - La génération des muons ......................................................................................................19 4 – Le contexte du calcul à haute performance ................................................................................25 5 – Conclusions ..................................................................................................................................29 Chapitre 2 : Etat de l’art .........................................................................................................................31 1 – Introduction .................................................................................................................................31 2 - Profilage d’applications ................................................................................................................32 2.1 – Profilage grâce au compilateur .............................................................................................33 2.2 - Profilage d’une application sans recompilation ....................................................................35 2.3 – Quelques outils de profilage d’une application avec recompilation ....................................42 3 – Optimisation d’applications .........................................................................................................48 3.1 – Du bon usage du processeur ................................................................................................48 3.2 – Du bon usage de la mémoire ................................................................................................65 3.3 – Du bon usage du matériel .....................................................................................................68 4 – Limites de l’optimisation..............................................................................................................72 4.1 – Portions séquentielles, interprocessus .................................................................................73 4.2 – Reproductibilité des résultats ...............................................................................................76 5 – Conclusions ..................................................................................................................................81 Chapitre 3 : Propositions .......................................................................................................................84 1 – Introduction .................................................................................................................................84 5 2 – Optimisation d’une simulation de Monte Carlo : tomusim ......................................................84 2.1 – Présentation de tomusim ...................................................................................................84 2.2 – Structure du programme ......................................................................................................86 2.3 – Limites et propositions .........................................................................................................89 3 – Portage d’une application sur Intel Xeon Phi ..............................................................................90 3.1 – Technique de compilation croisée d’une simulation sur pour Xeon Phi ..............................90 3.2 – Optimisation de la simulation pour Xeon Phi .......................................................................95 3.3 – Utilisation du Xeon Phi pour les simulations memory-bound ..............................................97 3.4 – Economie de mémoire grâce à KSM .....................................................................................99 4 – Développement d’un profileur parallèle en aspect ...................................................................102 5 –Conception d’une simulation stochastique parallèle et numériquement reproductible ..........105 5.1 – Règles pour l’implémentation ............................................................................................105 5.2 – Analyse de la simulation .....................................................................................................108 6 – Au sujet de la vectorisation .......................................................................................................110 7 – Conclusions ................................................................................................................................114 Chapitre 4 : Applications ......................................................................................................................116 1 – Introduction ...............................................................................................................................116 2 – Optimisation d’une simulation de Monte Carlo : tomusim ....................................................116 2.1 – Modifications apportées .....................................................................................................116 2.2 – Performances au fil des évolutions.....................................................................................122 3 – Profilage d’applications C++ : acprof .....................................................................................126 3.1 – Motivations .........................................................................................................................127 3.2 – Implémentation ..................................................................................................................129 3.3 – Premiers tests de validation ...............................................................................................136 3.4 – Prise en charge du parallélisme ..........................................................................................140 3.5 – Considérations post-implémentation .................................................................................154 4 – Conclusions ................................................................................................................................161 Chapitre 5 : Développement d’une simulation reproductible, statistiquement correcte et fortement parallèle ...............................................................................................................................................163 1 – Introduction ...............................................................................................................................163 2 – Développement de la simulation ...............................................................................................163 2.1 – Modèle physique ................................................................................................................163 2.2 – Implémentation de la simulation........................................................................................165 2.3 – Modifications parallèles pour le Xeon Phi ..........................................................................168 6 2.4 – Stockage des résultats ........................................................................................................169 3 – Reproductibilité .........................................................................................................................170 3.1 – Reproductibilité sur le même matériel ...............................................................................170 3.2 – Reproductibilité Xeon CPU / Xeon Phi ................................................................................171 4 – Performance de la simulation ....................................................................................................178 4.1 – Passage à l’échelle ..............................................................................................................178 4.2 – Performances de l’hyper-threading ....................................................................................182 4.3 – Comparaison des performances entre processeur Xeon et Xeon Phi ................................183 5 – Conclusions ................................................................................................................................185 Conclusions ..........................................................................................................................................186 1 – Résultats .....................................................................................................................................186 2 – Perspectives ...............................................................................................................................189 Références bibliographiques ...............................................................................................................192 7 Table des figures Figure 1-1 : Représentation des axes et des coordonnées utilisés pour la propagation ......................20 Figure 1-2 : Déviation d'un muon de 15 TeV en fonction de la distance parcourue.............................23 Figure 1-3 : Déviation d'un muon en fonction de son énergie initiale ..................................................24 Figure 2-1 : une vue de Kcachegrind ...............................................................................................36 Figure 2-2 : Une vue de VTune .............................................................................................................37 Figure 2-3 Affichage des performances d'une application dans hpcviewer (http://nci.org.au/services-support/training/parallel-programming/) .................................................39 Figure 2-4 Affichage des performances des appels MPI dans ParaProf (https://wiki.hpcc.msu.edu/download/attachments/13863151/tau-paraprof-3d.png) ......................43 Figure 2-5 Affichage des communications MPI dans le temps dans JumpShot (https://wiki.hpcc.msu.edu/download/attachments/13863151/tau-jumphsot-zoom.png) ................44 Figure 2-6 Affichage des processus MPI et de leurs communications avec VAMPIR (https://www.vampir.eu/tutorial/manual/performance_data_visualization) .....................................45 Figure 2-7 Gain de performance maximum qui peuvent être atteint selon la loi d'Amdahl (http://upload.wikimedia.org/wikipedia/commons/e/ea/AmdahlsLaw.svg) .......................................74 Figure 3-1 : Interactions entre les briques logicielles de tomusim .....................................................88 Figure 3-2 : Gain de performance lors de la distribution de la simulation sur les cœurs logiques du Xeon E5-2687W .....................................................................................................................................98 Figure 3-3 : Gain de performance lors de la distribution de la simulation sur les threads matériels du Xeon Phi 7120P ......................................................................................................................................99 Figure 3-4 : Distribution de 120 instances de la simulation sans KSM sur Xeon Phi 5110P................101 Figure 3-5 : Distribution de 120 instances de la simulation avec KSM sur Xeon Phi 5110P ...............101 Figure 3-6 : Distribution de 140 instances de la simulation avec KSM sur Xeon Phi 5110P ...............102 Figure 3-7 : exemple d'arbre contextuel d'appel ................................................................................104 Figure 3-8 : Prise en charge du multi-threading dans l'arbre contextuel d'appel ...............................105 Figure 4-1 : Distribution de la simulation sur plusieurs cœurs............................................................124 Figure 4-2 : Temps passé dans les différentes parties de tomusim distribué...................................125 Figure 4-3 : Représentation de l'arbre contextuel des appels ............................................................133 Figure 4-4 Affichage des données de performance une fois dans Kcachegrind .................................138 Figure 5-1 : Le modèle physique ..........................................................................................................164 Figure 5-2 : Nombre de bits potentiellement différents entre le Phi et le CPU ..................................174 Figure 5-3 : Gain de performance lors de la distribution et la parallélisation sur les cœurs physiques de deux processeurs Intel Xeon ...........................................................................................................179 Figure 5-4 : Gain de performance lors de la distribution et la parallélisation sur les cœurs logiques de deux processeurs Intel Xeon ................................................................................................................179 Figure 5-5 : Gain de performance lors de la distribution et la parallélisation sur les cœurs physiques d'un Xeon Phi .......................................................................................................................................180 Figure 5-6 : Gain de performance lors de la distribution et la parallélisation sur les threads matériels d'un Xeon Phi .......................................................................................................................................181 Figure 5-7 : Gain de performance lors de la parallélisation de la simulation d'abord sur le premier CPU puis sur le second .........................................................................................................................182 8