Régression Théorie et applications Springer Paris Berlin Heidelberg New York Hong Kong Londres Milan Tokyo Pierre-André Cornillon Éric Matzner-Løber Régression Théorie et applications Pierre-André Cornillon Laboratoire de Statistique - UFR de Sciences sociales Université Rennes 2 35043 Rennes Cedex Éric Matzner-Løber Laboratoire de Statistique - UFR de Sciences sociales Université Rennes 2 35043 Rennes Cedex ISBN-10 :2-287-39692-6 Springer Paris Berlin Heidelberg New York ISBN-13 :978-2-287-39692-2 Springer Paris Berlin Heidelberg New York © Springer-Verlag France, Paris, 2007 Imprimé en France Springer-Verlag France est membre du groupe Springer Science + Business Media Cet ouvrage est soumis au copyright. Tous droits réservés,notamment la reproduction et la représentation la traduction,la réimpression,l’exposé,la reproduction des illustrations et des tableaux,la transmission par voie d’enregistrement sonore ou visuel,la reproduction par microfilm ou tout autre moyen ainsi que la conservation des banques de données. La loi française sur le copyright du 9septembre 1965 dans la version en vigueur n’autorise une reproduction intégrale ou partielle que dans certains cas,et en principe moyennant le paiement de droits. Toute représentation,reproduction,contrefaçon ou conservation dans une banque de données par quelque procédé que ce soit est sanctionnée par la loi pénale sur le copyright. L’utilisation dans cet ouvrage de désignations, dénominations commerciales, marques de fabrique, etc. même sans spécification ne signifie pas que ces termes soient libres de la législation sur les marques de fabrique et la protection des marques et qu’ils puissent être utilisés par chacun. La maison d’édition décline toute responsabilité quant à l’exactitude des indications de dosage et des modes d’emploi. Dans chaque cas,il incombe à l’usager de vérifier les informations données par comparaison à la littérature existante. SPIN:11855965 Maquette de couverture :Jean-François Montmarché Image de couverture:©Gaëtan de Séguin des Hons – «Il prend sa place» (détail). Collection Statistiques et probabilités appliquées dirigée par Yadolah Dodge Professeur Honoraire Université de Neuchâtel 2002 Neuchâtel - Suisse Comité éditorial : Christian Genest Stephan Morgenthaler Département de Mathématiques École Polytechnique Fédérale et de statistique de Lausanne Université de Laval Département des Mathématiques Québec GIK 7P4 1015 Lausanne Canada Suisse Marc Hallin Gilbert Saporta Université libre de Bruxelles Conservatoire national Campus de la Plaine CP 210 des arts et métiers 1050 Bruxelles 292,rue Saint-Martin Belgique 75141 Paris Cedex 3 France Ludovic Lebart École Nationale Supérieure des Télécommunications 46,rue Barrault 75634 Paris Cedex 13 France Dans la même collection : — Statistique. La théorie et ses applications, Michel Lejeune, avril 2004 — Le choix Bayésien.Principes et pratique, Christian P.Robert, novembre 2005 — Maîtriser l’aléatoire.Exercices résolus de probabilités et statistique, Eva Cantoni, Philippe Huber et Elvezio Ronchetti, octobre 2006 REMERCIEMENTS Cet ouvrage, s’appuyant sur des exemples, n’existerait pas sans ceux-ci. A l’heure actuelle, s’il est très facile de traiter des données, il est beaucoup plus difficile de les proposer comme exemple pour une diffusion. Les données sont devenues confidentielles et les variables mesurées, jusqu’à leur intitulé même, représentent une avancée stratégique vis-à-vis des concurrents. Il est ainsi presque impensable de traiter des données issues du monde industriel ou du marketing, bien que les exemples y soient nombreux. Cependant, trois organismes, via leur directeur, ont pris l’initiative de permettre la diffusion de leurs données. Nous avons donc un très grand plaisir à remercier Magali Coron (Association Air Breizh), Bernard Mallet (CIRAD forêt) et Jean-Noël Marien(UR2PI).Noussouhaitonsbiensûrassociertouslesmembresdel’unité de recherche pour la productivité des plantations industrielles (UR2PI) passés ou présents. Les membres de cet organisme de recherche congolais gèrent de nombreux essais tant génétiques que sylvicoles et nous renvoyons toutes les personnes intéressées auprès de cet organisme ou auprès du CIRAD, départe- mentforêt(http:\\wwww.cirad.fr),quiestundesmembresfondateursetun participant actif au sein de l’UR2PI. Par ailleurs, la version actuelle de cet ouvrage résulte de l’action à des degrés divers de nombreuses personnes. Nous souhaitons donc remercier tous nos collègues de l’université Rennes 2, tous les étudiants de la filière MASS de Rennes 2 et ceux de l’ENSAI, qui ont permis l’élaboration de ce livre à partir de notes de cours. Cependant, le livre ne serait pas ce qu’il est sans la patience et la minutie d’Arnaud Guyader. Entre deux énervements à peine contenus sur la qualité du manuscrit, il a débusqué d’innombrables erreurs tant sur la forme que sur le fond. Nous n’oublions pas les relecteurs exigeants que sont Christophe Abra- ham et Frank Rimek qui nous ont toujours poussé vers une plus grande clarté théorique ou pratique et dont les remarques ont toujours été pertinentes. En- fin,NathalieChèze,JulieJosseetVincentLefieuxontpermisparleursconseils avisésd’améliorerledocumentaumomentmêmeoùl’oncroyaitarriveraubut. Bien évidemment, après ces relectures successives, nous avons encore modifié quelques phrases et donc sûrement rajouté quelques fautes. Nos remerciements vont également à Nathalie Huilleret de Springer-Verlag (Paris) et Yadolah Dodge, directeur de la collection, pour la confiance qu’ils nous ont accordée. AVANT-PROPOS L’objectifdecetouvrageestderendreaccessibleauplusgrandnombreune des méthodes les plus utilisées de la statistique : la régression. Nous souhai- tons aborder de manière simultanée les fondements théoriques et les questions inévitables que l’on se pose lorsque l’on modélise des phénomènes réels. En effet, comme pour toute méthode statistique, il est nécessaire de comprendre précisément la méthode et de savoir la mettre en œuvre. Si ces deux objectifs sont atteints, il sera alors aisé de transposer ces acquis à d’autres méthodes, moyennantuninvestissementmodéré,tantthéoriquequepratique.Lesgrandes étapes - modélisation, estimation, choix de variables, examen de la validité du modèle choisi - restent les mêmes d’une méthode à l’autre. Cet aspect appa- raît nettement dans le dernier chapitre consacré à certaines extensions de la régressionlinéaire.Cesextensionsontchacuneuncaractèrespécifique,maisles différentes étapes vues en régression se retrouvent dans chaque méthode. Cet ouvrage s’adresse aux étudiants des filières scientifiques, élèves ingé- nieurs, chercheurs dans les domaines appliqués (économie, biologie, sciences de la vie...) et plus généralement à tous les chercheurs souhaitant modéliser des relations de causalité. Il utilise aussi les notions d’intervalle de confiance, de test et les lois de probabilités classiques. Pour les lecteurs n’ayant aucune no- tion de ces concepts, le livre de Lejeune (2004) dans la même collection pourra constituer une aide précieuse pour certains paragraphes. Cet ouvrage néces- site la connaissance des bases du calcul matriciel : définition d’une matrice, somme, produit, inverse, ainsi que valeurs propres et vecteurs propres pour le dernierchapitre.Desrésultatsclassiquessonttoutefoisrappelésenannexesafin d’éviter de consulter trop souvent d’autres ouvrages. Cet ouvrage souhaite concilier les fondements théoriques nécessaires à la compréhension et à la pratique de la méthode. Nous avons donc souhaité un livreavectoutelarigueurscientifiquepossiblemaisdontlecontenuetlesidées ne soient pas noyés dans les démonstrations et les lignes de calculs. Pour cela, seulesquelquesdémonstrations,quenouspensonsimportantes,sontconservées dans le corps du texte. Les autres résultats sont démontrés à titre d’exercice. Desexercices,dedifficultévariable,sontproposésenfindechapitre.Laprésence de † indique des exercices plus difficiles que la majorité des exercices proposés. Des questions de cours sous la forme de QCM sont aussi proposées afin d’aider aux révisions du chapitre. Les corrections de tous les exercices sont fournies en annexe A. Une partie «notes» présente en fin de chapitre des discussions ou extensions, cette partie pourra être ignorée lors d’une première lecture. Afinquelesconnaissancesacquisesnerestentpasthéoriques,nousavonsin- tégrédesexemplestraitésaveclelogiciellibreGNU-R(http://www.r-project. org).Afinqueleslecteurspuissentsefamiliariseraveclelogicieletretrouverles mêmes résultats que ceux donnés dans le livre, les commandes sont rapportées dans le livre. Nous encourageons donc les lecteurs à utiliser les données (qui se trouvent sur les pages web des auteurs) et les codes afin de s’approprier la théorie mais aussi la pratique. Au niveau de l’étude des chapitres, le premier de ceux-ci, consacré à la régression simple, est traité afin de présenter de nombreux concepts et idées. Il est donc important de le lire afin de se familiariser avec les problèmes et les solutions envisagés ainsi qu’avec l’utilité des hypothèses de la régression. Le second chapitre présente l’estimation et la géométrie de la méthode des moindres carrés. Il est donc fondamental. Le troisième chapitre aborde la partie inférentielle. Il représente la partie la plus technique et la plus calculatoire de cet ouvrage. En première lecture, il pourra apparaître comme fastidieux, mais la lecture et la compréhension de la géométrie des tests entre modèles emboîtés semblent nécessaires. Le calcul des lois pour le praticien peut être omis. Lequatrièmechapitreprésentetrèspeudecalculs.Ilpermetdevérifierque le modèle, et donc les conclusions que l’on peut en tirer, sont justes. Cette partie est donc fondamentale pour le praticien. De plus, les idées sous-jacentes sont utilisées dans de très nombreuses méthodes statistiques. La lecture de ce chapitre est indispensable. Le cinquième chapitre présente l’introduction de variables explicatives qua- litatives dans le modèle de régression, soit en interaction avec une variable quantitative (analyse de la covariance), soit seules (analyse de la variance). La présentation oublie volontairement les formules classiques des estimateurs à base de somme et de moyenne par cellule. Nous nous focalisons sur les pro- blèmes de paramètres et de contraintes, problèmes qui amènent souvent une question naturelle à la vue des listings d’un logiciel : «Tiens, il manque une estimation d’un paramètre». Nous avons donc souhaité répondre simplement à cette question inhérente à la prise en compte de variables qualitatives. Le sixième chapitre présente le choix de variables (ou de modèles). Nous présentons le problème via l’analyse d’un exemple à 3 variables. A partir des conclusionstiréesdecetexemple,nouschoisissonsuncritèredesélection(erreur quadratique moyenne ou EQM) et nous proposons des estimateurs cohérents. Ensuite, nous axons la présentation sur l’utilisation des critères classiques et des algorithmes de choix de modèles présents dans tous les logiciels et nous comparonscescritères.Enfin,nousdiscutonsdesproblèmesengendrésparcette utilisation classique. Ce chapitre est primordial pour comprendre la sélection de modèle et ses problèmes. Le septième chapitre propose les premières extensions de la régression. Il s’agit principalement d’une présentation succincte de certaines méthodes uti- lisées en moindres carrés généralisés. Elle présente aussi une approche de la régression par la méthode des noyaux. Enfin,lehuitièmechapitreprésentedesextensionsclassiques(ridge,régres- sionsurcomposantesprincipales)ouplusactuelles(lassoouPLS)delarégres- sion.D’unpointdevuethéorique,ellespermettentd’approfondirlesproblèmes decontraintessurlevecteurdecoefficients.Chaqueméthodeestprésentéed’un point de vue pratique de manière à permettre une prise en main rapide de la méthode. Elles sont illustrées sur le même exemple de spectroscopie, domaine d’application désormais très classique pour ces méthodes. Table des matières 1 La régression linéaire simple 1 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.1 Un exemple : la pollution de l’air . . . . . . . . . . . . . 1 1.1.2 Un deuxième exemple : la hauteur des arbres . . . . . . 3 1.2 Modélisation mathématique . . . . . . . . . . . . . . . . . . . . 5 1.2.1 Choix du critère de qualité et distance à la droite . . . . 5 1.2.2 Choix des fonctions à utiliser . . . . . . . . . . . . . . . 7 1.3 Modélisation statistique . . . . . . . . . . . . . . . . . . . . . . 9 1.4 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . 10 1.4.1 Calcul des estimateurs de βj, quelques propriétés . . . . 10 1.4.2 Résidus et variance résiduelle . . . . . . . . . . . . . . . 13 1.4.3 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.5 Interprétations géométriques . . . . . . . . . . . . . . . . . . . 15 1.5.1 Représentation des individus . . . . . . . . . . . . . . . 15 1.5.2 Représentation des variables. . . . . . . . . . . . . . . . 15 1.5.3 Le coefficient de détermination R2 . . . . . . . . . . . . 16 1.6 Inférence statistique . . . . . . . . . . . . . . . . . . . . . . . . 17 1.7 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.7.1 La concentration en ozone . . . . . . . . . . . . . . . . . 21 1.7.2 La hauteur des eucalyptus . . . . . . . . . . . . . . . . . 26 1.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1.9 Notes : estimateurs du maximum de vraisemblance . . . . . . . 31 2 La régression linéaire multiple 33 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2 Modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.3 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . 38 2.3.1 Calcul de βˆ . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.3.2 Interprétation . . . . . . . . . . . . . . . . . . . . . . . . 41 2.3.3 Quelques propriétés statistiques . . . . . . . . . . . . . . 41 2.3.4 Résidus et variance résiduelle . . . . . . . . . . . . . . . 42 2.3.5 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.4 Interprétation géométrique . . . . . . . . . . . . . . . . . . . . 44 xii Régression - Théorie et applications 2.5 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.5.1 La concentration en ozone . . . . . . . . . . . . . . . . . 46 2.5.2 La hauteur des eucalyptus . . . . . . . . . . . . . . . . . 48 2.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3 Inférence dans le modèle gaussien 53 3.1 Estimateurs du maximum de vraisemblance . . . . . . . . . . . 53 3.2 Nouvelles propriétés statistiques. . . . . . . . . . . . . . . . . . 54 3.3 Intervalles et régions de confiance . . . . . . . . . . . . . . . . . 56 3.4 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 3.5 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.6 Les tests d’hypothèses . . . . . . . . . . . . . . . . . . . . . . . 60 3.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 60 3.6.2 Test entre modèles emboîtés . . . . . . . . . . . . . . . . 61 3.7 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 3.7.1 La concentration en ozone . . . . . . . . . . . . . . . . . 65 3.7.2 La hauteur des eucalyptus . . . . . . . . . . . . . . . . . 66 3.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 3.9 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.9.1 Intervalle de confiance : bootstrap . . . . . . . . . . . . 71 3.9.2 Test de Fisher pour une hypothèse linéaire quelconque . 74 3.9.3 Propriétés asymptotiques . . . . . . . . . . . . . . . . . 76 4 Validation du modèle 81 4.1 Analyse des résidus . . . . . . . . . . . . . . . . . . . . . . . . . 82 4.1.1 Les différents résidus . . . . . . . . . . . . . . . . . . . . 82 4.1.2 Ajustement individuel au modèle, valeur aberrante . . . 84 4.1.3 Analyse de la normalité . . . . . . . . . . . . . . . . . . 85 4.1.4 Analyse de l’homoscédasticité . . . . . . . . . . . . . . . 85 4.1.5 Analyse de la structure des résidus . . . . . . . . . . . . 86 4.1.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.2 Analyse de la matrice de projection . . . . . . . . . . . . . . . . 89 4.3 Autres mesures diagnostiques . . . . . . . . . . . . . . . . . . . 91 4.4 Effet d’une variable explicative . . . . . . . . . . . . . . . . . . 94 4.4.1 Ajustement au modèle . . . . . . . . . . . . . . . . . . . 94 4.4.2 Régression partielle : impact d’une variable . . . . . . . 95 4.4.3 Résidus partiels et résidus partiels augmentés . . . . . . 96 4.5 Exemple : la concentration en ozone . . . . . . . . . . . . . . . 97 4.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 5 Régression sur variables qualitatives 103 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.2 Analyse de la covariance . . . . . . . . . . . . . . . . . . . . . . 105 5.2.1 Introduction : exemple des eucalyptus . . . . . . . . . . 105 5.2.2 Modélisation du problème . . . . . . . . . . . . . . . . . 106