Alla memoria di Giuseppe Pompilj Ludovico Piccinato Metodi per le decisioni statistiche 2 edizione a LudovicoPiccinato DipartimentodiStatistica,Probabilità eStatisticheApplicate Università“LaSapienza” Roma ISBN978-88-470-1077-2 SpringerMilanBerlinHeidelbergNewYork e-ISBN978-88-470-1106-9 SpringerMilanBerlinHeidelbergNewYork Springer-VerlagfapartediSpringerScience+BusinessMedia springer.com ©Springer-VerlagItalia,Milano2009 Quest’operae`protettadallaleggesuldirittod’autoreelasuariproduzionee`ammessasoloedesclusivamente neilimitistabilitidallastessa.Lefotocopieperusopersonalepossonoessereeffettuateneilimitidel15%di ciascunvolumedietropagamentoallaSIAEdelcompensoprevistodall’art.68Leriproduzioniperusonon personalee/ooltreillimitedel15%potrannoavveniresoloaseguitodispecificaautorizzazionerilasciatada AIDRO,CorsodiPortaRomanan.108,Milano20122,[email protected]. Tuttiidiritti,inparticolarequellirelativiallatraduzione,allaristampa,all’utilizzodiillustrazionietabelle, allacitazioneorale,allatrasmissioneradiofonicaotelevisiva,allaregistrazionesumicrofilmoindatabase, oallariproduzioneinqualsiasialtraforma(stampataoelettronica)rimangonoriservatianchenelcasodi utilizzoparziale.Laviolazionedellenormecomportalesanzioniprevistedallalegge. 9 8 7 6 5 4 3 2 1 Impianti:PTP-Berlin,ProtagoTEX-ProductionGmbH,Germany(www.ptp-berlin.eu) Progettograficodellacopertina:SimonaColombo,Milano Stampa:SignumSrl,Bollate(MI) StampatoinItalia Springer-VerlagItaliasrl–ViaDecembrio28–20137Milano Prefazione Questo libro `e il risultato di una lunga esperienza di insegnamento riguar- dante lateoria delle decisioni statistiche, svoltonei corsi dilaurea, oralaurea magistrale, della Facolta` di Scienze Statistiche dell’Universita` di Roma “La Sapienza”. La struttura del testo, parzialmente modulare, richiede una breve illu- strazione. La prima parte presenta la teoria delle decisioni in condizioni di incertezza in un quadro generale, senza approfondire (e tanto meno presup- porre) gli aspetti statistici. Si introduce a questo scopo una “forma canoni- ca”, nel cui ambito non si assegna alle decisioni alcuna struttura definita, e si studiano in dettaglio i classici concetti di ammissibilita`delle decisioni e di completezza delle classi di decisioni, i piu` comuni criteri di ottimalita`,la tec- nica degli alberi decisione per i problemi a piu` stadi, e cos`ı via.Viene inoltre esposta, nel cap.2, lateoria dell’utilita`secondo vonNeumann e Morgenstern, con dimostrazionicomplete relativamente alcaso finito.Vengonopresentati e adeguatamente discussi anche i cosidetti “paradossi” di Allais e di Ellsberg, chemettonoinluceaspetticriticidellateoriastessa.L’usodellaimpostazione di von Neumann e Morgenstern non`e l’unicapossibilita` ammessa nello sche- ma decisionale adottato, ma `e chiaro che tale teoria costituisce un modello particolarmente importante anche per le potenziali applicazioni. Nellaseconda parte,indipendente dallaprecedente, vengonoesposti icon- cettiprincipalidellateoriadell’inferenzastatistica,senzasvilupparegliaspetti decisionali.Viene presentato, con numerosiesempi, ilconcetto tradizionaledi esperimento statistico, e viene dato un rilievo centrale alla funzione di vero- simiglianzaai fini della rappresentazione dei risultati di un esperimento. Con lostesso spiritoviene trattatoilclassicoconcetto disufficienza. Ilcap.4`e de- dicato ad una panoramica delle principali“logiche” dellainferenza statistica, e iniziacon laillustrazione del noto (anche se controverso) principio dellave- rosimiglianza.Ho presentato le caratteristiche del metodo bayesiano con una certa ampiezza sia perch´e lo considero in generale (nelle condizioni assunte, la disponibilita` di un affidabile modello statistico) il piu` valido, sia perch´e `e perfettamente applicabileanche aldi fuori di schemi decisionali,quandosi ha VI Prefazione comeobiettivounagenericainferenzaenonunaspecificadecisione.Hocomun- que cercato di dare un’idea della molteplicita`di linee metodologicheesistenti all’internodellaetichetta“inferenzabayesiana”.Qualechesiailpuntodivista personale dell’autore,`e sicuramente opportuno, in una trattazione didattica, chesianoesaminatecon ladovutaattenzioneancheleprincipaliimpostazioni alternative. Non sarebbe possibile, d’altra parte, ignorare la grande impor- tanza storica della impostazione frequentista, i cui metodi oltre tutto sono ancoratanto diffusinellapratica corrente. Taliprocedure, e piu` precisamente quelleriferibiliallascuola diNeyman-Pearson-Wald,hannopero` un carattere intrinsecamente decisionalee unatrattazione adeguatavienenecessariamente rinviataalcap.7,nellaterzapartedelvolume.Nelcap.4senemettonoinluce soltanto alcune caratteristiche generali, in sostanza la contrapposizione logi- ca al principio della verosimiglianza, e si presenta l’impostazione di Cox (di ispirazioneFisheriana) basatasul condizionamentoparzialeche ne costituisce oggiunaimportante alternativaconcettuale, sempre all’internodi un comune orientamentofrequentista.Lasezioneconcernente ilcampionamentodapopo- lazioni finite `e relativamente isolata (nel senso che i problemi ivi considerati non vengono ripresi successivamente), ma `e utile al fine di ricollegare con la problematica generale dell’inferenza un settore tematico che ha una propria specificit`a eungrande interesse siadalpuntodivistateoricoche dalpuntodi vista pratico. Un argomento non suscettibile di sviluppi in chiave decisionale `epoiquellodellateoriadellasignificativita`“pura”,chevienetrattatoallafine del cap.4, anche con un cenno a suoi sviluppi moderni e ispirati al punto di vista bayesiano, soprattutto per ragionidi completezza espositiva. Complessivamente la seconda parte del testo (capitoli 3 e 4) pu`o vedersi come un richiamo degli elementi essenziali della inferenza statistica e trat- ta argomenti che vengono affrontati, almeno nelle loro linee principali e nei loro aspetti piu` operativi, da tutti i corsi introduttivi in materia. Alcuni ap- profondimentisono tuttavia utili proprio in vista della successiva trattazione inottica decisionale.Una certa completezza dell’esposizione(includendo pero` anchegliesercizi) serveinoltrearendereaccessibileiltestoancheastudentidi buonavolonta`macon scarse conoscenze preliminarisullainferenza statistica. La terza parte tratta dei problemi di decisione statistica e presuppone la conoscenza delle due parti precedenti. Nell’ottica bayesiana la procedura piu` naturaleperiproblemidiinferenzapost-sperimentale`ebasatasulcondiziona- mento al risultato osservato, ed `e quindi la cosiddetta analisi in forma esten- siva. Vengono pertanto trattati in questo modo i classici problemi di stima puntualee medianteinsiemie iproblemiditest diipotesi,siacon riferimento all’inferenzasu parametri che all’inferenzapredittiva.Nell’ottica frequentista la procedura obbligata `e invece la cosiddetta forma normale, che viene svi- luppata nel testo, per quanto riguarda i problemi di stima e test, solo con riferimento all’inferenza su parametri (`e ben noto che procedure generali di tipopredittivosono,nelquadrofrequentista,moltoproblematiche).Entrambe le forme di analisi corrispondono ad opportune particolarizzazioni della for- ma canonica dei problemi di decisione in condizioni di incertezza, e lo studio Prefazione VII svoltonel cap.1vienein entrambii casi pienamenteutilizzato.Ilconfronto in termini decisionali permette tra l’altro di chiarire in concreto (e non solo da un punto di vista astrattamente “filosofico”) le diverse logiche dell’inferenza, e l’intreccio delle reciproche relazioni nei diversi tipi di problemi.Nell’ultimo capitolo vengono esposti i concetti fondamentali sul problema della scelta di unesperimento datauna classediesperimenti disponibili;rientrano inquesta categoria, per esempio, la scelta della numerosit`a campionaria, la scelta dei valori delle variabili controllate per l’inferenza con modelli lineari, la scelta della regola d’arresto nei problemi sequenziali. Si tratta dunque di problemi didecisionestrettamente connessiaproblemidiinferenzastatistica,questioni che hanno grande rilievo pratico ma per le quali non sono frequenti le tratta- zioniorganiche.Vengonoaffrontatineltestoessenzialmenteicasipiu`semplici, ma si fornisce un quadro generale della tematica. L’appendice A richiama in modo molto sintetico gli argomenti principali dellateoriadellaprobabilita`.Lachiarezza suiconcetti diprobabilita`soggetti- vaeoggettiva`eessenzialeperleapplicazionidecisionali,ed`equindiperseguita con certo dettaglio, soprattutto per gli aspetti interpretativi. I richiami sulla teoria matematica non hanno la pretesa, data la loro brevita`, di sostituire lo studiodi testi specifici; tuttaviacostituiscono un riferimentoper il linguaggio e lasimbologiausati nel testo e aiutanolostudente, che eventualmente abbia una formazione probabilistica non orientata allastatistica, ad individuare gli strumentipiu`importantinelcontestocheciinteressa.L’appendiceBpresenta i concetti di base su insiemi convessi e funzioni convesse, adoperati qua e l`a nel testo (ma soprattutto nel cap.1). L’appendice C contiene un formulario con le principali distribuzioni di probabilita`, e cenni essenziali sul concetto di famiglia esponenziale di distribuzioni. L’appendice D presenta i simboli (normalmente di uso comune) usati nella esposizione. Il testo `e pensato per il corso sulla teoria delle decisioni statistiche nelle Facolta`di Scienze Statistiche, ma puo` anche essere utilizzato, eventualmente ancheinaltreFacolta`,perunbrevecorsosulledecisioniincondizionidiincer- tezza (laprimaparte) oppureper corsi istituzionalidiStatisticaMatematica; un orientamento decisionale per tali corsi, del resto, `e didatticamente usuale anchealivellointernazionale.Seiltesto vieneadoperatocomeuncorso intro- duttivoallastatisticamatematica,pu`oessere opportunoanticiparelaseconda parte rispetto alla prima. La trattazione svolta non utilizza in modo effetti- vo la teoria della misura ed `e leggibile da chiunque abbia una preparazione matematica di livellouniversitario. Laseconda edizionepresenta alcunesemplificazionirispetto allaprima,ed alcune integrazioni. Per citare le piu` importanti tra queste ultime, nel cap.1 viene formalizzata l’elicitazione di probabilita` come problema di decisione, nel cap.2 `e stata ampliata la presentazione delle approssimazioni alla funzio- ne di utilita` nel caso di conseguenze numeriche e sono stati discussi alcuni tipi di ordinamenti parziali delle decisioni usati prevalentemente in ambito economico-finanziario,nel cap.4 si presentano alcuni aggiornamentisugli svi- luppimodernidelcosiddetto“valore-P”,nelcap.6`estataestesalatrattazione VIII Prefazione relativaalfattorediBayes(includendouncennosuifattoridiBayesparziali), nelcap.8sonopresentati metodibayesianirecentemente propostiper lascelta della numerosita` campionaria, sempre inquadrati nello schema generale dei problemi di disegno dell’esperimento. Formule, definizioni, teoremi, figure ed esercizi sono numerati separata- mente e consecutivamente entro ogni capitolo. Un asterisco contrassegna gli esercizi che presentano un carattere di complemento teorico. Il simbolo (cid:2)(cid:3) in- dica la fine della dimostrazione di un teorema. La fine degli esempi viene indicata con il simbolo(cid:4) posto allafine dell’ultimariga. Le osservazioni di colleghi e studenti hanno portato a molti migliora- menti e dato fiducia per un rinnovato uso didattico del presente testo; un cordiale ringraziamento a tutti. Un ringraziamento particolare va infine al- la dott.ssa Valeria Sambucini per il prezioso aiuto nella preparazione della seconda edizione. Roma,gennaio 2009 Ludovico Piccinato