´ ´ ´ ´ ´ BEVEZETES A SZAMITOGEPES ´ STATISZTIKABA Csendes Tibor Szeged,2001. Lektora´lta: Dr. Boda Krisztina tudoma´nyos fo˝munkata´rs, Szegedi Tudoma´nyegyetem, OrvosiInformatikaiInte´zet, Dr. Petres Tibor egyetemi docens, Szegedi Tudoma´nyegyetem, Gazdasa´g- tudoma´nyiKare´s Dr. Viharos La´szlo´ egyetemi docens, Szegedi Tudoma´nyegyetem, Bolyai Inte´zet. 1.a´bra: AzSPSSstatisztikaiprogrambeolvasottadattal. Elo˝szo´ A jelen jegyzet1 a Szegedi Tudoma´nyegyetemen to¨bb ta´rgy: a TTK-s hall- gato´k Bevezete´saz Informatika´ba II (Statisztikai programcsomagok)speci- a´lkolle´giuma,ako¨zgazda´szhallgato´kBevezete´sazInformatika´baII.fe´le´ves e´s a biolo´gus hallgato´k A Sza´m´ıta´stechnika alkalmaza´sai c´ımu˝ ta´rgya´nak ko¨zo¨sanyaga´t tartalmazza. Ata´rgy idea´lis esetbenhetiegyo´raelo˝ada´ste´s egyo´ragyakorlatotjelent,demindenke´ppenlegala´bbafeleido˝tsza´m´ıto´ge´- pesteremben,akt´ıvgyakorla´ssalkellto¨lteni. Ajegyzetnemta´maszkodikma´sta´rgyakraaze´rintetthallgato´kku¨lo¨nbo¨- zo˝ elo˝ke´pzettse´gemiatt, denagyonhasznosa matematikai statisztikavagy a statisztika ta´rgyak anyaga´nak elo˝zetes ismerete. Aktua´lis va´ltozata egy re´sze,ahozza´ kapcsolo´do´ feladatok,gyakorlatoke´sadataikele´rheto˝ka (cid:0) (cid:0)(cid:2)(cid:2)(cid:3)(cid:4)(cid:5)(cid:5)(cid:6)(cid:6)(cid:6)(cid:7)(cid:8)(cid:9)(cid:10)(cid:7)(cid:11)(cid:12)(cid:13)(cid:14)(cid:15)(cid:16)(cid:15)(cid:17)(cid:7)(cid:0)(cid:11)(cid:5) (cid:18)(cid:13)(cid:15)(cid:9)(cid:17)(cid:15)(cid:13)(cid:5)(cid:13)(cid:2)(cid:19)(cid:2)(cid:7)(cid:3)(cid:13)(cid:7)(cid:16)(cid:14) c´ımen,illetveanonimftp-velaz (cid:10)(cid:2)(cid:3)(cid:7)(cid:20)(cid:19)(cid:2)(cid:15)(cid:7)(cid:11)(cid:12)(cid:13)(cid:14)(cid:15)(cid:16)(cid:15)(cid:17)(cid:7)(cid:0)(cid:11) c´ımena ko¨nyvta´rban. (cid:5)(cid:3)(cid:11)(cid:21)(cid:5)(cid:22)(cid:19)(cid:2)(cid:0)(cid:5)(cid:23)(cid:3)(cid:2)(cid:8)(cid:22)(cid:8)(cid:14)(cid:19)(cid:2)(cid:8)(cid:23)(cid:9) Ata´rgyolyantuda´stk´ıva´nadni,amelyelegendo˝ egyszeru˝bbstatisztikai munka´kelve´gze´se´hez,e´samelyeto¨na´llo´ gyakorla´ssaltova´bbfejlesztveegy- egy szakteru¨letteljes statisztikai feldolgoza´sa´t is ve´gre lehet hajtani. Mivel a programcsomagok gyakran va´ltoznak, az anyag fo˝leg az a´llando´ vagy keve´sbe´ va´ltozo´ ismereteket tartalmazza. Re´szben emiatt nem is csak egy statisztikai programot ismertet, hanem az SPSS (1. a´bra) re´szletesebb ta´rgyala´sa uta´n ma´s ko¨nnyen ele´rheto˝ statisztikai programokat is bemutat ro¨viden. A kapcsolo´do´ statisztikai ismeretek persze mindegyikre e´rve´nye- sek. 1Mindenmegjegyze´stsz´ıvesenla´toke´selo˝reisko¨szo¨no¨k,ku¨lo¨no¨sen,hahiba´krah´ıvja´k felafigyelmem.Azemailc´ımem: (cid:0)(cid:2)(cid:3)(cid:4)(cid:5)(cid:3)(cid:2)(cid:6)(cid:7)(cid:4)(cid:8)(cid:9)(cid:10)(cid:11)(cid:2)(cid:12)(cid:3)(cid:13)(cid:3)(cid:5)(cid:9)(cid:14)(cid:10) 3 4 Eloszo A rendelkeze´sre a´llo´ ro¨vid ido˝ (kb. 14 1 5 o´ra) nem ele´g a valo´sz´ı- nu˝se´gsza´m´ıta´s e´s a matematikai statisztika ala(cid:0)pfogalmainak re´szletes ta´r- (cid:0) gyala´sa´rasem,eze´rtalegfontosabbdefin´ıcio´kat,o¨sszefu¨gge´seketaze´rintett statisztikaielja´ra´sokta´rgyala´saelo˝ttcsakafelte´tlenu¨lszu¨kse´gesterjedelem- ben ismertetem. A teljesen o¨na´llo´ statisztikai munka´hoz ez persze nem elegendo˝. Ennek ellene´re b´ızom benne, hogy a ta´rgyalt anyag seg´ıt a leg- gyakoribbhiba´katelkeru¨lni,e´saviszonylagko¨nnyenkezelheto˝ programok seg´ıtse´ge´vel (ta´maszkodva a mind to¨bb esetben rendelkeze´sre a´llo´ kiter- jedt su´go´, tana´csado´ vara´zslo´kra) o¨na´llo´ munka´val is lehetse´ges a tova´bbi szu¨kse´ges elja´ra´sok megismere´se. A teljes itt ko¨zreadott anyag to¨bb, mint amitegyfe´le´veskurzusbana´tlehetadni,ezne´mirugalmassa´gotko¨vetelaz elo˝ado´to´l,illetveagyakorlatvezeto˝to˝l. Tova´bbice´lseg´ıtse´getnyu´jtaniastatisztikaifeldolgoza´shozolyanoksza´- ma´rais,akikeztahagyoma´nyoske´pze´skerete´bennemtanulta´k. ´Igyajegy- zet alapja´n az egyszeru˝bb feladatok esete´n az olvaso´ elegendo˝ u´tmutata´st kap ahhoz, hogy a feladata´t u´gy fogalmazza meg, illetve ´ırja a´t, hogy az a rendelkeze´srea´llo´ szoftverrelhate´konyanmegoldhato´ legyen. A jelen jegyzet a kora´bbi specia´lkolle´giumok e´s gyakorlatok sora´n csi- szolo´dott anyagot is tartalmazza. Itt mondok ko¨szo¨netetkora´bbi hallgato´- imnak e´s munkata´rsaimnak a jegyzet le´trejo¨tte´hez, illetve a jav´ıta´sa´hoz nyu´jtott seg´ıtse´gu¨ke´rt. Ku¨lo¨n ko¨szo¨net illeti a lektorokat, akik alapos e´s gyorsmunka´tve´geztek,e´ssza´moshasznostana´ccsalseg´ıtette´kmunka´mat. Va´romatova´bbive´leme´nyekete´sjavaslatokatis. Szeged,2001.okto´ber aszerzo˝ Jelo¨le´sek Itt a legfontosabb, szinte mindig a megadott forma´ban haszna´latos jelo¨le´- seketadjukmeg,deezekto˝lhelyenke´nt—aholata´rgyala´s eztmegko¨veteli —elte´rhetu¨nk. A B C eseme´nyek (cid:2) (cid:2) szignifikancia-szint (cid:3) D D decilisek 1 9 (cid:2)(cid:0)(cid:0)(cid:0)(cid:2) E(x) az xvalo´sz´ınu˝se´giva´ltozo´ va´rhato´ e´rte´ke F(x) P x eloszla´sfu¨ggve´ny (cid:0) (cid:4) (cid:5) (cid:2) (cid:3) f(x) su˝ru˝se´gfu¨ggve´ny H anullhipote´zis 0 H azalternat´ıvhipote´zis 1 Me media´n (elme´leti)a´tlag (cid:6) N(0 1) standardnorma´liseloszla´s (cid:2) N( ) norma´liseloszla´s (cid:6)(cid:2)(cid:7) p q valo´sz´ınu˝se´gek (cid:2) P(A) egy Aeseme´nyvalo´sz´ınu˝se´ge P P percentilisek 1 99 (cid:2)(cid:0)(cid:0)(cid:0)(cid:2) 5 6 Jelolesek Q Q Q akvartilisek 1 2 3 (cid:2) (cid:2) (elme´leti)szo´ra´s (cid:7) s korriga´ltszo´ra´s SD szo´ra´s SE standardhiba x y z valo´sz´ınu˝se´gi va´ltozo´k. A matematikai statiszti- (cid:2) (cid:2) ka´baninka´bbgo¨ro¨gbetu˝khaszna´latosak(mintpl. ). (cid:4)(cid:2)(cid:8) x¯ az x x x mintaelemeksza´mtania´tlaga 1 2 n (cid:2) (cid:2)(cid:0)(cid:0)(cid:0)(cid:2) 1. Fejezet Bevezete´s Astatisztika´valkapcsolatbanke´tgyakranide´zettmonda´sa: “vanhazugsa´g, nagyhazugsa´ge´sstatisztika”, illetve az “elegendo˝sza´mu´adatbo´lstatiszti- ka´valba´rmitkilehetmutatni”. Ezek mo¨go¨tt az az igazsa´g rejlik, hogy a statisztikai elja´ra´sok nem ele´g gondos, nem elegendo˝en ko¨ru¨ltekinto˝ hasz- na´lata esete´n megke´rdo˝jelezhetetlennek tu˝no˝ hiba´s eredme´nyeket kapha- tunk. A statisztikai programcsomagok ismertete´se sora´n a leggyakoribb hibaleheto˝se´geket is megta´rgyaljuk az elkeru¨le´su¨kho¨z szu¨kse´ges le´pe´sek- kel. Ajegyzetc´ıme´benasza´m´ıto´ge´pesjelzo˝ arrautal,hogyko¨zvetlenu¨lnem astatisztikafogalmaival, o¨sszefu¨gge´seivelfoglalkozunk,hanemstatisztikai elja´ra´sok, pro´ba´k, mutato´k konkre´tadatokra valo´ meghata´roza´sa´val. Ma´r- pedig ezeket ma a legegyszeru˝bbek kive´lete´vel csak sza´m´ıto´ge´pen hajt- ja´k ve´gre. Ne´ha´ny statisztikai elja´ra´s ma´s jellegu˝ programban is ele´rheto˝, ´ıgype´lda´ulgyakranta´bla´zatkezelo˝ programban,vagya´ltala´nosnumerikus programcsomagokban is tala´lunk ilyeneket. Jegyzetu¨nkben ilyen statiszti- kai elja´ra´sokat a StarOffice e´s az Excel programokkal kapcsolatban ismer- tetu¨nkro¨viden(la´sda4.Fejezetet). Ba´rezekaprogramokkeve´sstatisztikai tesztet,algoritmustbocsa´tanakrendelkeze´sre,me´giselterjedtse´gu¨kmiatte´s viszonylag ko¨nnyu˝ kezelheto˝se´gu¨k re´ve´n fontos eszko¨zo¨k. Ide sorolhato´ me´gaha´lo´zatro´lleto¨ltheto˝sharewareAs-Easy-Asta´bla´zatkezelo˝ programis (ba´rmelykereso˝programmalmegtala´lhato´,csakegyho´napighaszna´lhato´). Az egyszeru˝bb statisztikai programok, mint a SigmaStat is, csak egy- va´ltozo´sstatisztika´katke´pesekkisza´molni,csere´benviszontko¨nnyenkezel- heto˝ke´skisebbkapacita´su´ ge´penisfuttathato´k,olcso´bbak. Astatisztikaielja´ra´sokko¨zelteljesko¨re´trendelkeze´srebocsa´to´ professzi- ona´lis programokbo´l sok van, ezeket fo˝leg PC-n vagy munkaa´lloma´sokon haszna´lhatjuk. Ide tartozik a re´szletesen ta´rgyalt SPSS mellett pe´lda´ul a 7 8 Bevezetes StatGraphics, a Statistica, a BMPD e´s az SAS. Ezen oszta´ly a´ltal k´ına´lt al- goritmusokko¨renemnagyonte´rel,e´sba´rahaszna´latuknagyonku¨lo¨nbo¨zo˝ lehet,ace´ljainkraelegendo˝ ezekko¨zu¨legyetismertetni. Linux opera´cio´s rendszerhez is sza´mos programot lehet tala´lni. Egy bo˝ lista van ezekro˝l a internetes (cid:0)(cid:2)(cid:2)(cid:3)(cid:4)(cid:5)(cid:5)(cid:18)(cid:0)(cid:3)(cid:13)(cid:24)(cid:25)(cid:7)(cid:18)(cid:0)(cid:7)(cid:11)(cid:9)(cid:8)(cid:2)(cid:23)(cid:7)(cid:8)(cid:2)(cid:5)(cid:26)(cid:8)(cid:9)(cid:11)(cid:27)(cid:5)(cid:28)(cid:5)(cid:29) c´ımen(tova´bbilinkekkele´sro¨vidismertete´sselmindenprogramro´l). Aza´ltala´nosce´lu´ numerikusprogramokko¨zu¨laNAGprogramcsomag- ja´t, a Maple e´s a Mathematica szimbolikus algebrarendszereket kell meg- eml´ıteni,deidetartozikaMathlabis. Azilyenprogramokatnemta´rgyaljuk, mertme´gro¨vidismertete´su¨kisara´nytalanulsokido˝bekeru¨lne. 1.1 Statisztikaialapfogalmak Astatisztikaolyanelja´ra´sokkalfoglalkozik,amelyekme´re´siadatok,felme´re´- sekrekapottva´laszokvagyma´sve´letleneseme´nyekto˝lfu¨ggo˝ adatokjellem- zo˝it vagy o¨sszefu¨gge´su¨k me´rte´ke´t e´s jellege´t hata´rozza´k meg. Ide tartozik a kapott eredme´nyek olyan megjelen´ıte´se is, amely az adatok e´rtelmeze´se´t megko¨nny´ıti. Eztadiszciplina´tszoka´sa´ltala´nosstatisztika´nakish´ıvni,szem- ben a matematikai alapjait tiszta´zo´ matematikai statisztika´val. De ro¨viden statisztika´nak szoka´s nevezni a statisztikai fu¨ggve´nyeket, a mintaelemekbo˝l sza´m´ıtotte´rte´keketis,mintamilyenpe´lda´ulaza´tlag. A valo´sz´ınu˝se´g: egy 0 e´s 1 ko¨zo¨tti sza´m (0 p 1), amely azt jellemzi, hogyegyeseme´nybeko¨vetkeztemilyenese´llyel,gyakorisa´ggalva´rhato´. Az (cid:4) (cid:4) 1 valo´sz´ınu˝se´g csaknem biztos beko¨vetkeze´st, a nulla valo´sz´ınu˝se´g csak- nem lehetetlen elo˝fordula´st jelent2. A k´ıse´rleteze´s sora´n tapasztalt relat´ıv gyakorisa´gokmegko¨zel´ıtikazelme´letivalo´sz´ınu˝se´get. Az adatokat a´ltala´ban egy ta´bla´zatban ce´lszeru˝ elrendezni. Az eset az o¨sszetartozo´ statisztikai adatok olyan egyse´ge, amelyek amiatt ke´peznek egyse´get, mert egy egyedre, vagy me´re´si k´ıse´rletre vonatkoznak (pl. a k´ıse´rletben re´sztvevo˝ szeme´ly, a´llat, vegyu¨let stb.). Az eseteket a´ltala´ban egy-egy sza´m´ıto´ge´pes rekordban, rendszerint a ta´bla´zat soraiban adjuk meg. Atulajdonsa´gokat,jellemzo˝ket azegyesegyedekrevonatkozo´ana valo´- sz´ınu˝se´gi va´ltozo´k (ro¨viden va´ltozo´k) tartalmazza´k. Az esetekre vonatkozo´ va´ltozo´e´rte´kek alkotja´k a statisztikai minta´t, vagy ro¨viden minta´t. Sok esetbenjellemzo˝ az,hogyateljessokasa´gbo´lcsakkeve´segyedrevonatkozo´ adata´llrendelkeze´sre. 2Ako¨znyelvbenitthaszna´lhatunkbiztos,illetvelehetetlenelo˝fordula´stis,a“csaknem”a matematikaipontossa´gkedve´e´rta´llitt. Bevezetes 9 Sza´mospe´lda´tlehetezekreafogalmakrahozni,´ıgystatisztikaiminta´nak tekinthetju¨k a szavaza´si hajlando´sa´got, illetve a va´laszta´si preferencia´kat vizsga´lo´ ko¨zve´leme´nykutata´s alapadata´t. Az eseteknek ekkor egy-egy megke´rdezettre vonatkozo´ adathalmaz felel meg, m´ıg a feltett ke´rde´sekre kapottva´laszokva´ltozo´ke´rte´keitadja´k. Ava´laszado´ka´tlage´letkorape´lda´ul egy olyan statisztikai mutato´, amit a fenti e´rtelemben statisztika´nak is szoktakro¨vidennevezni. Egyma´sik pe´ldaegyu´jgyo´gyszerhata´sossa´ga´nakvizsga´lata´ra gyu˝jto¨tt adatsor. Ilyenkor ke´t csoportra szoka´s osztani a pa´cienseket, az egyik csoport kapja a vizsga´lando´ kezele´st, a ma´sik (az u´n. kontroll csoport) hata´stalan gyo´gyszert kap — hogy valo´ban csak a szer hata´sa´t me´rju¨k, ne az egye´b, pl. psziche´s ko¨vetkezme´nyeket. A betegenke´nt gyu˝jto¨tt adatok tartoznak egy esethez, a me´rt e´rte´kek pedig egy-egy va´ltozo´hoz. Olyan statisztika´t szoka´s vizsga´lni, mint a megce´lzott me´rheto˝ e´rte´kek a´tlagos elte´re´seacsoportoka´ltalreprezenta´ltsokasa´gokko¨zo¨tt. A ta´bla´zatkezelo˝ programok az eseteket sorokban, a va´ltozo´kat oszlo- pokbanta´rolja´k. Eztko¨vetikastatisztikaiprogramokis. Ma´sre´sztto¨bbsta- tisztikai elja´ra´s szempontja´bo´l az eseteke´s a va´ltozo´k szerepe felcsere´lheto˝ (mint pl. a klasztereze´s esete´n). Ekkor az illeto˝ elja´ra´s legto¨bbszo¨r meg is ke´rdezi, hogy esetekre vagy va´ltozo´kra ke´rju¨k a ve´grehajta´sa´t. A legto¨bb statisztikai feldolgoza´s nyilva´nvalo´va´ teszi, hogy mik lesznek az esetek e´s mikava´ltozo´k. 1.1.1 Va´ltozo´t´ıpusok Avalo´sz´ınu˝se´giva´ltozo´kt´ıpusafontosave´grehajtando´ elja´ra´sszempontja´- bo´l, e´s az elo˝zetes adatkezele´st is befolya´solja. Alapveto˝en ke´t t´ıpust ku¨lo¨nbo¨ztetu¨nkmeg: 1. diszkre´t valo´sz´ınu˝se´gi va´ltozo´ a´ltal felveheto˝ e´rte´keksza´ma ve´ges(vagy megsza´mla´lhato´anve´gtelen,mintpl.azege´szsza´mokhalmaza),vagy 2. folytonos valo´sz´ınu˝se´gi va´ltozo´: amely a valo´s sza´mok halmaza´nak egy vagy to¨bb intervalluma´n ba´rmely e´rte´ket felvehet. Ma´s szo´val adott hata´rok ko¨zo¨tt ba´rmely valo´s e´rte´ket felvehet (ilyen pe´lda´ul a valo´s sza´mokhalmaza0e´s1ko¨zo¨tt). Az elo˝bbire pe´lda a megfelelt – nem felelt meg – kiva´lo´an megfelelt mino˝s´ıte´s, illetve a ke´k – zo¨ld – piros sz´ınha´rmas. Az uto´bbi csoportba tartozikatestmagassa´g,aterme´sa´tlag,vagyazauto´kfogyaszta´sa. 10 Bevezetes A diszkre´t va´ltozo´kon belu¨l van a bina´ris vagy dichotom va´ltozo´k (alter- nat´ıvisme´rvek)csoportja: ezekcsakke´te´rte´ketvehetnekfel(pl.igen–nem, vagyfe´rfi–no˝). 1.1.2 Adatt´ıpusok Azadatokatelo˝szo¨risajelente´su¨kjellegealapja´nlehetoszta´lyozni: eszerint az adat kvalitat´ıv vagy kvantitat´ıv lehet. A kvalitat´ıv (vagy mino˝se´gi) adatt´ıpusazobjektumokfajta´itadjameg(pl.neme: fe´rfi–no˝). Akvantitat´ıv (vagymennyise´gi)adatt´ıpusasza´mmalkifejezheto˝ jellemzo˝ketmutatja(pl. e´letkor,jo¨vedelem). Az adatok ilyen oszta´lyoza´sa a´ltala´ban terme´szetes, ko¨nnyen megad- hato´,me´gis,haazadatokatsza´mokkalko´doljuk,akkorezekat´ıpusokcsak ajellemzo˝keredetijelente´sealapja´nhata´rozhato´kmeg. I´gyegy100-asadat- e´rte´k lehet me´re´si eredme´ny (teha´t kvantitat´ıv t´ıpusu´), de pe´lda´ul sz´ınko´d is,amipedigkvalitat´ıvadatt´ıpusnakfelelmeg. 1.1.3 Me´re´siska´la´k A me´re´si ska´la´k (vagy me´re´si szintek) re´szletesebb oszta´lyoza´st adnak. Ezekmondja´kmeg,hogyazadatainkat pontosanhogyanszabad e´rtelmez- ni, milyen o¨sszefu¨gge´seket haszna´lhatnak a statisztikai elja´ra´sok. Ennek megada´sado¨nto˝enbefolya´solhatja azeredme´nyu¨nket,e´semiatt ezkomoly hibaleheto˝se´getisjelent. Az alkalmazando´ me´re´si ska´la´t a statisztikai program nem tudja maga kiva´lasztani, mindenke´ppenafelhaszna´lo´, illetveaprogramkezelo˝jeseg´ıt- se´ge´re lesz szu¨kse´g. Eze´rt ennek az oszta´lyoza´snak a megfelelo˝ ismerete elengedhetetlen a statisztikai programok megb´ızhato´ haszna´lata´hoz. Ba´r erro˝l megke´rdezhetju¨k a ve´gso˝ felhaszna´lo´t, vagy kider´ıthetju¨k a szu˝kebb szakma´ban szoka´sos, elfogadott oszta´lyoza´st, de ezt magunk is tiszta´zhat- juk. Ma´re´szt sza´mos ke´so˝bb ismertetendo˝ re´szletke´rde´sben mindenke´pp a szakteru¨let elfogadott mo´dszertana´ra kell ta´maszkodnunk, ´ıgy ebben az esetbento¨rekednikellazo¨na´llo´ do¨nte´sre. Legyen A e´s B ke´tobjektum, x egyva´ltozo´, x e´s x pedigaz x va´ltozo´ A B e´rte´kei A e´s B esete´n. A ko¨vetkezo˝ ska´lat´ıpusokat ta´rgyaljuk (amelyek ebbenasorrendbentartalmazza´k egyma´st): 1. A ne´vleges (vagy nomina´lis) ska´la minden e´rte´ke egy o¨na´llo´ katego´ria´t jelo¨l, az objektumokko¨zo¨tt csak az azonossa´g vagy ku¨lo¨nbo¨zo˝se´gvi- szonya´t te´telezi fel (pl. a nem, sz´ın, szu¨lete´si hely). A-ro´l e´s B-ro˝l