Das allgemeine ordinale Rasch-Modell P14.8 Kurt Holm Almo Statistik-System www.almo-statistik.de [email protected] [email protected] 2014 Siehe auch das Almo-Dokument 7a. "Wie man mit Almo ein Rasch-Modell rechnet" Im Text wird häufig auf das Dokument P0 Bezug genommen. Dabei handelt es sich um das Almo-Dokument "Arbeiten mit Almo.PDF" (Dokument 0). Siehe insbesondere auch das Almo-Dokumente 20 Latent structure analyssis.PDF (Hermann Denz), in dem das zum Rasch-Modell sehr ähnliche "Ogiven-Modell" dargestellt, sowie das Almo- Dokument 19 Guttman- und Mokken-Skalierung.PDF (Joachim Gerich Weitere Almo-Dokumente Die folgenden Dokumente können alle von der Handbuchseite in http://www.almo-statistik.de/ heruntergeladen werden 0. Arbeiten_mit_Almo.PDF (1 MB) 1a. Eindimensionale Tabellierung.PDF (1.8 MB) 1b. Zwei- und drei-dimensionale Tabellierung.PDF (1.1 MB) 2. Beliebig-dimensionale Tabellierung.PDF (1.7 MB) 3. Nicht-parametrische Verfahren.PDF (0.9 MB) 4. Kanonische Analysen.PDF (1.8 MB) Diskriminanzanalyse.PDF (1.8 MB) enthält: Kanonische Korrelation, Diskriminanzanalyse, bivariate Korrespondenzanalyse, optimale Skalierung 5. Korrelation.PDF (1.4 MB) 6. Allgemeine multiple Korrespondenzanalyse.PDF (1.5 MB) 7. Allgemeines ordinales Rasch-Modell.PDF (0.6 MB) 7a. Wie man mit Almo ein Rasch-Modell rechnet.PDF (0.2 MB) 8. Tests auf Mittelwertsdifferenz, t-Test.PDF (1,6 MB) 9. Logitanalyse.pdf (1,2MB) enthält Logit- und Probitanalyse 10. Koeffizienten der Logitanalyse.PDF (0,06 MB) 11. Daten-Fusion.PDF (1,1 MB) 12. Daten-Imputation.PDF (1,3 MB) 13. ALM Allgemeines Lineares Modell.PDF (2.3 MB) 13a. ALM Allgemeines Lineares Modell II.PDF (2.7 MB) 14. Ereignisanalyse: Sterbetafel-Methode, Kaplan-Meier-Schätzer, Cox-Regression.PDF (1,5 MB) 15. Faktorenanalyse.PDF (1,6 MB) 16. Konfirmatorische Faktorenanalyse.PDF (0,3 MB) 17. Clusteranalyse.PDF (3 MB) 18. Pisa 2012 Almo-Daten und Analyse-Programme.PDF (17 KB) 19. Guttman- und Mokken-Skalierung.PFD (0.8 MB) 20. Latent Structure Analysis.PDF (1 MB) 21. Statistische Algorithmen in C (80 KB) 22. Conjoint-Analyse (PDF 0,8 MB) 23. Ausreisser entdecken (PDF 170 KB) 24. Statistische Datenanalyse Teil I, Data Mining I 25. Statistische Datenanalyse Teil II, Data Mining II 26. Statistische Datenanalyse Teil III, Arbeiten mit Almo- Datenanalyse-System 27. Mehrfachantworten, Tabellierung von Fragen mit Mehrfach- antworten (0.8 MB) 28. Metrische multidimensionale Skalierung (MDS) (0,4 MB) 29. Metrisches multidimensionales Unfolding (MDU) (0,6 MB) 30. Nicht-metrische multidimensionale Skalierung (MDS) (0,5 MB) 31. Pfadanalyse (0,7 MB) 32. Datei-Operationen mit Almo (1,1 MB) 33. Wählerstromanalyse und Wahlhochrechnung (1,6 MB) 34. Soziometrie. Auswertung soziometrischer Daten (0,5 MB) 1 Inhaltsverzeichnis Kurt Holm P14.8 Das allgemeine ordinale Rasch-Modell P14.8.0 Programm und Programm-Autoren 4 P14.8.1 Items für das ordinale Rasch-Modell 5 P14.8.2 Almo-Programm-Masken 6 P14.8.3 Die logistische Itemfunktion im Rasch-Modell 7 P14.8.3.1 Die logistische Funktion im dichotomen Rasch-Modell 8 P14.8.3.2 Die Kategorienfunktion im ordinalen Rasch-Modell 11 P14.8.4 Schätzung der Parameter 15 P14.8.5 Vergleich von Almo, Conquest, Multira, Winmira 16 P14.8.6 Eingabe in die Programm-Maske Prog14m3 18 P14.8.7 Eingabe in die Programm-Maske Prog14m4 21 P14.8.7.1 Variablennamen 21 P14.8.7.2 Ein- und Ausschliessen von Untersuchungseinheiten 22 P14.8.7.3 Umkodierungen 23 P14.8.7.4 Behandlung fehlender Werte 24 P14.8.7.5 Modell-Test 26 P14.8.7.6 Itemfit 27 P14.8.7.7 Test auf Personen-Homogenität 33 P14.8.7.7.1 Andersen-Test 35 P14.8.7.7.2 Andersen-Test mit Gruppierungsvariable 40 P14.8.7.7.3 Wald-Test auf Personen-Homogenität 43 P14.8.7.7.4 Martin-Löf-Test auf Item-Homogenität 44 P14.8.7.8 Antwortmuster ausgeben 44 P14.8.7.9 Skalenwerte (Fähigkeitswerte) in Datei geben 46 P14.8.7.10 Rasch-konforme oder Rasch-perfekte Daten erzeugen 50 P14.8.7.11 R-Programm erzeugen 55 P14.8.7.12 Grafik-Optionen 57 P14.8.8 Ausgabe aus Prog14m4 58 P14.8.8.1 Basis-Statistiken 59 P14.8.8.2 Schwierigkeits-, Schwellen- und Fähigkeitsparameter 59 P14.8.8.3 Grafiken bei dichotomen und polytomen Items 64 P14.8.8.4 Itemfit-Masse 71 P14.8.8.4.1 Infit und Outfit 71 P14.8.8.4.2 Q-Index (nach Rost/von Davier) 72 P14.8.8.4.2.1 Die Steigung der logistischen Rasch-Funktion 76 P14.8.8.5 Modelltest und Bootstrap 77 Heinrich Potuschak P14.8.9 Parameterschätzung und Modelltests 79 P14.8.9.1 Kodierung der Pattern 79 P14.8.9.2 Schätzung der bedingten Schwierigkeitsparameter 79 P14.8.9.3 Schätzung der gewichteten Personenparameter 81 P14.8.9.4 Standardfehler der Schwierigkeitsparameter 82 P14.8.9.5 Andrichs Reliabilität 82 P14.8.9.6 Modell-Tests 82 P14.8.9.6.1 Globale Modell-Tests 82 P14.8.9.6.2 Itemfit-Tests nach Wright & Masters 83 2 P14.8.9.6.3 Der Q-Index (nach Rost/von Davier) 84 P14.8.9.6.4 Personenhomogenität: Andersen-Test, Wald-Test 85 P14.8.9.6.5 Itemhomogenität: Martin-Löf-Test 85 P14.8.9.7 Bootstrappen 85 P14.8.9.8 Simulation von Rasch-konformen Daten 86 Kurt Holm Exkurs: Zentrale Konzepte des Rasch-Modells 87 Kurt Holm Exkurs: Vergleich von Rasch-Modell mit "Latent Structure Analysis" 91 Literatur zum ordinalen Rasch-Modell 99 3 Kurt Holm P14.8 Das allgemeine ordinale Rasch-Modell P14.8.0 Programm und Programm-Autoren Die für ein ordinales Rasch-Modell zentralen Funktionen für die Ermittlung der Itemparameter, der Personenparameter, der Modell- und Itemfit-Tests und der Datensimulation wurden von Heinrich Potuschak in der Programmiersprache „R“ geschrieben. Kurt Holm hat diese Funktionen in die Programmiersprache „C“ übertragen und in das Almo-Rasch-Programm eingebunden. Dieses steht den Benutzern nunmehr mit vielen Optionen und einer detaillierten Ergebnisausgabe mit vielen Grafiken frei zur Verfügung. Der R-Quelltext von Heinrich Potuschak zusammen mit einer Erläuterung der Funktionen ist im Almo-Unterordner „Rasch_in_R“ enthalten. Im letzten Abschnitt P14.8.9 des hier vorliegenden Handbuchs hat Potuschak den Kalkül des ordinalen Rasch-Modells detailliert dargestellt. Der gesamte C-Quelltext (etwas gekürzt, ohne komplexe Optionen und ohne Grafikteil) wird ebenfalls frei zur Verfügung gestellt. Er ist im Almo-Unterordner Algorithmen_in_C in den Modulen "a_up_algorith11.c" und "a_Main_Konsole_24.c" enthalten. Im Modul "a_Main_Konsole_25.c" ist ein Programm zur Simulation von Rasch-konformen Daten enthalten. Alle C- und R-Unterprogramme können von interessierten Programmierern beliebig verwendet werden. Das Rasch-Programm und der Quelltext kann in www.almo-statistik.de heruntergeladen werden. Eine Bedienungsanleitung des Almo-Programms zum Rasch-Modell ist enthalten in "Wie man mit Almo ein Rasch-Modell rechnet.PDF" (herunterladbar in der Handbuchseite von www.almo-statistik.de) Das allgemeine ordinale Rasch-Modell wird in der Literatur auch als partial credit model oder abgekürzt PCM bezeichnet. In Almo ist das ordinale Rasch-Modell als Prog14 mit den zwei Programm-Masken Prog14m3 und Prog14m4 enthalten. Es wird gestartet durch Klick auf den Knopf „Verfahren“ und dann „Rasch- Modell“. Das seither schon vorhandene dichotome Rasch-Modell mit den Programm-Masken Prog14m1 und Prog14ma ist nach wie vor gültig, ist jedoch im neuen ordinalen Rasch-Programm inkludiert. Die Ergebnis-Ausgabe ist weitgehend dieselbe. Das neue Programm ist jedoch vor allem bei den Modell- und Itemfit-Tests überlegen. Der hier vorliegende Text beinhaltet folgendes: - Es wird gezeigt, wie das Almo-Programm zum Rasch-Verfahren zu bedienen ist - die Ergebnisse werden ausführlich anhand von simulierten und empirischen Beispielen erläutert - die Theorie des Rasch-Modells wird überblicksweise dargestellt und seine Probleme diskutiert. Wer sich umfassender mit der Theorie (und auch den Problemen) des Rasch-Modells befassen 4 will, dem sei das Buch von Jürgen Rost (2004) empfohlen, das kompetent und verständlich das Modell darstellt. P14.8.1 Items für das ordinale Rasch-Modell Für die im ordinale Raschmodell zu skalierenden Variablen gelten folgende Möglichkeiten und Bedingungen: 1. In die Analyse dürfen dichotome und/oder polytome Items aufgenommen werden. Es können auch Analysen nur mit dichotomen oder nur mit polytomen Items durchgeführt werden. 2. Die Items dürfen ungleich viele Kategorien (Ausprägungen) besitzen 3. Das Rasch-Modell unterstellt, dass alle Items auf einer gemeinsamen Messdimension messen. Dies ist die "Annahme der Eindimensionalität" 4 Die Items besitzen unterschiedliche "Schwierigkeitswerte". Bei einem Wissenstest z.B. bedeutet dies, dass Wissensfragen unterschiedlich schwer zu "lösen" sind. 5. Die Items besitzen die gleiche Diskriminationsfähigkeit (Trennschärfe). Das heisst, sie trennen die Personen ungefähr gleich gut in jene, die "oberhalb" der Schwierigkeit des Items stehen und jene, die "unterhalb" stehen. Geometrisch bedeutet dies: Die Steigungen der logistischen Kurven aller Items müssen gleich sein. 6. Die Variablen müssen mit Einer-Schritten von ihrer Werte-Untergrenze zur Obergrenze kodiert sein. Die Werte-Untergrenze muss nicht notwendigerweise =0 sein. Ein Item mit 3 Kategorien kann z.B. mit 3,4,5 kodiert sein. Almo transformiert programmintern diese Werte automatisch auf Untergrenze 0. Ist die Bedingung der "Einer-Schritte" nicht erfüllt, dann müssen die Variablen in der Umkodierungs-Box entsprechend umkodiert werden 7. Besitzt ein Item 3 oder mehr Ausprägungen, dann müssen die Ausprägungen in ihrer Schwierigkeit ansteigend sein. Die den Item-Kategorien dann zugeordneten Zahlen sind in Einer-Schritten ansteigende ganzzahlige ordinale Ziffern 8. Die Variablen müssen in Richtung der Messdimension kodiert sein. Beispiel: Bei einem 0-1 kodierten dichotomen Item bedeutet die 1: liegt höher auf der Messdimension als 0. Ist dies abweichend bei einem Item nicht der Fall, dann muss dieses in seiner Kodierungsrichtung umgedreht werden Beispiel Die zu skalierende Variablen V1 bis V5 seien mit 3,4,5 kodiert, wobei allerdings bei Variable 5 die Kodierungs-Richtung umgekehrt ist als bei den anderen. Dann muss in der Umkodierungsbox geschrieben werden: V5( 5=3; 4=4; 3=5 ) oder V5( 3 bis 5 = Umdrehen) 5 Beispiele für ordinal-polytome Rasch-Items Beispiel für Wissensfragen In der Pisa-Studie werden den befragten Schülern viele Testfragen aus den Bereichen Mathematik, Wissenschaft, Lesen vorgelegt. Mit wenigen Ausnahmen werden diese Testfragen nicht veröffentlicht um sie bei nachfolgenden Befragungen wieder verwenden zu können. Bei Mathematik-Tests kann ein ordinal-polytomer Test dadurch entstehen, dass die Testleistung des Schülers beurteilt wird mit (0) Aufgabe nicht gelöst (1) teilweise gelöst (2) ganz gelöst Beispiel für Einstellungsfragen Die Bereitschaft von Studenten zu nichtkonventionellen politischen Aktivitäten soll erfragt werden. Die Fragen lauten: Würden Sie Item 1: ... sich an einer Unterschriftenaktion beteiligen Item 2: ... einen Brief an einen Politiker schreiben Item 3: ... an einer Kundgebung teilnehmen Item 4: ... in einer Bürgerinitiative mitarbeiten Item 5: ... an der Besetzung eines öffentlichen Gebäudes teilnehmen Als Antwort-Vorgaben für diese 5 Items wird den Studenten angeboten: (0) nein, würde ich nicht tun (1) vielleicht (2) eher wahrscheinlich (3) ja, würde ich tun Es wird angenommen, dass die einzelnen Items unterschiedlich "schwierig" sind. Item 1 ist "leichter" als Item 2, da es eine geringere politische Aktivitätsbereitschaft erfordert. Und es wird erlaubt, dass der Befragte innerhalb eines Items nochmals eine Abstufung vornimmt. P14.8.2 Almo-Programm-Masken In Almo sind 2 Programm-Masken enthalten. 1. Prog14m3.Msk: Ordinales Rasch-Programm mit minimaler Ein- und Ausgabe 2. Prog14m4.Msk: Ordinales Rasch-Programm mit Optionen und Grafik Daneben gibt es noch 2 Grafik-Programme, bei denen der Benutzer für frei gewählte Schwierigkeits- bzw. Schwellenwerte die Itemkurven von ordinal-polytomen Items erzeugen kann. Dies sind 6 1. Prog14g1.Msk Itemkurve im ordinalen Rasch-Model 2. Prog14g2.Msk Kategorienkurven im ordinalen Rasch-Model 2. Prog14g3.Msk Schwellenkurven im ordinalen Rasch-Model Diese Programme werden durch Klick auf den Knopf "Verfahren" und "Rasch-Modell" erreicht. Weiterhin sind folgende Beispiel-Programme vorhanden Rasch_PisaMathe_A.Alm. Das Prog rechnet mit den Mathe-Items aus Pisa 2009 für Austria Rasch_PisaMathe_A_D.Alm. Das Prog rechnet mit den Mathe-Items aus Pisa 2009 für A+D Rasch_PisaMathe_EU.Alm. Das Prog rechnet mit den Mathe-Items aus Pisa 2009 Rasch_Neoffi.Alm. Das Prog rechnet mit den „Neoffi-Daten“ (siehe Rost, 2004, S. 202) Rasch_KFT.Alm. Das Prog rechnet mit den KFT-Daten (siehe Rost, 2004, S. 95) Die Beispiel-Programme findet man nach Klick auf den Knopf "alle Progs" am Oberrand des Almo-Fensters. Sie können auch aus der Programm-Maske Prog14m4.Msk gestartet werden. Die 3 Beispielprogramme aus Pisa 2009 wurden mit den Schülern gerechnet, denen die Mathe- Tests des "Booklet 1" zur Beantwortung tatsächlich vorgelegt wurden. D.h. es wurden keine Schüler einbezogen, deren Antworten (nach dem Pisa-Imputationsverfahren) "geschätzt" wurden. P14.8.3 Die logistische Itemfunktion im Rasch-Modell Es wird folgende Notation verwendet: Die Zeichen ** bedeuten 'Potenzieren' e = das ist die e-Zahl 2.718... ap = Zahl der Ausprägungen der Variablen minus 1; da die Nummerierung der Ausprägungen mit 0 beginnt ist ap gleich der höchsten Ausprägungsnummer j = das sind die Kategorien-Funktionen 0, 1, ... bis ap i = Gesamtpunkt von 0 bis maxg (maximaler Gesamtpunkt) maxg = maximaler Gesamtpunkt f = Fähigkeitswert der Person (=Personenparameter) f[i] = Fähigkeitswert, der dem Gesamtpunkt i entspricht s = Schwierigkeitsparameter (=Itemparameter) s[j] = Schwierigkeitsparameter für Kategorie j w[j] = Schwellenwerte von Kategorie j p = Wahrscheinlichkeit, dass aus den möglichen Kategorien des Items die Kategorie j gewählt wird Zur Terminologie: Die zentralen Begriffe des Rasch-Modells werden in unserer Darstellung mit 7 Schwierigkeitsparameter und Fähigkeitsparameter bezeichnet. In der Literatur, z.B. bei Jürgen Rost (2004), werden häufig die neutraleren Begriffe Itemparameter und Personenparameter verwendet. Wir wollen jedoch bei unserer Terminologie bleiben, weil diese schon bei der Darstellung des dichotomen Rasch-Modells (in den vorausgegangenen Almo-Versionen) verwendet wurde und weil sie anschaulicher ist. Der 3. zentrale Begriff des Schwellenparameters wird einheitlich verwendet. In der englisch- sprachigen Literatur wird von "threshold" gesprochen, was direkt übersetzt "Schwelle" heißt. P14.8.3.1 Die logistische Funktion im dichotomen Rasch-Modell Das dichotome Rasch-Modell kann als eine Weiterentwicklung des Guttman-Verfahrens betrachtet werden. Aus der einstufigen "Treppenkurve" bei Guttman wird die S-förmige logistische Kurve bei Rasch. Im Almo-Handbuch "Sozialwissenschaftliche Skalierungsverfahren", Abschnitt P14.0 wurde das ausführlich dargestellt. Die logistische Funktion des dichotomen Rasch-Modells für ein Item lautet ((cid:5)(cid:6)(cid:7)) (0a) (cid:3) (cid:1) = (cid:9)(cid:10)(cid:3)((cid:5)(cid:6)(cid:7)) oder (0b) (cid:9) (cid:1) = (cid:9)(cid:10)(cid:3)((cid:7)(cid:6)(cid:5)) p ist die Wahrscheinlichkeit, dass die Person mit Gesamtpunkt i das Item positiv beantwortet f ist der Fähigkeitsparameter der Person mit Gesamtpunktwert i S ist der Schwierigkeitsparameter des Items. Beachte: In Gleichung (0b) sind in der Klammer s und f gegenüber (0a) vertauscht. Die Funktion kann grafisch dargetellt werden. Wir wollen von folgender Datenlage ausgehen: Insgesamt wurden den Probanden 12 dichotome Items vorgelegt. Für eine positive Antwort erhält der Proband 1 Punkt. Maximal sind also 12 Gesamtpunkte erzielbar. Wir betrachten nun die 8 logistische Kurve von Item 1. Ja-Wahrscheinlichkeit bei Item 1 (Y-Achse) +1.00 11 12 10 +0.90 8 9 7 +0.80 6 +0.70 5 +0.59 +0.50 4 +0.40 3 +0.29 +0.20 2 +0.10 1 Fähigkeitswerte (X-Achse) +0.00 0 0 -4.00 -3.00 -2.00 -1.00 0 +1.00 +2.00 +3.00 +4.00 -4.04 +4.04 Die Formel für diese Kurve Nr. 1 ist Y=1/(1+e**(-0.888-X)). Der Parameter s ist -0.888. Die logistische Kurve im dichotomen Rasch-Modell ist eine S-förmige Kurve, die von links unten nach rechts oben verläuft. Der rote Punkt 8 z.B. ist so zu interpretieren: Personen mit 8 Gesamtpunkten (aus den 12 möglichen) haben zu 90% (0.90 auf der y-Achse) das Item 1 positiv beantwortet; z.B. bei einem Mathe-Test die Aufgabe Nr. 1 gelöst. Ihre vom Rasch-Modell prognostizierte Wahrscheinlichkeit p ist mit 0.88 etwas kleiner. Ihr Fähigkeitswert f ist 1.00 (auf der x-Achse). Als Schwierig- keitswert des Items betrachtet man die Stelle auf der x-Achse, bei der die Wahrscheinlichkeit einer positiven Antwort 0.5 ist. An dieser Stelle liegt auch der Wendepunkt der Kurve. Das ist in obiger Grafik bei y=0.5 und x= -0.888. Die x-Achse ist die gemeinsame Skala der Fähigkeit f der Personen und der Schwierigkeit s der Items. Auffällig an der logistischen Rasch-Funktion in Gleichung (0b) ist, dass sie keinen Parameter für die Steigung der Kurve besitzt. Die allgemeine logistische Funktion, die einen solchen Parameter besitzt – wir bezeichnen ihn mit c - lautet (L1) (cid:9) (cid:11) = (cid:9)(cid:10)(cid:3)(cid:6)((cid:12)∗((cid:14)(cid:15)(cid:16))) Das negative Vorzeichen nach e kann in die Klammer hineingenommen werden. Die logistische Funktion lautet dann 9