Methodik empirischer Sozialforschung. Fehlerquellen, statistische Artefakte und was wir dagegen tun können. Vortrag im Forum Methodenzentrum der Universität Frankfurt 13. Januar 2015 Andreas Diekmann ETH Zürich 1. Neue Entwicklungen 2. Methodenprobleme: Beispiele Räumlicher Kontext und Kausalität 3. Veröffentlichungen liefern ein verzerrtes Bild des Forschungsstands 4. Datenmanipulation 5. Sind die meisten signifikanten Ergebnisse in Fachartikeln falsch? 6. Was tun? Neue Entwicklungen Es gibt viele hervorragende methodische Neu- und Weiterentwicklungen, dazu zählen: 1. Räumliche Daten und GIS 2. Analyse kausaler Zusammenhänge mit Paneldaten 3. Weiterentwicklungen in der Netzwerkanalyse 4. Die Wiederentdeckung von Experimenten, Feldexperimenten, Vignettenanalysen, Discrete-Choice- Experimente u.a. 5. Das Konzept des „Total Survey Error“ und die systematische Entwicklung der Survey-Methodologie in der „Michigan-School“ (Groves et al. 2004) 6. Neue Daten aus digitaler Technik, Internet, „Big Data“ Beispiel: Haushaltssurvey plus räumliche Daten im Geo- Informationssystem (GIS) Luftbelastung Straßenlärm NO2 PM10 PM 2.5 Ozon Tag Nacht Schweizer/In ref. ref. ref. ref. ref. ref. Westeuropa, Nordamerika -0.37 -0.18 -0.10 2.77 0.54 0.62 (-0.73) (-0.60) (-0.47) (0.28) (0.90) (1.02) Südeuropa 2.28** 1.44** 0.91** 18.82+ 1.48* 1.84** (4.10) (4.35) (4.01) (1.73) (2.22) (2.75) Andere (Balkan, Osteuropa, 3.20** 1.72** 1.05** -21.23 1.89* 2.03* Asien, Südamerika) (4.16) (3.74) (3.33) (-1.41) (2.01) (2.14) Bildungsjahre HH (BFS 0.27 0.04 0.02 0.74 -0.54 -0.76 2007, in Zehner) (0.68) (0.17) (0.13) (0.10) (-1.13) (-1.58) Äquivalenzeinkommen -0.14** -0.07** -0.05** -0.05 -0.04 -0.04 (mon. in Tsd.) (-4.88) (-4.28) (-4.15) (-0.08) (-1.13) (-1.19) Ländliches Gebiet ref. ref. ref. ref. ref. ref. Agglomeration 6.55** 3.36** 2.29** -22.83** 2.30** 2.61** (21.47) (18.52) (18.41) (-3.82) (6.33) (7.16) Kleine od. Mittlere Stadt 8.33** 2.90** 1.91** -54.37** 5.03** 4.00** (22.49) (13.13) (12.61) (-7.50) (11.37) (8.99) Großstadt 16.91** 8.50** 5.45** -139.77** 5.37** 4.21** (50.44) (42.58) (39.78) (-21.30) (13.40) (10.45) Konstante 16.42** 17.24** 13.27** 303.35** 48.52** 37.50** (29.59) (52.13) (58.52) (27.92) (73.02) (56.12) Korr. R-Quadrat 0.526 0.446 0.409 0.195 0.086 0.052 Anzahl Fälle 2569 2568 2568 2565 2546 2546 Diekmann und Meyer 2010 Problem der Ermittlung kausaler Zusammenhänge mit nicht- experimentellen Surveydaten So einfach ist es leider nicht! Zeichnung Oswald Huber „Marriage Premium“ Chiodo, A. J. and M. T. Owyang, 2002. For Love or Money. Why married men make more. The Regional Economist. (Nur ein Beispiel. Vielzahl von Artikeln zur Heiratsprämie in zahlreichen Ländern.) Problem: Verzerrung durch selektive Stichproben Aus: Walter Krämer, 1998. Denkste! Trugschlüsse aus der Welt der Zahlen und des Zufalls. München: Piper Ermittlung der Höhe der „Heiratsprämie“ Was macht die „methodenbewusste“ Sozialforscherin oder der Sozialforscher (im Großteil von Artikeln in Fachzeitschriften)? – Multivariate OLS-Regression: ► Einkommen = b + b Bildung +b (Berufserf.) + 0 1 2 b (Berufserf.)2 + b Fam.stand + (weitere 3 4 „Kontrollvariablen“) Fam.stand = 1, wenn die Person jemals verheiratet war, 0 sonst. ► Ergebnis: b > 0 und signifikant für α = 0,05 4