Was für eine grässliche Untersuchung! Welch unkritische Analyse!

Gütekriterien für sozialwissenschaftliche Untersuchungen

 English Version

Zu fast jedem gesellschaftlich relevantem Thema gibt es heutzutage mehrere sozialwissenschaftliche Untersuchungen. Diese Fülle an Untersuchungen erfordert es, die "Spreu vom Weizen zu trennen". Dies ist jedoch leichter gesagt als getan, weil völlig disparate Kriterien für die Güte sozialwissenschaftlicher Untersuchungen existieren. Zudem gibt es kaum Kommunikation zwischen den Vertretern unterschiedlicher Forschungstraditionen über allgemeingültige Bewertungsmaßstäbe. So kommt es, dass beispielsweise Konstruktivisten völlig andere Maßstäbe an Untersuchungen als rational choice Theoretiker anlegen, auch wenn sie inhaltlich an den gleichen Themen und mit ähnlichen Theorien arbeiten. Dieser bedauerliche Zustand soll mit diesem Seminar ein wenig verbessert werden, indem Gütekriterien unterschiedlichster Herkunft miteinander verglichen werden sollen.
Das Seminar ist in 5 Abschnitte gegliedert. Nach einem groben Überblick über den Stand der Dinge hinsichtlich der Güte der heutigen Sozialforschung sollen in Teil II die klassischen formalen Gütekriterien sozialwissenschaftlicher Untersuchungen - Validität, Reliabilität, parsimony, empirische Falsifizierbarkeit " vorgestellt werden. Teil III befasst sich mit inhaltlichen Gütekriterien. In Teil IV werden dann statistische Gütekriterien vorgestellt und geprüft, ob diese die in Teil II oder III erarbeiteten Kriterien widerspiegeln. Im letzten Teil des Seminars werden dann ausgewählte Untersuchung anhand der erarbeiteten Gütekrierien bewertetet.
Lernorganisation: Um eine fruchtbare Seminardiskussion zu ermöglichen, wird von den Seminarteilnehmern/-innen erwartet, dass sie die angegebene Pflichtlektüre vor der jeweils angebenden Sitzung durcharbeiten.
Leistungsnachweise: Als Leistungsnachweis sind wöchentliche Aufgaben zur jeweiligen Literatur zu bearbeiten, diese sollten mittels StudIP den Mitstudierenden zugänglich gemacht werden. Außerdem wird ein Sammelreview von drei oder vier Studien zu einem Thema erwartet. Dieser Sammelreview sollte die im Seminar erlangten Erkenntnisse anwenden. Das Thema sollte möglichst aus dem Gebiet der politischen Soziologie oder der Kultursoziologie gewählt werden.
Teilnahmevoraussetzungen: Bereitschaft zur Lektüre englischer Texte, Kenntnisse in Statistik (mindestens auf dem Niveau von Statistik I und II), Grundkenntnisse in empirischer Sozialforschung und soziologischer Theorie. Kenntnisse in Epistemologie, konstruktivistischen Theorien, quantitativen Methoden (z.B. Regressionsanalyse, log-lineare Modelle oder strukturelle Gleichungsmodelle) und/oder Stochastik von Vorteil.

 Seminarplan (Druckversion)

I Einführung

Woche 1: Organisatorisches

Vorstellung des Seminarplans.

empfohlene Literatur (für das gesamte Semester)

• Blalock, Hubert M. 1984. Basic Dilemmas in the Social Sciences. Beverly Hills: Sage Publications.
  
• ---- 1982. Conceptualization and Measurement in the Social Sciences. Beverly Hills: Sage Publications.
  
• Bourdieu, Pierre, Jean-Claude Chamboredon, and Jean-Claude Passeron. 1991. Soziologie als Beruf: Wissenschaftstheoretische Voraussetzungen soziologischer Erkenntnis. Berlin & New York, NY: de Gruyter.
  
• Flyvbjerg Bent. 2001. Making Social Science Matter : Why Social Inquiry Fails and How It Can Succeed Again. Cambridge, U.K.: Cambridge University Press.
  

Woche 2: Der Stand der Dinge

In einem zugleich unterhaltsamen und fundiert argumentierenden Essay über den Stand der soziologischen Forschung am Ende des 20. Jahrhunderts zeigt der frühere NORC-Chef James A. Davis die typischen Stärken und Schwächen der gegenwärtigen akademischen soziologischen Forschung auf. Die Fragen, die Davis aufwirft werden uns über das Seminar hinweg beschäftigen.

Pflichtlektüre

• Davis, James A. 1994. "What's Wrong with Sociology?" Sociological Forum 9:179-97.
  

empfohlene Literatur

• Sociological Forum 9 (2), 1994. Special Issue on "What's Wrong With Sociology?".
  

II Formale Gütekriterien

Im ersten inhaltlichen Abschnitt des Seminars werden die gebräuchlichsten formalen Gütekriterien für Sozialforschung vorgestellt.

Woche 3: Validität: Theorie

(Fast) alle Studierenden der Sozialwissenschaften lernen im Kurs zur empirischen Sozialforschung, dass man auf die Validität von Indikatoren achten muss. Was aber soll man genau unter Validität verstehen. Welche gängigen Typen der Validität gibt es?

Pflichtlektüre

• Blalock, Hubert M. 1984. Basic Dilemmas in the Social Sciences. Beverly Hills: Sage Publications, S. 62-71.
  
• Flyvbjerg Bent. 2001. Making Social Science Matter : Why Social Inquiry Fails and How It Can Succeed Again. Cambridge, U.K.: Cambridge University Press, 2001, S. 38-52.
  

empfohlene Literatur

• Thomas D. and Donald T. Campbell. 1979. Quasi-Experimentation Design & Analysis Issues for Field Settings. Boston et al.: Houghton Mifflin Company, S. 37-94.
  

4: Validität: Praxis

Theoretisch ist das Konzept der Validität recht eindeutig zu fassen; auch ergeben sich aus ihm relativ eindeutige methodische Vorgaben. Letztere sind jedoch nicht so konkret, dass sie in der Forschungspraxis ohne Bezug auf die jeweilige Fragestellung und die jeweils gewählte Methode -- die natürlich gleichfalls nach Validitätsgesichtspunkten ausgewählt werden sollte " angewendet werden könnte. Am Beispiel von Daten für außerinstitutionelles kollektives Handeln, die mit Hilfe von Zeitungsberichten erhoben werden, soll daher untersucht werden, wie Validierungsversuche in der Forschungspraxis unternommen werden.

Pflichtlektüre 

• Snyder, David and William R. Kelly. 1977. "Conflict Intensity, Media Sensitivity and the Validity of Newspaper Data." American Sociological Review 42(1):105-23.
  

empfohlene Literatur

• Oliver, Pamela E. and Gregory M. Maney. 2000. "Political Processes and Local Newspaper Coverage of Protest Events: From Selection Bias to Triadic Interactions." American Journal of Sociology 106(2):463-505.
  

Woche 5: Reliabilität

Forschungsergebnisse sollten replizierbar sein. Das mag in den Naturwissenschaften ein relativ leichtes Unterfangen sein. Gesellschaft ist jedoch ständig im Wandel, und Messungen soziologischer Konstrukte sind häufig nur sehr indirekt. Wie weit muss man die Forderung nach Wiederholbarkeit trotzdem aufrechterhalten?

Pflichtlektüre 

• Blalock, Hubert M. 1984. Basic Dilemmas in the Social Sciences. Beverly Hills: Sage Publications, S. 72-80.
  

empfohlene Literatur

• Cassel, Carol A. 1984. "Issues in Measurement: The "Levels of Conceptualization" Index of Ideological Sophistication." American Journal of Political Sciences 28 (2): 418-29.
  
• Stuart C. and Ethal Shanas. 1943. "Operational Definitions, Operationally Defined." American Journal of Sociology 48 (4): 482-91.
  

Woche 6: Sparsamkeit (parsimony)

"Das muss man aber differenziert sehen!" Entgegen der unter Studierenden der Sozialwissenschaften weit verbreiteten These, dass stärkere Differenzierung immer ein Mehr an Erkenntnisgewinn verspricht, ist die eigentliche Aufgabe der Wissenschaft eine (sinnvolle) Vereinfachung der sozialen Realität.

Pflichtlektüre

• Arrow, Kenneth J. Mathematical Models in the Social Sciences. Daniel Lerner, and Harold Dwight Lasswell, eds., The policy sciences: recent developments in scope and method. Stanford, CA: Stanford University Press; 1951; S. 129-154.
  
• Hirschman, Albert O. 1984. Against Parsimony: Three Easy Ways of Complicating Some Categories of Economic Discourse. American Economic Review 74: 89-96.
  
• Blalock, Hubert M. 1982. Conceptualization and Measurement in the Social Sciences. Beverly Hills: Sage Publications; S. 27-32.
  
• Przeworski, Adam, and Henry Teune. 1970. Generality, Parsimony, Accuracy, and Casualty, in: The Logic of Comparative Social Inquiry. New York: John Wiley, pp. 20-23.

Rasieren Sie sich bitte ausserdem mit Occam's Razor!

Woche 7: Empirische Falsifizierbarkeit …

Im so genannten Positivismusstreit in der deutschen Soziologie bestanden die Kritischen Rationalisten auf das Kriterium der empirischen Falsifizierbarkeit als das sine qua non sozialwissenschaftlicher Theorien.

Pflichtlektüre 

• Popper, Karl R. 1966. Logik der Forschung. Tübingen, FR Germany: J.C.B. Mohr, Kapitel 1 & 2.
  

empfohlene Literatur

• Lakatos, Imre. 1970. "Falsification and the Methodology of Scientific Research Programmes." Criticism and the Growth of Knowledge, eds. Imre Lakatos and Alan Musgrave. London, U.K.: Cambridge University Press.
  

III  Inhaltliche Gütekriterien

Woche 8: … vs. Gesellschaftskritik (?)

Die Frankfurter Schule bemängelt an der Forderung nach der empirischen Falsifizierbarkeit unter anderem, dass ein zu starker Bezug auf Erfahrung inhärent konservativ wirke. Zusätzlich zu formalen Gütekriterien verlangen die Frankfurter nach inhaltlichen Kriterien für Sozialforschung

Pflichtlektüre 

• Adorno Theodor W. 1962. "Zur Logik der Sozialwissenschaften." Kölner Zeitschrift für Soziologie und Sozialpsychologie 14(2):249-63.
  
• Habermas, Jürgen. 1963. "Analytische Wissenschaftstheorie und Dialektik: Ein Nachtrag zur Kontroverse zwischen Popper und Adorno." Pp. 155-91 in Theodor W. Adorno, Ralf Dahrendorf, Jürgen Habermas, Harald Pilot, and Karl R. Popper, Der Positivismusstreit in der Deutschen Soziologie. Darmstadt, FR Germany: Luchterhand Literaturverlag, 1989.
  

empfohlene Literatur

• Adorno Theodor W. et al. 1969. Der Positivismusstreit in der Deutschen Soziologie. Neuwied; Berlin: Luchterhand, 1969.
  

Woche 9: Konstruktivismus I: Kategorienbildung " Theorie

Obwohl Konstruktivismus seit mehr als einem Jahrzehnt en vogue ist, gibt es bisher kaum systematisch entwickelte Kriterien, mit denen konstruktivistische Ansätze bewertete werden können. Luhmann und Bourdieu et al. stellen einige solcher Kriterien auf, darunter der altbekannte, aber nicht intuitive Hinweis, dass gesellschaftliche Konzepte keinen unmittelbaren Eingang in Gesellschaftstheorien finden sollten. Obwohl die Nützlichkeit der hier vorgestellten Richtlinien eigentlich unbestritten ist´, werden sie dennoch in vielen - auch konstruktivistischen " Untersuchungen missachtet.

Pflichtlektüre 

• Luhmann, Niklas. 1990. Soziologische Aufklärung 5: Konstruktivistische Perspektiven. Opladen: Westdeutscher Verlag, Kapitel 1.
  
• Bourdieu, Pierre, Jean-Claude Chamboredon, and Jean-Claude Passeron. 1991. Soziologie als Beruf Wissenschaftstheoretische Voraussetzungen soziologischer Erkenntnis. Berlin & New York, NY: de Gruyter, S. 15-36.
  

Woche 10: Konstruktivismus II: Kategorienbildung " Praxis

Am Beispiel des Konzepts der Gesellschaft wird gezeigt, dass (und weshalb) viele theoretische Ansätze einen zu naiven Zugang zur gesellschaftlichen Realität haben.

Pflichtlektüre 

• Luhmann, Niklas. 1992. "The Concept of Society." Thesis Eleven 31:67-80.
  

empfohlene Literatur

• Billig, Michael. 1995. Banal Nationalism. London, U.K., Thousand Oaks, CA & New Delhi, India: Sage.
  
• Elias, Norbert. 1991. Über den Prozeß der Zivilisation: Soziogenetische und Psychogenetische Untersuchungen - Erster Band: Wandlungen des Verhaltens in den Weltlichen Oberschichten des Abendlandes. Frankfurt a/M, FR Germany: Suhrkamp, Einleitung.
  

Woche 11: Konstruktivismus III: The Social Construction of What?

Das vergangene Jahrzehnt hat Analyse sozialer Konstruktionen in ungekanntem Ausmaß hervorgebracht. Was aber bedeutet es, wenn Phänomene wie "Ehe", "Felsen", "Nationen", "Geschlechter", "Türklinken" sozial konstruiert sind? Wann ist es sinnvoll, wann notwendig und wann tautologisch von sozialer Konstruktion zu sprechen? Wie kann man das Verhältnis von sozialer Konstruktion und objektiver Realität, sofern es letztere gibt, konzeptualisieren? Diesen Fragen geht Hacking nach. Übrigens: Ein Kapitel befasst sich tatsächlich mit der sozialen Konstruktion von Felsen.

Pflichtlektüre 

• Hacking, Ian. 1999. The Social Construction of What? Cambridge, Mass: Harvard University Press, S. 1-62.
  

IV  Statistische Gütekriterien

Im letzten Abschnitt des Seminars werden wie sehen, wie die in Teil II und III gewonnenen Einsichten auf quantitative Daten angewandt werden können.

Woche 12:  Assoziationsmaße

Bei Assoziationsmaßen gilt in der Sozialforschung allzu oft das Motto "je größer, desto besser". Diese Vorgehensweise berücksichtigt jedoch weder die spezifischen Eigenschaften der verschiedenen Assoziationsmaße noch die Verbreitung dieser Maße in der Literatur. Buchanan zeigt die daraus resultierenden Probleme auf.

Pflichtlektüre 

• Buchanan, William. Nominal and Ordinal Bivariate Statistics: The Practitioner's View. American Journal of Political Science. 1974; 18 (3): 625-646.

Woche 13: Bayes'sche Gütekriterien I

Mit Hilfe traditioneller statistischer Gütekriterien wie dem ײ oder dem Kolmogorov-Smirnov-Test können nur genestete (d.h. verschachtelte) Modelle miteinander verglichen werden. Dies ist gerade deshalb bedauerlich, weil die meisten Theoriealternativen von unterschiedlichen Erklärungsfaktoren für soziale Phänomene ausgehen, also nicht genestet sind. Außerdem bewerten traditionelle statistische Gütekriterien die Komplexität eines Modells nicht angemessen. In letzter Zeit werden deshalb immer öfter auf Bayes'scher Statistik beruhende Indices vorgeschlagen, die diese Problematik umgehen.

Pflichtlektüre 

• Rudolf K. 1998. "Kolmogorov Test, http://rkb.home.cern.ch/rkb/AN16pp/node143.html, 02. Juli 2002.
  
• "Chi-square Test," <http://rkb.home.cern.ch/rkb/AN16pp/node32.html, 02. Juli 2002.
  
• Raftery, Adrian H. 1995. "Bayesian Model Selection in Social Research." Sociological Methodology 25:112-65.
  

empfohlene Literatur

• Sociological Methods and Research 27 (3).
• Western, Bruce. 1999. "Bayesian Analysis for Sociologists." Sociological Methods and Research 28 (1): 7-34.
  

Woche 14: Bayes'sche Gütekriterien II

Die Diskussion der vergangenen Woche wird fortgesetzt.

Pflichtlektüre 

• Bartels, Larry M. 1997. "Specification Uncertainty and Model Averaging." American Journal of Political Science 41(2): 641-74.
  

empfohlene Literatur

• Western, Bruce. 1996. "Vague Theory and Model Uncertainty in Macrosociology." Sociological Methodology 26:165-92.
  

V  Abschlussdiskussion

Woche 15: Abschlussdiskussion

Auf Wunsch wird die Abschluss-Sitzung als Wochenend-Seminar durchgeführt. In diesem Fall sollten die TeilnehmerInnen Studien, die sie mit den während des Seminars vorgestellten Gütekriterien bewertet haben, vorstellen.

Pflichtlektüre 

• Flyvbjerg Bent. 2001. Making Social Science Matter : Why Social Inquiry Fails and How It Can Succeed Again. Cambridge, U.K.: Cambridge University Press, 2001, S. 129-140.
  

empfohlene Literatur

siehe Woche 1 & 2