Eigentlich sollten sich wissenschaftliche Experimente wiederholen lassen, denn die Effekte gelten ja universell. Doch eine groß angelegte Überprüfung zeigt nun: Weniger als die Hälfte der psychologischen Studien lässt sich bestätigen. Ist das Fach in einer Krise?
Stuttgart - Wenn Journalisten drei Stimmen zu einem Thema einfangen, fragt sich der kritische Leser, Hörer oder Zuschauer: Sind diese Äußerungen repräsentativ? Womöglich wollte der Journalist gar nicht zeigen, was die Leute typischerweise denken, sondern wie breit das Meinungsspektrum ist. Oder er hat unverbrauchte Argumente zitiert, die man in der Debatte noch nicht so oft gehört hat. Solche Absichten sind meist zu erkennen. Problematisch ist hingegen die Gefahr, dass der Journalist zufällig auf die Meinung von Außenseitern gestoßen ist.
Für ein repräsentatives Stimmungsbild beauftragt man deshalb Forscher, die rund 1000 Menschen dieselbe Frage stellen. In derart großen Stichproben bleiben Außenseiter Außenseiter: Ihre Meinung wird selten vertreten. Aber auch bei Umfragen gibt es Unsicherheiten: So bleibt zum Beispiel zweifelhaft, ob eine Partei mit sieben Prozent Zustimmung bei der Wahl tatsächlich über die Fünfprozenthürde kommt. Das ist nicht nur offen, weil sich manche Befragte in der Wahlkabine anders entscheiden als bei der Umfrage zuvor. Es kann auch sein, dass man zufällig überproportional viele Anhänger der besagten Partei befragt hat.
Um Sicherheit zu gewinnen, müsste man noch mehr Menschen befragen. Doch das ist nicht nur teuer – es reizt auch niemanden, weil man womöglich nur das ursprüngliche Ergebnis bestätigt. Warum noch einmal 1000 Menschen befragen, um am Ende bloß sagen zu können: Die Partei steht tatsächlich bei sieben Prozent?
Die Forscher sehen noch Luft nach oben
Das gilt nicht nur für das Umfragegeschäft, sondern für die ganze Psychologie. Forscher wollen Neues entdecken, und auch die Herausgeber von Fachjournalen interessieren sich vor allem dafür. Prüfen, ob sich die Befunde bestätigen lassen, bringt weder für die Karriere noch für das Ansehen des Fachjournals etwas. Aber wenn es in den vergangenen Jahren trotzdem versucht wurde, gab es manche Überraschung: Bei der Replikation fanden die Forscher keinen Effekt, die Bestätigung blieb aus. In solchen Fällen kann natürlich auch die Wiederholung problematisch sein – es steht dann gewissermaßen Aussage gegen Aussage. Aber befriedigend ist die Situation nicht – wie auch in anderen Disziplinen, etwa in der Medizin.
Der Psychologe Brian Nosek von der University of Virginia hat ein Projekt ins Leben gerufen, die Open Science Collaboration, in der Studien seines Fachs überprüft werden. Im Wissenschaftsmagazin „Science“ fasst er nun die ersten 100 Versuche zusammen: Im Durchschnitt seien die Effekte bei den Wiederholungen weniger deutlich ausgefallen als in den Originalstudien, und in weniger als der Hälfte der Fälle habe man das ursprüngliche Ergebnis bestätigt. Daraus lasse sich nichts über die Wahrheit der Studien ableiten, schreiben die 270 beteiligten Autoren. Aber bei der Wiederholbarkeit der Studien gebe es Luft nach oben. So selbstkritisch sollte die Forschung auch sein, heißt es: „Die Wissenschaft konfrontiert uns mit dem, was ist.“
Der Journalist John Bohannon hat für das Magazin „Science“ eine Reihe von Forschern gefragt, was sie davon halten, dass ihre Studie nun nicht bestätigt worden ist. Die meisten halten das Projekt für sinnvoll. Aber im Einzelfall gibt es durchaus Kritik. Etwa von Steven Spencer, der an der University of Waterloo in Kanada forscht: Die Wiederholung seiner Studie sei schlecht gemacht, sagt er auf StZ-Anfrage. „Dass sie nicht funktionierte, sagt also wenig aus.“
Ein Einblick in die Gefühlswelt der Männer
In der Originalstudie ging es darum, wie Männer reagieren, wenn ihre politischen Überzeugungen in Frage gestellt werden. Greifen sie dann zu psychischen Gegenmaßnahmen, um in ihrem Kopf wieder einen Ausgleich zu schaffen? Die Probanden lasen den angeblichen Artikel eines britischen Journalisten, der den Zustand der kanadischen Wirtschaft im internationalen Vergleich als „enttäuschend“ bezeichnete. Die Psychologen wollten prüfen, ob Männer, die dadurch befürchten, ein wenig Kontrolle zu verlieren, eher an Frauen interessiert sind, die sich selbst als schutzbedürftig präsentieren. Die Probanden schätzten die Dating-Profile solcher Frauen tatsächlich als attraktiver ein – zumindest ein bisschen, aber im Labor sind keine starken Reaktionen zu erwarten.
Als Stefan Stieger und Tim Kuhlmann von der Universität Konstanz den Versuch wiederholten, fanden sie jedoch keinen nennenswerten Effekt. Steven Spencer kritisiert daran vor allem eins: Als seine Doktorandin Grace Lau ihre Probanden 2007 befragte, kündigte sich die Finanzkrise schon an. Es könne sein, dass die Konstanzer Probanden sich 2014 von dem britischen Artikel, der die deutsche Wirtschaft kritisierte, gar nicht beeindrucken ließen. Stefan Stieger hält das für möglich, aber für unwahrscheinlich. Eine Erklärung wäre doch auch, dass sich Männer eben nicht verstärkt für schutzbedürftige Frauen interessieren, wenn ihr Land kritisiert wird.
Kommentar zu den gescheiterten Wiederholungen
Stuttgart - Psychologen haben 100 Experimente ihrer Kollegen wiederholt und kamen in mehr als der Hälfte der Fälle zu einem anderen Ergebnis. Das heißt, dass irgendetwas nicht stimmen kann: Entweder die Originalstudien oder die Wiederholungen haben ein Problem. Ähnliche Hinweise gibt es auch in anderen Disziplinen, und sie werden dort ebenfalls kritisch diskutiert. In der Summe lassen diese Probleme den Laien aufhorchen: Ist mit der Psychologie oder gar mit der Wissenschaft etwas nicht in Ordnung? Stehen ihre Erkenntnisse auf wackeligem Fundament?
Wer so fragt, setzt voraus, dass Experimente unanfechtbar sind, sofern sie sauber durchgeführt werden. Aber es sind immer nur einzelne Beobachtungen, die sich erst nach und nach zu einer belastbaren Erkenntnis verdichten. Eine Studie kann interessant sein, aber sie allein beweist noch nichts. Die Wissenschaft produziert zuverlässiges Wissen nur langsam – für manche auch zu langsam. Nicht nur in der Öffentlichkeit, auch in der Wissenschaft selbst werden die Ansprüche hochgeschraubt: Gefordert werden schnelle Erfolge.
Die gescheiterten Wiederholungen zeigen daher nicht, dass die Forschung in einem schlechten Zustand wäre. Im Gegenteil: die Forscher machen ihre Arbeit und überprüfen auch, was gesichert erscheint. Man sollte sie lassen.