Transparente Datenexploration als Alternative zu p-Hacking und HARKing

Von Michael Höfler

Fragwürdige Praktiken wie p-Hacking oder HARKing explorieren Daten, ohne dies transparent zu machen. Sie dienen dem bedenklichen Ziel, scheinbare Evidenz (üblicherweise p-Wert < .05, „statistisch signifikant“) zu erzeugen, was die Publikationschancen erhöht. Beim p-Hacking werden mehrere Analysen ausprobiert, um nach derjenigen zu fischen, die eine bestehende Behauptung, zum Beispiel über einen Zusammenhang zwischen fleischlastiger Diät und dem psychologischen Konstrukt „Feindseligkeit“, zu stützen scheint. HARKing („Hypothesizing after the results are known”) dagegen fischt nach der Behauptung selber, zum Beispiel, indem viele Zusammenhänge zwischen verschiedenen Ernährungsfaktoren und psychologische Konstrukten untersucht werden. Ein Zusammenhang unter den vielen, der dann p < .05 liefert, etwa zwischen Vitamin-B12-Mangel und Depressivität, wird als bestätigte Behauptung verkauft. Bei beiden Praktiken ist die Behauptung jedoch durch das versteckte Ausprobieren von Analysen (Explorieren) weniger riskant („severe“ [1]) überprüft worden, als sich einem Artikel, der nur die Analyse mit dem signifikanten Befund berichtet, entnehmen lässt. Solche Vorgehensweisen beeinträchtigen die Wahrscheinlichkeit, dass sich ein Befund replizieren lässt. Sie stören die wissenschaftliche Kommunikation darüber, ob eine Behauptung ausreichend durch Evidenz gestützt ist, um als provisorisch akzeptiert zu gelten. Dadurch wird die Leserschaft im Unklaren darüber gelassen, ob sie ihre Forschung auf der Behauptung aufbauen kann.

In zwei aufeinanderfolgen Artikeln zeigen wir auf, wie sich als Alternative dazu wertvolle, transparente Exploration betreiben lässt [2-3]. Mit Exploration meinen wir jedwede quantitative Analyse, mit der sich Neues in Daten entdecken lässt, um bestehende Behauptungen über Hypothesen, Modelle und Theorien zu verbessern oder neue aufzustellen. Transparente Exploration lädt zu konfirmativen Studien ein, um mittels neuer Daten die Richtigkeit der durch Exploration aufgestellten Behauptungen ausreichend „severe“ zu testen. In einem ganzen Prozess der „concatenated exploration“ [4] werden Behauptungen so lange durch Exploration verbessert und streng konfirmativ überprüft, bis die bestmögliche Behauptung bestätigt ist. Jede Wissenschaftlerin, die sich transparent daran beteiligt, kann mit Zitierungen und, mehr als andere, mit erfolgreichen Replikationen rechnen.

Damit mehr Forscher:innnen transparente Exploration betreiben, sind aber Kompetenzen in Konzeption und Durchführung explorativer Analysen, Mittel zu wertvoller Exploration („means to valuable exploration“), nötig. Im ersten Artikel [2] diskutieren wir die weitverbreitete Vermischung zwischen explorativer und konfirmativer Forschung. Beide Ansätze lassen sich in Artikeln kaum voneinander unterscheiden, weil fast alles sprachlich als konfirmative Wissenschaft verkauft wird. Wie andere vor uns schlagen wir vor, mittels „severe testing“ [1] und Präregistrierung von Behauptungen und Analysen eine strenge Grenze zu ziehen. Wir diskutieren Alternativen zur Grenzziehung bei einem p-Wert von .05 „Evidenznormen“), concatenuated exploration und die Möglichkeit, Daten nach einer konfirmativen Analyse weiter explorativ zu analysieren, wenn man dies transparent macht.

Der zweite Teil [3] handelt davon, wie man Exploration konkret konzipieren und durchführen sollte, und endet mit Vorschlägen an Entscheidungträger:innen, um mehr transparente explorative Forschung in Zeitschriften zu etablieren. Mehr Möglichkeiten, transparente Exploration zu publizieren, würde den Druck verringern, mittels fragwürdiger Praktiken scheinbar konfirmative Ergebnisse zu produzieren.

Ziele der Exploration

Nicht nur in der Psychologie, dem Feld, in dem wir arbeiten, gibt es kaum Anleitungen und Beispiele für transparente Exploration. Ohne methodische Konzepte und Standards fällt es schwer, selbst Daten zu explorieren und damit Akzeptanz zu finden. Wir versuchen, ein paar grundlegende Vorschläge dazu zu machen, die als Einladung zu verstehen sind, sie zu erproben und zu verbessern.

Zunächst verstehen wir unter Exploration eine Suche nach Datenmustern, beispielsweise Assoziationen, hinter denen sich neues Wissen verbergen könnte. Dabei sind grundsätzlich zwei ambivalente Ziele zu beachten: Einerseits möchte man möglichst vollständig explorieren, um alle Muster in Daten zu entdecken, die ein Forschungsfeld voran bringen könnten. Zum anderen möchte man bei der Suche nur Muster identifizieren, hinter denen sich etwas Wahres und Relevantes verbirgt. Zum Beispiel sollte ein Zusammenhang in den Daten zwischen fleischlastiger Diät und erhöhten Werten für „Feindseligkeit“ kein Zufallsbefund sein; und dieser Zusammenhang wäre relevanter, wenn er kausal wäre. Wir sprechen von Effizienz als dem Ziel, am Ende einer explorativen Suche möglichst nur wahre und relevante Behauptungen aufzustellen. Je mehr Hintergrundwissen in eine explorative Analyse einfließt, umso effizienter lässt sich suchen. Die folgende Abbildung zeigt die Gegenläufigkeit der beiden Ziele:

Nehmen wir an, eine Studie hat 20 Essgewohnheiten erhoben und 10 psychologische Konstrukte. Dies ergibt 200 mögliche oder Assoziationen, die man in den Daten untersuchen könnte. In der Abbildung wird angenommen, dass 6 der 200 wahre Assoziationen sind. Die Wahl des explorativen Suchraums legt fest, welche der 200 man untersucht. Besseres Vorwissen (blaue versus rote Ellipse) ermöglicht eine zielgerichtetere Suche. Im vollständigeren Suchraum (rot) befinden sich 5 der wahren Assoziationen, in dem weniger vollständigeren (blau) nur 4. Dafür enthält der vollständigere Suchraum viele zusätzliche Nichtassoziationen, die man fälschlicherweise (v.a. aufgrund von Zufallsfehlern) für wahre Muster halten könnte (falsch positive Ergebnisse). Der blaue Suchraum ist effizienter, weil sich in ihm ein größerer Anteil wahrer Muster befindet.

Im zweiten Schritt geht es darum, die identifizierten Muster effizient auf die wahren zu reduzieren. Dies nennt man Filtern. Zum Filtern lassen sich viele statistische Verfahren, u.a. statistische Tests, Konfidenzintervalle, bayesianische Verfahren, Kreuzvalidierung und maschinelles Lernen verwenden. Im Beispiel des blauen Suchraums werden aus 26 Mustern 3 herausgefiltert. Dabei geht 1 wahres Muster verloren, aber von den übrigen 3 sind 2 wahre Muster. Wie gut ein Filter die richtigen Muster identifiziert, lässt sich wiederum als Effizienz beschreiben.

Zuletzt mag man die 3 Muster möglicherweise noch durch Hintergrundwissen reduzieren. Beispielsweise, Muster 1: mehr chronischer Stress bei Crash-Diäten und Muster 2: mehr chronischer Stress, wenn die Einhaltung der Diätaußergewöhnlich hoch ist. Dies könnte Anlass zu der globaleren Hypothese geben: Extreme Aufmerksamkeit für gesunde Ernährung geht mit mehr chronischem Stress einher.

Anders als hier, wo lokale Datenmuster untersucht werden, interessiert man sich oft von vornherein für globale Datenmuster. Dies gilt oft dann, wenn sich Daten entlang einer Dimension anordnen lassen, zum Beispiel die Outcome-Variable Y = epigenetische Stressantwort über den Faktor X = die Position auf der DNA. Mithilfe des globalen Datenmusters möchte man hier Bereiche identifizieren, in denen die Stressantwort hoch ist. Vor allem in kleinen Datensätzen gibt es große zufällige Ausschläge, die es mithilfe statistischer Glättungsverfahren zu entfernen gilt. Ziel ist es, die latente Struktur hinter den Daten zu entdecken. Das Beispiel in der Abbildung wurde mit der Gleichung Y = sin(sqrt(X))*10 * X + ε (ε normalverteilt mit Erwartungswert 0 und Standardabweichung 500) simuliert und einer Stichprobe der Größe 50 erzeugt.

Als Glättungsverfahren wurde nichtparametrische Regression (rote Linien) verwendet. In a. wird gar nicht geglättet, in b. bis d. in unterschiedlichem Ausmaß. Die Abbildungen zeigen, dass es demgemäß unterschiedlich gut gelingt, die wahre Struktur (blaue Linie) zu identifizieren. Bei d. wird zu stark geglättet, sodass die wahre Struktur verloren geht. (Bei der hier verwendeten Methode „polynomiales Splines“ wird das Ausmaß der Glättung über den Grad eines Polynoms gesteuert: linear, quadratisch, kubisch …). Je größer das Hintergrundwissen über eine vermutete latente Struktur, umso besser lässt sich das Ausmaß der Glättung festlegen. Weitere statistische Verfahren zur Datenglättung sind Clusteranalyse, Faktorenanalyse, Regularisierungsmethoden in Regressionsmodellen u.v.a.

Wir empfehlen generell, die Ergebnisse einer explorativen Analyse auf ganz wenige, vielversprechende Behauptungen zu reduzieren, also stark zu filtern und ausreichend zu glätten. Dies dient der Übersichtlichkeit in der wissenschaftlichen Kommunikation und der Akzeptanz explorativer Analysen. Es erhöht überdies die Wahrscheinlichkeit, dass die übrigen Behauptungen einer strengen konfirmativen Überprüfung mit neuen Daten standhalten. Dabei gilt grob: Je mehr Analysen nötig waren, um ein Ergebnis zu finden, umso schwächer ist die anfängliche Evidenz („multiples Testproblem“, „α-Inflation“, falls zum Filtern statistische Tests verwendet werden) und umso weniger vielversprechend sind Bestätigungsversuche in späteren konfirmativen Studien. Wir argumentieren, dass folgende Open Science-Maßnahmen nützlich sind, um dies einzuschätzen: Prä-Registrierung der explorativen Analysen, Open Data und Open Analysis.

Um mehr transparente Exploration in Zeitschriften zu etablieren, empfehlen wir Herausgeber:innen und Geldgeber:innen:

1. Zwingende Trennung zwischen geprüften und neuen Hypothesen, bereits in der Ergebnisauflistung eines Abstracts.

2. Schaffung neuer Zeitschriftenrubriken und ganzer Zeitschriften für Explorationspapers.

3. Editorials verwenden, um Lücken in Theorien aufzuführen, die durch Exploration gefüllt werden könnten.

4. Explorative Analysen auf öffentlichen Repositorien bereitstellen, mithilfe derer sich Vorhersagen aus Theorien überprüfen lassen.

5. Nicht jedes Paper muss eine Einleitung und einen Diskussionsteil haben. Eine rein explorative Veröffentlichung, zum Beispiel über einer Reihe von plausiblen potenziellen Risikofaktoren für eine Krankheit, braucht nicht unbedingt eine Einleitung. Diese würde lediglich schwache Begründungen auflisten und wenig Platz für die Beschreibung des theoretischen Hintergrund eines Faktors lassen. Eine andere Art spezialisierter Papers kann sich dafür der Diskussion, der theoretischen Integration der Ergebnisse solcher Papers mit mehr Tiefe widmen [5].

---

[1] Mayo DG (2018). Statistical inference as severe testing: How to get beyond the statistics wars. Cambridge University Press. https: / / doi . org / 10 . 1017 /9781107286184

[2] Höfler M, Scherbaum S. Kanske P, McDonald B, Miller R. Means to valuable exploration I. The blending of confirmation and exploration and how to resolve it. Meta-Psychology 2022, 6. doi.org/10.15626/MP.2021.2837

[3] Höfler M, Kanske P, McDonald B, Miller R. Means to valuable exploration: II. How to explore data to modify existing claims and create new ones Meta-Psychology,2023, 7. doi.org/10.15626/MP.2022.3270

[4] Stebbins RA (1992). Concatenated exploration: notes on a neglected type of longitudinal research. Quality & Quantity, 26, 435-442. doi.org/10.1007/BF00170454

[5] Greenland S, Gago-Dominguez M, & Castelao, J. E. (2004). The value of risk-factor (“black-box”) epidemiology. Epidemiology, 15(5), 529–35. doi.org/10.1097/01.ede.0000134867.12896.23

Als Video (auf Englisch): https://www.youtube.com/watch?v=z1_ECwOXRZo&ab_channel=Tontrug

---

---