text: Wissenschaft: Gleiche Daten – unterschiedliche Ergebnisse? - FOCUS Online
  Wissenschaft: Gleiche Daten – unterschiedliche Ergebnisse? 20.05.2020 | 17:16
  akesak/ iStock Wissenschaft: Gleiche Daten – unterschiedliche Ergebnisse?
  Wie gut sind die Übereinstimmungen, wenn 70 Forscherteams dieselben Hirnscan-Datensätze auswerten? Das hat jetzt ein Experiment untersucht
  Doch was passiert, wenn 70 Forscherteams unabhängig voneinander dieselben Datensätze analysieren, um dieselben Hypothesen zu testen? Das hat ein internationales Forscherteam nun ganz praktisch ausprobiert. "Der wissenschaftliche Prozess umfasst viele Schritte: Eine Theorie wird entwickelt, Hypothesen erstellt, schließlich Daten gesammelt und ausgewertet", erklärt Co-Autor Simon Eickhoff vom Forschungszentrum Jülich. "Jeder dieser Schritte kann die endgültigen Schlussfolgerungen potenziell beeinflussen, aber in welchem Umfang? Werden zum Beispiel verschiedene Forscher auf der Grundlage derselben Daten und Hypothesen zu unterschiedlichen Schlussfolgerungen kommen?" Um das zu testen, wählten die Forscher unter Leitung von Tom Schonberg von der Universität Tel Aviv Aufnahmen der Hirnaktivität von 108 Versuchspersonen aus, die an einer neuropsychologischen Studie teilgenommen hatten. Diese mit funktioneller Magnetresonanztomographie (fMRT) gemachten Aufnahmen zeigten, welche Hirnareale aktiv waren, wenn die Teilnehmer bestimmte finanzielle Entscheidungen trafen.
  Die Wissenschaftler verschickten diese 108 Datensätze an 70 Forscherteams in der ganzen Welt. Jedes Team analysierte diese Daten mit ihren jeweiligen Standard-Methoden und überprüften anhand der Ergebnisse neun allen vorgegebene Hypothesen. Als Endergebnis sollten sie die Hypothesen jeweils mit Ja oder Nein beantworten. "Bei jeder dieser Hypothesen wurde gefragt, wie sich bestimmte Aspekte der Entscheidungsfindung auf die Hirnaktivität auswirken", erläutert Eickhoff. Die Analyseteams hatten drei Monate Zeit, um die Daten auszuwerten. Danach lieferten sie Schonberg und seinem Team ihre Resultate für die verschiedenen Hypothesen, ihre Zwischenergebnisse sowie detaillierte Informationen über ihr Vorgehen bei der Analyse.
  Die Vergleiche aller Ergebnisse ergaben teils deutliche Unterschiede: Bei fünf der Hypothesen wichen die Schlussfolgerungen der Teams erheblich voneinander ab, für die restlichen vier herrschte tendenziell Übereinstimmung. "Interessanterweise zeigen die den Analysen zugrundeliegenden von den Teams aufbereiteten Datensätze noch eine relativ große Übereinstimmung zwischen allen Teams", erläutert Co-Autor Felix Holzmeister von der Universität Innsbruck. Das bestätigte auch eine Metaanalyse, die alle von den Teams durchgeführten Datenanalysen und Zwischenergebnisse verglich. Sie ergab eine hohe Konvergenz der Auswertungen und der auf den Daten beruhenden Hirnaktivierungskarten. Doch weil die Forscherteams diese komplexen Ergebnisse auf einfache Ja-Nein-Entscheidungen bezüglich der neun Hypothesen reduzieren mussten, traten die Abweichungen auf. "Dieses spezielle Problem der Analyse betrifft alle Bereiche, in denen mit hochkomplexen Daten gearbeitet wird, die am Ende auf ein nacktes Ja-Nein-Resultat reduziert werden müssen", erklärt Eickhoff.
  Damit unterstreicht diese Studie, dass die Art der Analyse und Auswertung gerade bei komplexen Daten einen Einfluss auf das Ergebnis haben kann. "Der Grund dafür ist, dass Forscher bei so komplexen Datensätzen auf dem Weg zum Ergebnis viele einzelne Entscheidungen treffen müssen, wie die vorliegenden Daten verarbeitet, geordnet, modelliert, analysiert werden", so Eickhoff. Gleichzeitig bestätigt die Untersuchung, wie wichtig es ist, dass Rohdaten geteilt und die Analysen und Schlussfolgerungen von Fachkollegen wiederholt und überprüft werden – ein in vielen Fachgebieten gängiger Prozess. "Dieser Prozess der Selbstreflexion und der kontinuierlichen Verbesserung der eigenen Methoden ist einzigartig und zeichnet die Wissenschaft aus", betonen die Co-Autoren Michael Kirchler und Jürgen Huber von der Universität Innsbruck. Die Tatsache, dass fast 200 Wissenschaftler bereit waren, zum Teil hunderte Stunden in dieses Experiment zu investieren, zeige, wie stark die Bereitschaft dazu sei. "Diese Studie unterstreicht aber auch, wie wichtig es ist, dass wir Wissenschaftler uns der möglichen Diskrepanzen bei komplexen Fragestellungen immer bewusst sind", sagt Huber.
  *Der Beitrag "Wissenschaft: Gleiche Daten – unterschiedliche Ergebnisse?" wird veröffentlicht von Wissenschaft.de. Kontakt zum Verantwortlichen hier.
  akesak/ iStock, Getty Images/iStockphoto, Lefteris Partsalis/XinHua/dpa, dpa, dpa/Patrick Pleul/dpa-Zentralbild/ZB/Symbolbild, Christin Klose/dpa-tmn, BitProjects, Screenshot, Konferenz "Girl Up"