Open Science gegen das System

„Nach 25 Jahren bin ich zwölf Mal umgezogen und habe Geld für drei Labore eingeworben.“ So beschreibt ein Jean F. in einem Blogkommentar seine Karriere als Wissenschaftler und fasst anschließend das Ergebnis zusammen: „Erspartes: zirka 3.000 US-Dollar. Private Besitztümer: zwei PCs, ein Schreibtisch, ein Bett (für eine Person)“. Die Wahrscheinlichkeit, in den nächsten zehn Jahren sein Karriereziel als Wissenschaftler zu erreichen - eine Professur zu erhalten - beziffert er mit „nahezu Null“. Stattdessen sieht er sich mit verlorenen Netzwerken in seinem Heimatland und einem ständigen Kampf um den Erhalt seiner prekären Situation konfrontiert: „Meine nahe Zukunft: Ich muss eine Prüfung für eine Verlängerung meiner Stelle um ein Jahr vorbereiten.“1

Wie Jean F. geht es vielen Wissenschaftler_innen in der sogenannten Postdoc-Phase. Wurde diese Zeit nach der Promotion früher als kurze Trainingsphase auf dem Weg zur Festanstellung verstanden, ist es heute üblich, jahrzehntelang in dieser prekären Situation zu verweilen - oft ohne jemals mit einer Festanstellung belohnt zu werden. Und im Bereich der biomedizinischen Wissenschaft und Forschung wird die schlechte Arbeitsmarktsituation zusätzlich von einem aktuellen Schrumpfkurs der Forschungs- und Entwicklungsabteilungen in großen Pharma- und Biotechkonzernen verstärkt.

Vielleicht sind es diese immer schlechter werdenden Perspektiven, die inzwischen auch die idealistischsten Forscher_innen am Wissenschaftssystem zweifeln lassen. Spätestens seit Mitte der 2000er Jahre jedenfalls bröckelt die Fassade der objektiven und selbstkorrigierenden Wissenschaft, und in den Lebenswissenschaften werden vermehrt inhaltliche Probleme thematisiert. Und das auch, weil ein Teil von Forscher_innen selbst den Hammer in die Hand nimmt. So erscheinen zunehmend mehr biomedizinische Publikationen, die sich mit Kritik am Wissenschaftssystem befassen (siehe Abbildung am Ende des Artikels). Außerdem sind eine ganze Reihe von Initiativen entstanden, in denen Forscher_innen Ansätze und Verfahren entwickeln, um - einer glaubwürdigen Forschung und Wissenschaft abträgliche - Abläufe zu stören, zu verbessern oder zu ersetzen. Aber was sind neben schlechten Berufsperspektiven die gegenwärtigen Probleme biomedizinischer Forschung?

Fehlende Reproduzierbarkeit und unstimmige Veröffentlichungen

Im Jahr 2005 veröffentlichte der Epidemiologe John P. A. Ioannidis von der Universität Stanford den Essay „Warum die meisten publizierten Forschungsergebnisse falsch sind“.2 Er hatte sich viel zitierte klinische Studien vorgenommen und festgestellt, dass von nachfolgenden Replikationsstudien nur 41 Prozent zu den gleichen Ergebnissen kamen. Dass ein so großer Teil publizierter Studien einem Kernkriterium für Wissenschaftlichkeit - der Wiederholbarkeit eines Ergebnisses bei gleichem Studiendesign - nicht entspricht, hat System: Die in den Lebenswissenschaften angestrebte Suche nach außergewöhnlichen Ergebnissen, so Ioannidis, muss zwangsläufig dazu führen, dass viele publizierte Studien falsch sind. Faktoren wie die Art des Designs der meisten Studien, die Voreingenommenheit der Autor_innen oder ihre finanziellen Abhängigkeiten sorgen dafür, dass falsche Ergebnisse ihren Weg in Fachzeitschriften finden.

Von diesem Besorgnis erregenden Phänomen sind nicht nur klinische Studien, sondern auch die Grundlagenforschung betroffen: In einer Studie von 2012 kam die Forschungsabteilung des Biotechunternehmens Amgen nur bei elf Prozent der überprüften präklinischen Krebsstudien zu vergleichbaren Ergebnissen. Auch Bayer Healthcare konnte in einer ähnlichen Untersuchung nur knapp ein Viertel der überprüften Studienergebnisse reproduzieren.

Gleichzeitig wächst die jährliche Anzahl an Publikationen, die zurückgezogen werden, weil nach ihrer Veröffentlichung Unstimmigkeiten entdeckt wurden, konstant an - allein von 2014 bis 2015 um 37 Prozent. Diese „Unstimmigkeiten“ betreffen vor allem Studien, bei denen (vermeintlich) Rohdaten abgebildet werden: Bilder von Gelen, die zur Auswertung von DNA- und Proteinanalysen genutzt werden oder Aufnahmen durch Mikroskopkameras. Laut einer kürzlich erschienenen Studie enthielten gut 3,8 Prozent der über 20.000 ausgewerteten Publikationen problematische Abbildungen.3 In vielen Fällen wurden Duplikationen ganzer Bilder oder auch copy&paste-Bearbeitungen von Bildanteilen festgestellt.

Es lässt sich berechtigterweise darüber spekulieren, ob es sich bei den manipulierten Bilddaten nur um die Spitze des Eisbergs handelt. Denn die Ergebnisse anderer Analysemethoden werden in den meisten Publikationen nicht als originale Daten veröffentlicht, sondern treten in bearbeiteter Form - als Kurven, Balken oder Tortendiagramme - in Erscheinung. Mechanismen, mit denen die Originaldaten kontrolliert werden könnten, gibt es nicht.

Forschungsfälschung ist keine Rarität

Wissenschaftsbetrug ist kein neues Phänomen, wie das kuriose Beispiel von William Summerlin aus den 1970er Jahren zeigt. Auf den Fall des Dermatologen geht der englische Ausdruck für Forschungsfälschung - painting the mice: die Mäuse anmalen - zurück. Er entwickelte eine vermeintlich neue Methode der Hauttransplantation. Doch ein Laborassistent entdeckte, dass die Flecken der weißen Versuchmäuse keine transplantierten Fellstücke schwarzer Artgenossen waren, sondern sich mit Alkohol entfernen ließen. Summerlin hatte sie mit schwarzem Marker aufgemalt.

Forschungsfälschung ist auch nicht auf die Lebenswissenschaften beschränkt. Die Statistik zeigt, wie weit verbreitet das Problem insgesamt ist. Während das Office of Research Integrity in den USA den Anteil an betrügerischen Veröffentlichungen mit gerade einmal 0,01 Prozent aller wissenschaftlichen Publikationen beziffert, zeigen Umfragen ein anderes Bild, so etwa in einer Meta-Analyse von Umfragen unter Wissenschaftler_innen zum Thema Wissenschaftsbetrug: Zwei Prozent der Befragten gaben zu, selber gefälscht zu haben und 14 Prozent wussten von nicht dokumentiertem Betrug durch Kolleg_innen.4

Fragwürdige Forschungsabläufe

Allerdings kann die Art, wie in den Lebenswissenschaften geforscht wird, ein dem Betrug besonders förderliches Klima schaffen. Ein großer Teil der Laborarbeit wird von unerfahrenen und überarbeiteten Studierenden, Doktorand_innen und Postdocs durchgeführt, deren Benotung und/oder nächste Vertragsverlängerung oft damit verknüpft ist, ob es ihnen gelingt, in einem begrenzten Zeitraum die zur Arbeitshypothese passenden Ergebnisse zu erzielen. Zusätzlich droht gerade in sehr umkämpften und prestigereichen Forschungsfeldern die ständige Gefahr, kurz vor der Veröffentlichung von einer anderen Forscher_innengruppe überholt zu werden. William Summerlin nannte als Grund für seinen Betrug extreme physische und mentale Erschöpfung und den Druck, positive Ergebnisse zu erzielen. Ähnliches berichten die Urheber_innen aufgedeckter Forschungsskandale immer wieder in ihren Erklärungsversuchen.

Aber nicht nur mutwillige Fälschung ist ein Problem. Auch bewusst oder unbewusst fahrlässige Arbeitweisen sorgen für die Veröffentlichung von falschen Forschungsergebnissen. So verifiziert mehr als die Hälfte der Forscher_innen die Identität der Zelllinien nicht, mit denen sie arbeiten. Und auch die Kontamination von Zellkulturen mit Mykoplasmen, also Bakterieninfektionen, ist weit verbreitet. Eine regelmäßige Überprüfung der Zellkulturen ist im Forschungsalltag eine lästige Zusatzbelastung, die gerade dann, wenn Ergebnisse die eigene Hypothese bestätigen, gerne vernachlässigt wird.

Diese Praxis ist nicht nur für die jeweilige Studie problematisch, sie bedroht auch den Forschungsprozess insgesamt. Denn naturwissenschaftlicher Wissensgewinn erfolgt nach dem Prinzip Standing on the shoulders of giants, auf den Schultern von Riesen stehend: Einmal publizierte Erkenntnisse sind die Basis aller weitergehenden Forschungsarbeiten zu einem Thema.

Veröffentlichungspraxis als Systemfehler

Ursachen für die mangelnde Reproduzierbarkeit liegen aber nicht nur in mutwilligen Fälschungen und Fahrlässigkeit, sondern auch im Veröffentlichungssystem. Publish or perish, publiziere oder gehe unter - Veröffentlichungen sind die Währung des Wissenschaftssystems, das heißt, wer keine lange Publikationsliste hat, schneidet schlecht ab, wenn es um die Begutachtung von Forschungsförderungsanträgen oder Bewerbungen geht. Dabei kommt es besonders auf Veröffentlichungen in Zeitschriften mit hohem Impact Factor (IF) wie Nature oder Science an. Obwohl der IF kein Qualitätsmaß darstellt, wird er von Wissenschaftler_innen und Institutionen als Bewertungsindex von Forschungsleistung gelesen.5

Auf diesen Druck reagieren Forscher_innen mit zwei Strategien: Einerseits verteilen sie die Ergebnisse größerer Projekte auf so viele Publikationen wie möglich. Durch die insgesamt wachsende Menge an jährlichen Publikationen steigt aber der Bedarf an Wissenschaftler_innen, die als Peer Reviewer die Qualität der Manuskripte bewerten. Dies erschwert es, unter den in der Regel vom eigenen Forschungsauftrag überlasteten Wissenschaftler_innen Freiwillige für diese unbezahlte Arbeit zu finden. Deshalb erlauben viele Fachzeitschriften Wissenschaftler_innen, die ein Paper einreichen, Kontaktdaten möglicher Gutachter_innen anzugeben, bei einigen ist das sogar Voraussetzung.

Seit kurzem haben mehrere Verlagshäuser diese Praxis eingestellt, nachdem Anfang 2015 ein Betrugsskandal bei BioMedCentral (BMC) bekannt wurde: 43 Papers auf einmal mussten zurückgezogen werden, weil die betreffenden Autor_innen gefälschte eMail-Adressen angegeben und sich ihre Begutachtungen selber geschrieben hatten. Aufgefallen war dies, weil die Reviews auffällig schnell bearbeitet wurden - ihre Fertigstellung braucht sonst oft Monate und mehrmaliges Nachhaken seitens der Verlage.

Kein Raum für negative Ergebnisse

Neben dem Versuch, mit einem Forschungsprojekt möglichst viele Publikationen zu verbinden, ist noch eine zweite Strategie zu beobachten, mit der Wissenschaftler_innen auf den Druck reagieren, zu veröffentlichen: Sie fischen nach möglichst spektakulären Ergebnissen, die die erwünschte karrierefördernde Publikation in Nature oder Science bringen sollen. Negative Daten, also Daten, die keine Unterschiede, keine Effekte, keine statistische Signifikanz belegen können, fallen dabei unter den Tisch. Dieser so genannte „Publikations-Bias“ hebt, wie von Ioannidis beschrieben, den Anteil von Publikationen mit falsch-positiven Ergebnissen erheblich an.

Es gibt zwar Zeitschriften wie das Journal of Negative Results in BioMedicine, in denen auch Studienergebnisse veröffentlicht werden, die die Untersuchungshypothese nicht bestätigen. Aber wer bezahlt schon 1.745 Euro - das kostet eine Veröffentlichung dort - um in einer Zeitschrift mit sehr niedrigem IF das eigene Versagen zu dokumentieren? Dabei wäre gerade die Veröffentlichung dieser Daten wertvoll, um Zeit und Geldressourcen nicht zu verschwenden: Ohne die Kommunikation solcher Ergebnisse besteht eine große Chance, dass andere Arbeitsgruppen die gleichen Versuche vergeblich wiederholen.

Von Open Access …

Seit ein paar Jahren nun gerät Bewegung in diese Gegebenheiten. Im Zuge der Digitalisierung wächst einerseits die Möglichkeit, kostengünstig große Mengen von Daten öffentlich zugänglich zu machen. Andererseits ist es online auch Wissenschaftler_innen, die am Anfang ihrer Karriere stehen, möglich, Meinungen auszutauschen. Das Internet ermöglicht Kooperationen im eigenen Forschungsfeld abseits der dominierenden Akteure.

Open Science, öffentliche Wissenschaft, nennt sich eine Bewegung, die - analog zum Open Source-Ansatz im IT-Bereich - die Veröffentlichung aller Daten und Hintergrundinformationen einfordert.

Die erste Welle dieser Bewegung formierte sich in den 1990er Jahren und forderte open access, also den freien Zugang zu wissenschaftlicher Literatur im Internet. Vor rund 15 Jahren gründeten sich daraufhin die Verlage BMC und Public Library of Science (PLoS) mit dem Anspruch, im Gegensatz zum traditionellen Publikationsmodell alle Literatur kostenfrei zugänglich zu machen. Inzwischen hat diese Forderung den Forschungs-Mainstream erreicht: Viele der großen Forschungsförderungsinstitutionen verlangen heute die Publikation der von ihnen finanzierten Projekte in offen zugänglichen Zeitschriften.

Noch einen Schritt weiter in Richtung Transparenz gehen öffentliche Server, auf denen wissenschaftliche Manuskripte schon vor dem langwierigen Weg bis zur offiziellen Veröffentlichung für Interessierte lesbar und zitierbar sind. Dieses Konzept der public preprint server wurde mit arXiv.org für Publikationen im Bereich Physik und Mathematik schon vor 20 Jahren eingeführt. Der traditionelle Begutachtungsprozess einer Veröffentlichung, inklusive der mehrschrittigen Verbesserung durch die Autor_innen, kann sich viele Monate oder sogar Jahre hinziehen. Durch Preprint-Server soll die Wissenschaftscommunity schneller an die für die eigene Arbeit essentiellen Informationen kommen, die Arbeit wird weiter gestreut und kann online durch das Feedback anderer Wissenschaftler_innen eventuell verbessert werden.

Auch für den biomedizinischen Bereich gibt es jetzt verschiedene Projekte dieser Art.6 Einige wie zum Beispiel F1000Research.com ähneln eher Fachzeitschriften: Manuskripte werden vor der Publikation qualitativ geprüft und Publikationsgebühren erhoben. Nach einem offenen Peer Review können die Autor_innen ihre Publikation überarbeiten. Andere Preprint-Server wie figshare.com sind kostenlos, wissenschaftliche Ergebnisse können hier nicht nur als Artikelmanuskript, sondern in diversen Datenformaten unbeschränkt publiziert werden.

… bis Open Data

Noch eine Stufe früher als beim offenen Zugang zu Veröffentlichungen und Studienergebnissen setzt die öffentliche Bereitstellung von Daten im Internet an. Ein Projekt, das nach diesem Prinzip agiert, ist das Center for Open Science (COS). Die 2013 gegründete gemeinnützige Organisation hat sich zum Ziel gesetzt, „Offenheit, Integrität und Reproduzierbarkeit wissenschaftlicher Forschung“ zu fördern.7 Zwei Projekte werden vom COS derzeit verfolgt: das Open Science Framework will kostenfrei und cloudbasiert das Teilen von Daten und das kooperative Arbeiten fördern. Und innerhalb des Reproducibility Project sollen einflussreiche Studien aus den Bereichen Psychologie und Krebsforschung wiederholt werden. Ziel ist es, die Validität der betreffenden Studien zu testen, aber auch die Reproduzierbarkeitsrate von Forschung allgemein zu ermitteln. Das Projekt untersucht außerdem Zusammenhänge zwischen dem Grad der Reproduzierbarkeit und Faktoren wie Zeitschrift, IF und Transparenz der Darstellung von verwendetem Material und Methoden.

Für den Bereich Psychologie ist das Projekt inzwischen abgeschlossen. Nur in 39 von 100 Fällen konnten die veröffentlichten Ergebnisse reproduziert werden. Die Ergebnisse des Projektes im Bereich Krebsstudien sind für 2017 angekündigt; bis dahin kann der Fortschritt des Vorhabens online mitverfolgt werden.

Während viele Wissenschaftler_innen das Ziel der COS-Projekte gutheißen, sind andere weniger überzeugt von seiner Sinnhaftigkeit. So bezeichnete beispielsweise der renommierte Krebsbiologe Robert A. Weinberg, dessen Studie ursprünglich auch getestet werden sollte, das Projekt in einem Bericht bei Nature als „naiv“.8

Online-Selbstjustiz

„Wenn ich mir PubPeer angucke, frage ich mich, warum ausgerechnet Weinberg um eine Stellungnahme gebeten wurde“, kommentiert jemand anonym den Artikel über das Projekt auf der Nature-Webseite.9 Tatsächlich ist Weinberg, eine preisgekrönte Koryphäe auf dem Gebiet der Krebsforschung, ein gutes Beispiel dafür, wie online am Wissenschaftsestablishment gehämmert wird. Zehn von Weinbergs Publikationen sind bei PubPeer eingestellt, einer 2013 anonym von aktiven Wissenschaftler_innen eingerichteten Internet-Plattform, auf der veröffentlichte Studien anonym begutachtet werden können. Neutrale bis bissige Kommentare weisen auf diverse Fehler in Weinbergs Veröffentlichungen hin. Inzwischen sind fünf dieser Publikationen offiziell zurückgezogen worden. Auch wenn sich die Zeitschriften in ihren Begründungsschreiben nicht auf PubPeer beziehen, kann davon ausgegangen werden, dass die öffentliche Diskussion um die „unabsichtliche Schlamperei” - wie Weinberg selbst das Fehlverhalten nennt - zu der Entscheidung der Redaktionen beigetragen hat.

Der Wunsch der Gründer_innen von PubPeer ist es, den so genannten post-publication review, die Kommentierung von Publikationen, die bislang dezentral auf Blogs oder bei einigen Zeitschriften stattfand, zusammenzuführen. Dies soll es ermöglichen, die Fähigkeit von Wissenschaftler_innen nicht mehr ausschließlich anhand des IF, sondern auch an der Integrität des Inhaltes ihrer Veröffentlichungen zu bewerten. Obwohl sie als vigilante science kritisiert wurde - als Wissenschafts-Selbstjustiz - scheint die Website von der Wissenschaftscommunity gut angenommen zu werden: Im März 2016, nach gut drei Jahren Laufzeit, verzeichnet sie bereits mehr als 37.000 Kommentare.

Die Liste der Ansätze zur Veränderung des Forschungsbetriebes ist noch lang. Die Arbeitsmarktsituation und die schwindenden Fördertöpfe können die Initiativen kurzfristig nicht ändern. Vielleicht kann aber der aktuelle Anstieg an Rückzügen von fehlerhaften Veröffentlichungen als ein erster positiver Effekt der Gegenbewegungen im Wissenschaftssystem gewertet werden. Die Einsicht, dass Änderungsbedarf besteht, der über die eigene individuelle Situation hinausgeht, scheint den Mainstream der Lebenswissenschaften erreicht zu haben.

Es ist zu hoffen, dass die Debatte nicht bei vereinzelten Ansätzen stehen bleibt, sondern zu nachhaltigen Umstrukturierungen führt. Denn nicht-reproduzierbare Ergebnisse bedeuten nicht nur verschwendete Ressourcen, sondern entziehen naturwissenschaftlicher Forschung auch grundsätzlich ihre Legitimation. Für eine Wissenschaft, die diese Bezeichnung verdient, ist es langfristig unumgänglich, Kooperation, Transparenz und Integrität mehr zu belohnen als Prestige und kurzfristige, sensationalistische Forschungsergebnisse.

• 1https://forbetterscience.wordpress.com oder www.kurzlink.de/gid236_g, Übersetzung IB.
• 2Ioannidis 2005: Why most published research findings are false, PLoS Medicine 2(8), http://journals.plos.org/plosmedicine oder www.kurzlink.de/gid236_n.
• 3Vgl. Bik et al. 2016: The prevalence of inappropriate image duplication in biomedical research publications, www.biorxiv.org oder www.kurzlink.de/gid236_l.
• 4Fanelli 2009: How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data, PLoS One 4(5), http://journals.plos.org/plosone oder www.kurzlink.de/gid236_m.
• 5Der IF wird vom Unternehmen Thomson Reuters nach intransparenten Kriterien entlang der Häufigkeit errechnet, mit der Publikationen einer Zeitschrift zitiert werden.
• 6Weitere öffentliche Preprint-Server: bioRxiv.org, PeerJ.com.
• 7Vgl. https://cos.io/about_mission, Übersetzung IB.
• 8Vgl. www.nature.com oder www.kurzlink.de/gid236_h. Aus Kostengründen wurde das Programm mittlerweile von 50 auf 37 Studien beschränkt.
• 9Ebda., Übersetzung IB.