Krebsstudien: Seltene Unikate

27. Januar 2017

Wissenschaftler versuchen derzeit, 50 onkologische Paper zu reproduzieren. Ihr Projekt entpuppt sich als mühsames Unterfangen – viele Resultate lassen sich empirisch nicht nachvollziehen. In den USA fordern Organisationen nun, dass Methoden besser dokumentiert werden.

Wie zuverlässig sind die Aussagen onkologischer Veröffentlichungen in Fachzeitschriften? Mit dieser Frage sehen sich Forscher weltweit konfrontiert. Das Wissenschaftsmagazin Nature hat 1.576 Forscher aus unterschiedlichen Fachrichtungen befragt. Rund 52 Prozent sprechen von einer deutlich sichtbaren Krise der Reproduzierbarkeit, weitere 38 Prozent sehen zumindest vereinzelt Probleme. Forscher von Bayer HealthCare gaben bereits vor Jahren zu, man könne nur 25 Prozent aller grundlegenden Untersuchungen bestätigen. Amgen kam zu ähnlichen Einschätzungen – lediglich 11 Prozent aller veröffentlichten Resultate ließen sich von anderen Wissenschaftlern nachvollziehen.

Unvollständige Angaben

Die zwei Wissenschaftler Tim Errington und Elizabeth Iorns initiierten deshalb das „Reproducibility Project: Cancer Biology“ (RP:CB). Ihr Ziel ist, wissenschaftliche Veröffentlichungen transparenter zu machen. Zusammen mit Kollegen versuchen sie, wichtige Papers aus der Onkologie zu reproduzieren.

Das Team hat alle Arbeiten vorregistriert. Das heißt, für jede Arbeit veröffentlichten die Forscher vorab ihre Pläne und kontaktierten die ursprünglichen Autoren. Gleichzeitig führte die Zeitschrift eLife ein Peer-Review-Verfahren nach üblichen Standards durch.

Der schwierigste Teil war, herauszufinden, welche Experimente die Labors tatsächlich durchgeführt hatten. Zwar gibt es in Papers immer einen Methodenteil. Die Darstellung erwies sich jedoch in vielen Fällen als unvollständig oder fehlerhaft. Manche Autoren zitierten nur andere Veröffentlichungen mit ähnlicher Technik.

Zwei aus fünf

Jetzt liegen erste Resultate des RP:CP vor. Dem Team gelang es, zwei von fünf Arbeiten weitgehend – wenn auch nicht vollständig – zu reproduzieren. Ein Projekt scheiterte, und zwei weitere erschienen aus technischen Gründen nicht schlüssig zu sein. Es gab Schwierigkeiten mit transgenen Mäusen oder mit Krebszelllinien.

Beispielsweise zeigte Levi Garraway vom Dana-Farber Cancer Institute, dass Melanome häufig die Mutation PREX2 tragen. Übertrug er Melanomzellen mit dieser Besonderheit auf Mäuse, wurde das Wachstum dieser Zellen beschleunigt. Garraways Experimente ließen sich nicht reproduzieren. Ob Zellen PREX2 trugen oder nicht, machte keinen Unterschied. Roger J. Davis, der die neuen Experimente durchgeführt hatte, vermutet Unterschiede bei der Anzucht von Ziellinien oder bei den Versuchstieren selbst. Errington führt die Abweichungen auf bislang unterschätzte Variabilitäten zurück, weniger auf das handwerkliche Geschick von Experimentatoren.

Mehr Details veröffentlichen

Welcher Weg führt aus dem Dilemma? Zumindest in den USA sind Organisationen aufgewacht. Die National Institutes of Health (NIH) haben kürzlich ein Manual für präklinische Projekte veröffentlicht. Darin empfehlen sie unter anderem, wissenschaftliche Journale sollten mehr Wert auf den Methodenteil und auf Rohdaten legen. Digitale Ressourcen, etwa ein Wiki zum jeweiligen Projekt, bieten sich an.

21 Wertungen (4.9 ø)
Forschung, Pharmazie

Die Kommentarfunktion ist nicht mehr aktiv.

2 Kommentare:

PD Dr. rer.nat. Gernot Zissel
PD Dr. rer.nat. Gernot Zissel

Bei einer ganzen Reihe von Journals gehören die Methoden gar nicht mehr zum Manuskript. Sie hängen irgendwo am Ende, sollen mit maximal 500 Worten abgehandelt werden oder ganz als Online-Anhang publiziert werden. Wen wundert es dann, wenn auf genaue Darstellung der Methoden mehr oder weniger verzichtet wird? Ein Paper nehmen und nachkochen, das war einmal! und bei Herrmann und Bach ging es nicht darum, dass die Methoden nicht richtig dargestellt waren!

#2 |
  0
Dr. rer. nat Ralf Hertle
Dr. rer. nat Ralf Hertle

Jeder Wissenschaftler der ehrlich mit sich und Anderen ist weiß, dass nicht Alles Gold ist was glänzt. Zum einen ist es die Wissenschaftsgemeinde selbst die schlampige Arbeiten fördert: “publish or perish”! Um Forschungsgelder zu bekommen müssen Publikationen her. Da ist keine Zeit saubere Reproduzierbarkeit zigmal zu prüfen. Zum Anderen der Leistungs-und Zeitdruck: viele Arbeiten werden ja von Doktoranden und nicht vom Professor durchgeführt. Da gilt die Maxime: “wiederhole niemals ein gelungenes Experiment” und da Daten produziert werden müssen, wird unbemerkt das Experiment so angelegt dass auch das Ergebnis rauskommt das man haben möchte. Mehr als die nötigen Kontrollen werden nicht gemacht (Zeit, Geld). Der nächste Experimentator baut auf den gemauschelten Ergebnissen auf und so weiter. Siehe Skandal um Drs. Herrmann und Bach.
Daher tut es gut, dass sich Forscher kritisch mit Publikationen auseinandersetzen, nicht nur in der Krebsforschung. Bitte mehr davon.

#1 |
  0


Copyright © 2018 DocCheck Medical Services GmbH
Sprache:
DocCheck folgen: