Peer Review: Wer wacht über die Wächter?

29. Januar 2014
Teilen

Was passiert, wenn man den Kern des Publikationsvorganges in der Medizin, das Peer Review System, selbst einmal unter Review stellt? Das fragte sich auch John Bohannon, der eine frei erfundene Studie bei über 300 Open-Access-Journalen einreichte. Mit erstaunlichem Ergebnis.

Die Studie wurde von mehr als der Hälfte der Journale angenommen, obwohl sie mit solchen gravierenden Fehlern versehen war, die „jedem Gutachter, der Chemiegrundlagen in der Schule gelernt hatte und die Fähigkeit besitzt, einfachste Abbildungen zu interpretieren, sofort auffallen würden“, schreibt der Wissenschaftsjournalist im bekannten Journal „Science“. Sein Artikel hat nun für zahlreiche Diskussionen über die Vor- und Nachteile der Open-Access-Journale gesorgt.

Der an Harvard tätige Wissenschaftler hat mit Hilfe eines Computerprogrammes hunderte Manuskripte mit der gleichen Hypothese generiert: die Behandlung einer Krebszelllinie mit einer aus der Flechte gewonnenen Substanz hemmt den Wachstum und steigert die Bestrahlungsempfindlichkeit der Zellen. Die Namen der Autoren und der Institute, (z. B. Ocorrafoo Cobange vom Wassee Institute of Medicine in Asmara, Eritrea) sowie der Name der Substanz und der Krebszelllinie wurden dabei bei jeder Einreichung verändert. Die Fehler waren alles andere als versteckt: so zeigte die Hauptabbildung etwa im Widerspruch zum Titel und Text, dass die Substanz den Zellwachstum überhaupt nicht beeinflusst. Bohannon hat sogar an die Qualität der Sprache gedacht: die Manuskripte wurden im Google Übersetzer erst ins Französische und dann wieder zurück ins Englische übersetzt. In der Diskussion teilten die Studienautoren erschreckenderweise mit, dass die Substanz demnächst direkt an Patienten getestet wird.

Keine Qualitätskontrolle

Die Bohannon-Studie entdeckt eine vollständige Abwesenheit der Qualitätskontrolle bei einer großen Zahl der stichprobenartig gewählten Open-Access-Journale. Die blühende Welt des Open-Access basiert auf der Prämisse, die wissenschaftliche Information soll allen entgeltfrei zugänglich sein. Die Open-Access-Journale publizieren nur online und bieten ein schnelles Peer Review, eine schnelle Veröffentlichung und große Sichtbarkeit an. Somit soll der Trägheit der klassischen Journale entgegengewirkt und die Wissenschaft dynamisiert werden. Das Flaggschiff der Bewegung ist die Public Library of Science (PLoS) Journalfamilie, deren Mitglieder mittlerweile hochanerkannte Journale auf dem jeweiligen Gebiet sind. PLoS One hat die Familie in der Bohannon-Studie gut vertreten: das Paper wurde von PLoS One innerhalb von zwei Wochen abgelehnt. Die PLoS Journale verlangen für die Publikation kein Entgelt von den Autoren und stellen somit eine Ausnahme zu den restlichen Open-Access-Journalen in der Studie dar: alle Zeitschriften, die das Bohannon-Paper angenommen haben, erwarteten Bezahlung vor Veröffentlichung.

Die Ermittlung der Verantwortlichen lieferte interessante Ergebnisse. Während die Journale üblicherweise Namen mit scheinbar hohem Wiedererkennungswert wählen (z. B. European Journal of Chemistry), befinden sich die zuständigen Büros in Ländern mit einer relativ geringen wissenschaftlichen Tradition, wie etwa Pakistan. Die zwecks Bezahlung angegebenen Geldinstitute liegen wiederum an einem anderen Ort: in Nigeria, Malaysia, Indien, viele aber auch in den USA. Noch spannender ist die Liste der Herausgeber dieser Journale. Hier finden sich Namen mit einem tatsächlich hohen Wiedererkennungswert: Elsevier, Wolters Kluwer und Sage. Auf der Homepage von Science kann man eine interaktive Weltkarte mit der Lage der an der Bohannon-Studie „teilnehmenden“ Herausgeber, Editoren und Geldinstitute einsehen, und eine neue Landschaft des wissenschaftlichen Wilden Westens betrachten.

Ein Symptom tiefergreifender Probleme

Das Verhalten der Journale, die die gefälschte Arbeit angenommen haben, ist ein Symptom tiefergreifender Probleme in der Wissenschaft. Die Zeitschriften mit niedrigeren Impact Factoren sind vorerst auf die Menge der publizierten Artikel für das eigene Überleben angewiesen. Die meisten der 8250 im Directory of Open Access Journals (DOAJ) aufgeführten Zeitschriften ziehen die Autoren mit einem schnellen Peer Review Vorgang und sofortiger Veröffentlichung an. Diese Politik wird dadurch begünstigt, dass der Karriereweg der Wissenschaftler, die in diesen Journalen publizieren, oft von der Anzahl der publizierten Artikel, anstatt deren Qualität, abhängt. Es entsteht somit eine Konstellation, in der es für die meisten Editoren fast unmöglich wird, die moralischen und professionellen Ansprüche bei dem ohnehin intransparenten Peer Review System anzuhalten.

Wie objektiv war Bohannon?

John Bohannon entdeckte schwere Mängel der Open-Access Bewegung, tat das allerdings als Mitarbeiter des bekanntesten Gegners des Open-Access, des Journals Science. Wie wären die Ergebnisse, wenn er die traditionellen Journale untersucht hätte, und warum hat Bohanon diese nicht in seine Studie eingeschlossen? In seinem Artikel bietet er die Antwort auf diese Frage und schreibt, die Zeit zwischen Manuskripteinreichung und Antwort sei bei den traditionellen Journalen viel länger, weshalb die Gemeinschaft sein Vorhaben schnell entdeckt hätte. Das gleiche Problem, das die Open-Access Welt belastet, ist aber auch in der traditionellen Welt des wissenschaftlichen Publizierens vorhanden: Qualität kommt oft nach Quantität. Ob das Peer Review System der traditionellen Journale durch die gleiche Methodik untersuchbar ist, sei dahingestellt. Es erscheint zumindest sinnvoll, zu warten, bis ein neues, transparentes und standardisiertes Modell der Begutachtung vorgeschlagen wird, bevor man den gesamten Peer Review Prozess, den Inbegriff wissenschaftlicher Integrität, hinterfragt.

108 Wertungen (4.71 ø)

Die Kommentarfunktion ist nicht mehr aktiv.

10 Kommentare:

Dr. Michael Weller
Dr. Michael Weller

Die sog. “Bohannon-Studie” ist reine Propaganda. Man sollte sich klar machen – es geht hier um Milliardenumsätze. Die meisten Behauptungen von Bohannon, die Herr Simunovic leider auch weitgehend ungeprüft übernommen hat, wurden entweder schon widerlegt oder sind nicht überprüfbare Behauptungen. Was die meisten Leser übersehen: Bohannons “Studie” wurde offensichtlich selbst nicht dem Peer-Review unterzogen und erschien in Science unter der Rubrik “News”.
Ich verzichte hier, auf die einzelnen Punkte einzugehen – das würde länger als der Artikel selbst. Bestenfalls kann die “Studie” als provokanter Denkanstoß dienen. Wissenschaftlichen Kriterien erfüllt sie in keinem Fall.

Wen eine Darstellung der Gegenseite interessiert, sollte mal das lesen:
http://www.heise.de/tp/artikel/40/40056/1.html
Und: Lesen Sie mal die Kommentare zu Bohannons Artikel:
http://comments.sciencemag.org/content/10.1126/science.342.6154.60

#10 |
  0
Prof. Dr. med. Arne Luz
Prof. Dr. med. Arne Luz

Sie sind ein bißchen spät dran. Über die Arbeit von Bohannon wurde bereits in der Süddeutschen Zeitung am 9. Oktober 2013 berichtet!!

#9 |
  0
Freya Matthiessen
Freya Matthiessen

@ Prof. Dr. Roland Glaser

Hier eines der harmlosen Beispiele, bei dem aber der „Mechanismus“ der Vervielfältigung von Fehlinformationen deutlich wird.

Als seriös geltende Autoren haben immer wieder behauptet, das Lambert-Eaton-Syndrom (LEMS) sei u.a. gehäuft mit der Zöliakie (Coeliac disease / CD) assoziiert. – unter Berufung auf andere Arbeiten (Sekundärquellen). Ruft man diese auf, so wird dort wieder eine frühere Quelle genannt – usw. usf. In keinem Fall war ein Verweis auf eine “Urquell” mit Studie darunter.

Ich habe ab einem gewissen Punkt bei einigen Autoren, die keine Quelle nannten (nennen) nachgefragt, wer ursprünglich die Behauptung LEMS sei gehäuft mit Zöliakie assoziiert, .aufgestellt habe. Alle Befragten nannten eine der bekanntesten Forscherinnen auf dem Gebiet neuromuskulärer Übertragungsstörungen. „Angemailt“ erhielt ich innerhalb von Minuten die Antwort:

“ am not aware of any information. I suggest Dr …who is very interested in celiac disease relationships with neurological disease”.

Dr “…” antwortete: “What I meant is that autoimmune diseases do tend to cluster together. Non-paraneoplastic LEMS and coeliac disease are both autoimmune diseases and therefore may be associated in that way.”

Es gibt mehrere sehr wichtige Gründe bei Patienten mit V. a. LEMS in der DD auch nach Lebensmittel-Unverträglichkeiten zu forschen. Ich kann mir auch gut vorstellen, dass LEMS zusammen mit CD gehäuft auftritt. Aber: s. o.

Die gefährlichsten „infektiösen“ Fehlinformationen über NM-Störungen habe ich bisher nur zum Teil veröffentlicht (wofür ich „bestraft“ werde, als ob ICH diese Fehler begangen hätte). Vielen Lesern müssten diese eigentlich die Fehler aufgefallen sein, es scheinen jedoch vielfach nur die eigenen „Buchstabenkombinationen“ zu interessieren.

Freya Matthiessen

#8 |
  0

Obgleich diese Studie von Bohannon im Kern Wasser auf meine Mühlen ist, finde ich es jedoch wichtig noch deutlicher zu betonen, dass das Phänomen des “schlechten” Reviews keineswegs ein Alleinstellungsmerkmal der Open Access Journals ist, wobei hier das Problem sicherlich aufgrund der im Artikel geschilderten Faktoren besonders exazerbiert ist. Abgesehen von deutlichen Zusammenhängen zwischen Impact Factor und der Retraktionsrate (dies betrifft in extremis die bennanten Journals Science und NJEM; s.a. http://iai.asm.org/content/79/10/3855/F1.expansion.html) gibt es zahllose Beispiele von “klassischen” Journals, die ebenfalls absoluten Mist publizieren. Ich habe solche Beispiele selbst mehrfach als Leser und auch als Reviewer erlebt, wobei ein Beispiel mir deutlich in Erinnerung bliebt, da ich in diesem Falle als einziger von 3 Reviewern die krassen methodischen Mängel einer eingerichten Studie erkannt habe… die anderen beiden Reviewer hätten das Paper durchgewunken, weil sie sich (anhand ihrer Reviews offensichtlicherweise) methodisch gar nicht adäquat auskannten. Aber auch in ganz berühmten und sehr häufig zitierten Studien findet man teilweise derart dicke Schnitzer, dass es schon einen Lehrwert für die Studierendenausbildung hat. So nutze ich beispielsweise gerne eine Veröffentlichung aus der berühmten Framingham-Studie, um den Studierenden duetlich zu machen, dass nicht alles “Wahrheit” ist und keine Fehler aufweist, wenn es publiziert wird. Kurzum, ob Open Access oder nicht, es wird immer mehr wichtig, als Leser einer Publikation kritisch zu bleiben und sich sein eigenes Bild über die Qualität des individuellen Papers zu machen. Hierbei sollte man sich keinesfalls vom Impact Factor des Journals blenden lassen und sich auch im Zweifelsfalle nicht zu schade sein, an kompetenter Stelle (z.B. bei einem Kollegen) nachzufragen. Dann reduziert sich hoffentlich auch die grauslige Situation der wissenschaftlichen Ammenmärchen, die sich durch immer wieder neue Zitierungen falscher Befunde ergibt.

#7 |
  0

Das System ist komplizierter: Oftmals baut eine ungesicherte Arbeit auf der anderen auf, unsinnige Behauptungen verbreiten sich als Literaturzitate und als Wahrheitskriterium dient letztlich die Anzahl der bereits publizierten, wenn auch unsicheren Befunde. Irgendwann bricht so ein System dann zusammen. Das kann aber Jahrzehnte dauern und inzwischen viel Forschungsmittel verschlungen haben und im Falle unsinniger Therapiemaßnahmen vielen Patienten geschadet. Ich meine nicht die unausrottbaren Scharlatanerie-Methoden sondern Arbeiten seriöser Kliniken und Institute. Das jüngste Beispiel dafür ist die Explosion der Anzahl von Publikationen über trancranielle Gleichstrom Stimulation (tDCS): 5-6 Publikationen jährlich zwischen 2004-2009, 24 im Jahre 2012, über 44 im letzten Jahr! – eine Art Elektro-Homöopathie ohne vorstellbaren Wirkungsmechanismus und ohne vorschriftsmäßige Testserien.

#6 |
  0
Gast
Gast

Herr Simunovic, Sie schreiben: “Die PLoS Journale verlangen für die Publikation kein Entgelt von den Autoren und stellen somit eine Ausnahme zu den restlichen Open-Access-Journalen in der Studie dar: …”
Woher stammt diese Information? Sie steht nämlich in krassem Widerspruch zu den 1350 USD, die PLoS selbst als Veröffentlichungsgebühr nennt (http://www.plos.org/publications/publication-fees/). PLOS Medicine verlangt mit 2900 USD sogar mehr als das Doppelte für eine angenommene Publikation.
Nur Entwicklungs- und Schwellenländer erhalten Ermäßigungen auf 0 bzw. 500 USD.
Vielleicht haben Sie sich von der (Selbst-)Darstellung des Verlags als “nonprofit publisher” verleiten lassen (http://www.plos.org/about/)? Auch ein solcher hat erhebliche Kosten für Personal, Infrastruktur etc. …

#5 |
  0
Nichtmedizinische Berufe

Das ist aber ein böser Test, zeigt aber doch gut, was ich so bei dem ein oder anderen Paper subjektiv gedacht habe. Ich finde es ohnehin schon sehr seltsam, wenn man in der Wissenschaft erst etwas statistisch und mittels Studien beweisen muss, wenn es ohnehin breites durch eine einfaches Gedankenexperiment eindeutig ist. Es macht aber wirklich viel “Spaß”, Paper auf Inhaltsfehler zu untersuchen, in jeder Wissenschaftsdisziplin.

#4 |
  0

Das Ergebnis überrascht nicht, ließen sich in der Vergangenheit Top-Journals wie z.B. das NEJM mit gefälschten Ergebnissen täuschen. Angesichts der längst unübersehbaren Zahl von Publikationsorganen, die aber bedeutend werden, wenn es nur um wissenschaftliche Quantität für die Karriere geht, ist dieses “Hallo, wach sein!” äußerst dankenswert. Die Entscheider müssen sich wieder mehr angewöhnen, dass “Trau, schau, wem?” angesagt ist.

#3 |
  0

Gute Arbeit, Herr Bohannon!

#2 |
  0
Medizinjournalistin

Mich wundert das nicht. Wenn ich nur daran denke, wie dogmatisch manche AWMF-Leitilinien-Autoren, besonders die Lyme-Borreliose betreffend, an voneinander abgeschriebenen Studien festhalten, die schon längst überholt sind, ist Bohannons Tat ein schon lange notwendiges Spektakel, das nun hoffentlich auch multimedial verbreitet wird.

#1 |
  0


Copyright © 2017 DocCheck Medical Services GmbH
Sprache:
DocCheck folgen: