Peer-Reviewer: Die anonymen Schlammwerfer

11. April 2017
Teilen

Bevor Fachzeitschriften Berichte publizieren, müssen Gutachter in der Regel ihr Placet dazu geben. Aus Gründen der Unparteilichkeit bleiben die Reviewer, oft aber auch die Autoren, unsichtbar. Immer mehr Journals beugen sich jedoch der Forderung nach mehr Transparenz.

„Es ist sehr leicht, jedes Manuskript zu entwerten, ohne die Daten zu verbiegen.“, sagt Niko Kriegeskorte, Neurowissenschaftler am englischen Medical Research Council. „Alles, was du machen musst, ist, die Stärken und Schwächen des Papers zu zu sehen und sich dann ganz auf die Schwächen zu konzentrieren.“ Mit der Forderung nach weiteren zusätzlichen Experimenten, so der Experte weiter, könne man die Karriere jedes Doktoranden um Jahre verzögern. 

Transparenz gegen unlauteren Wettbewerb

Reicht ein Forscher die Ergebnisse seiner Arbeit in Form eines Manuskripts für die Veröffentlichung in einer Fachzeitschrift ein, so entscheidet ein anonymer Gutachter oft nicht nur über die Veröffentlichung, sondern zuweilen auch über das Schicksal eines ganzen Projekts. Denn die Konkurrenz schläft nicht und hat den Vorsprung vielleicht während einer langwierigen Begutachtung schon eingeholt. Oder der Gutachter gehört selber zur Konkurrenz.

Nicht selten finden sich bei ehrenamtlichen Gutachtern Fehler in den Beurteilungen. Fehler, die in einem offenen Prozess berichtigt werden könnten. Wäre es da nicht an der Zeit, ein transparenteres Verfahren zur Prüfung von Manuskripten einzurichten? Eines, bei dem die Namen von Autor und Gutachter nicht nur der jeweils anderen Seite, sondern auch der Öffentlichkeit bekannt sind? Am besten vielleicht noch eines, bei dem auch die Hinweise und Korrekturen des Gutachters für den Leser sichtbar werden?

„Öffentliche“ Gutachten

Schon im 17. Jahrhundert führte die Londoner Royal Society das Peer-Review-Verfahren für wissenschaftliche Arbeiten ein, um die Daten, Arbeitsweise und Berichterstattung von Forschern zu überprüfen. Im letzten Jahrhundert meinte man, die besseren Ergebnisse mit einem anonymen Verfahren zu erzielen. Erst in den neunziger Jahren gab es erste Versuche mit mehr Offenheit, auch wenn schon vorher in vielen Fällen die Namen der Autoren für die Gutachter nicht verblindet wurden. Das Medical Journal of Australia war eines der ersten, das sich für eine wirklich offene Begutachtung entschied. Von März 1996 bis Juni 1997 veröffentlichte es 56 wissenschaftliche Artikel zusammen mit dem Gutachten der Reviewer im Netz und gab sie für Kommentare frei. Erst danach wurde der oft noch einmal veränderte Artikel endgültig abgedruckt. Seit 1999 erfahren Gutachter und Autoren voneinander, bevor der Herausgeber entscheidet, ob er den Artikel annimmt und veröffentlicht.

2006 startete schließlich Nature einen vier Monate währenden Open-Peer-Review-Versuch, jeden nicht sofort abgelehnten Artikel für öffentliche Kommentare zuzulassen, vorausgesetzt, die Autoren stimmten diesem Verfahren zu. Allerdings machten nur wenige Leser von diesem Angebot Gebrauch. Knapp die Hälfte der 71 Artikel blieb ganz ohne Feedback, kein Beitrag erhielt mehr als 10 Kommentare. Schließlich wurde der Versuch wieder eingestellt. Auch die Fachzeitschrift PLOS One startete 2006 mit einer Kommentarspalte, auch dort wurde sie kaum genutzt.

Unterschiedliche Open-Peer-Review-Modelle

Mit der Zeit fingen immer mehr Fachzeitschriften an, ganz unterschiedliche Modelle des Open Peer Review auszuprobieren. Autoren und Reviewer bleiben beim EMBO-Journal oder dem European Journal of Immunology nicht länger anonym, wenn sie das wollen. Bei e-life (wie auch beim EMBO-Journal) können mehrere Reviewer auch ohne Auftrag Kommentare zum eingesandten Paper abgeben, bevor der Herausgeber eine Entscheidung über Annahme oder Ablehnung fällt. Das Fachjournal Atmospheric Chemistry and Physics sammelt zwei Monate lang Kommentare auf einem Diskussionsforum vor dem Entscheidungs- oder Überarbeitungsprozess des Manuskripts. Die Fachzeitschriften des Elsevier-Verlags Annals of Medicine and Surgery und das International Journal of Surgery sind Teil eines Pilotprojekts, das bis Ende dieses Jahres dazu führen soll, dass sämtliche Kommentare des Gutachters bei allen Elsevier-Zeitschriften veröffentlicht werden können.

Auch das European Journal of Neuroscience hat sich seit Ende letzten Jahres zu einem freiwilligen Verzicht auf die Anonymität entschlossen. Niko Kriegeskorte praktiziert als regelmäßiger Gutachter für diese Fachzeitschrift schon seit längerem viel mehr: Manuskripte, die er begutachtet, müssen zuvor auf einem öffentlichen „Preprint-Server“ abgelegt sein. Seine Anmerkungen veröffentlicht er gleich nach getaner Arbeit auf seinem Blog, sodass der Autor und alle Interessierten die Möglichkeit haben, diese nicht nur zu lesen, sondern auch zu kommentieren.

Mehr Ehrerbietung für „alte Hasen“?

Noch gehört Kriegeskorte zu einer Minderheit der Gutachter, die mit ihrem Namen auch öffentlich zu ihren Kommentaren stehen. In einer Umfrage erfuhr Elsevier von den Gutachtern mit optionalem Open-Peer-Review, dass Zeitmangel wohl der häufigste Grund für die Scheu vor der Öffentlichkeit sei. Immerhin dauert es im Durchschnitt vier bis fünf Stunden, sich durch einen Forschungsbericht zu arbeiten und dazu eine konstruktive Kritik niederzuschreiben. 91 Prozent der „anonymen“ Gutachter gaben an, dass jedoch die Öffentlichkeit nicht der Grund für ihre Entscheidung zur Verblindung sei. Immerhin 36 Prozent wären bereit, sich beim nächsten Auftrag auf ein Open-Peer-Review einzulassen.

Die Erfahrungen der Zeitschriften mit mehr Transparenz sind überwiegend positiv. Oft werden Fehler von Reviewern in einer offenen Diskussion berichtigt. Besonders unter jungen Autoren ist die offene Auseinandersetzung mit ihren Ergebnissen beliebt – nicht zuletzt aufgrund der dadurch entschärften Hierarchie. Denn noch immer kommt es vor, dass die Beurteilung  der Werke von „alten Hasen“ allein aufgrund ihres Namens wohlwollender ist als die von „jungen Hüpfern“. Andererseits können sich auch Gutachter, die noch nicht so lange im Geschäft sind, mit guten Kommentaren ihre Meriten verdienen.

Positive Gutachten durch die Hintertür

Ein offenes Gutachterverfahren könnte möglicherweise auch Betrügereien mit dem Peer-Review verhindern, wie sie beispielsweise vor etwa zwei Jahren ans Licht kamen. Dabei erhielten die Herausgeber von Fachzeitschriften Manuskripte, in denen auch gleich kompetente Reviewer vorgeschlagen wurden. Die angegebenen Mail-Adressen führten über verschlüsselte Umwege jedoch nicht zu den zugehörigen Namen kompetenter Gutachter, sondern zurück zum Absender, der dann die vorteilhaften Reviews für den Autor des Manuskripts schrieb. Nachdem der Schwindel aufgeflogen war, wurden im August 2015 rund vierundsechzig Artikel in knapp einem Dutzend verschiedenen Zeitschriften zurückgezogen. Allem Anschein nach machten dabei unter anderem auch dubiose Firmen Geschäfte, die ihren Forscher-Kunden gegen Gebühr „Hilfe“ beim Einreichen einer Veröffentlichung und ein wohlmeinendes Gutachten garantierten.

Unausgewogene Arbeitsverteilung

Wenn Zeitmangel das größte Hindernis für ein offenes Review-Verfahren ist, könnte man meinen, dass die Herausgeber große Mühe haben, überhaupt Experten für diese Tätigkeit zu finden. Eine französische Studie zeigt jedoch, dass es genug Experten gäbe, auch bei der ständig zunehmenden Zahl an Veröffentlichungen jedes Manuskript gründlich zu prüfen. Bei 70 Prozent der Reviewer macht die Gutachtertätigkeit nur ein Prozent ihrer Arbeitszeit aus. Nur bei jedem 10. überschreitet sie eine 13-Prozent-Marke. Nur die Zahl der „pflichtbewussten“ ehrenamtlichen Gutachter scheint sich stark in Grenzen zu halten: Nur ein Fünftel aller möglichen Wissenschaftler mit ausreichend Expertise begutachtete 69 bis 94 Prozent aller eingereichten Arbeiten. Auch bei der Gleichstellung der Geschlechter scheint es noch zu hapern. Eine Untersuchung unter 142 Fachzeitschriften zeigte, dass weibliche Herausgeber sehr viel öfter weibliche Gutachter auswählen und männliche vor allem Männer.

Gerade bei so renommierten Wissenschaftszeitschriften wie Nature oder JAMA liegt die Quote der abgelehnten Manuskripte bei über 90 Prozent. Für Gutachter ist somit eine gute Begründung der ausgeübten Kritik eine große Herausforderung. Im Sinne der Fairness sollten jedoch auch bei diesen Zeitschriften die Experten vor der Öffentlichkeit nicht zurückschrecken.

Wie Niko Kriegeskorte erkennen immer mehr Gutachter die Vorteile eine Open-Peer-Reviews. Das zeigt auch ein Beispiel aus der Zeitschrift Social Studies of Science: Entgegen des üblichen doppelblinden Review-Verfahrens entschied sich eine Gutachterin, ihre Identität aufzudecken, wie die Danksagung von Claudia Castañeda und Lucy Suchman in ihrem Artikel zeigt: „Wir danken den drei anonymen Reviewern für ihre wohl durchdachten Kommentare und Verbesserungsvorschläge und besonders Donna Haraway, die, ohne uns zu kennen, ihre Identität als vierter außerordentlich hilfreicher Gutachter preisgab.“

74 Wertungen (4.95 ø)
Forschung, Forschung, Studium

Die Kommentarfunktion ist nicht mehr aktiv.

6 Kommentare:

Medizinjournalist

#4: Sie haben ganz recht: “Open Access” hat inzwischen zu einer Reihe betrügerischer Geschäftsmodelle geführt.
Beispiele Dafür listet ein Artikel der Südd. Zeitung auf:
http://www.sueddeutsche.de/wissen/publikationen-offen-aber-mangelhaft-1.3450234
Fake-Journals mit ähnlichem Namen wie renommierte Fachzeitschriften nehmen gegen Geld jeden Artikel an – und sei er noch so unsinnig (natürlich ohne Review)
Wie Nature berichtet ( http://www.nature.com/news/predatory-journals-recruit-fake-editor-1.21662 )konnte sich eine frei erfundene “Wissenschaftlerin” bei fast 50 Journals erfolgreich als Editorin bewerben – zum Teil mit “Gewinnbeteiligungen” ….
Wie einträglich dieses Geschäft ist zeigen die Auszüge aus dem ‘Nature” Artikel: “Thousands of academic journals do not aspire to quality. They exist primarily to extract fees from authors. These ‘predatory’ journals exhibit questionable marketing schemes, follow lax or non-existent peer-review procedures and fail to provide scientific rigour or transparency” … ” By 2015, more than half a million papers had been published in predatory journals, and at the end of 2016, the number of predatory journals on Beall’s list (about 10,000) approached the number indexed by the DOAJ and JCR5. Most are hosted by publishers (including some industry giants). Predatory publishing is becoming an organized industry.
( JCR (journals with an official impact factor as indexed on Journal Citation Reports), the DOAJ (journals included on the Directory of Open Access Journals) and ‘Beall’s list’ (potential, possible or probable predatory open-access publishers and journals, compiled by University of Colorado librarian Jeffrey Beall)

#6 |
  0

Ich möchte behaupten, dass es bei einem guten Editor (und damit einer ausgewogenen Wahl an motivierten Reviewern) egal ist, wie viel Transparenz im Vorgang steckt. Ansonsten ist den Ausführungen von Herrn Gaul nichts hinzuzufügen!

#5 |
  1
Michael Riediger
Michael Riediger

Wenn die gutachterlich tätigen Kollegen so wenig Geld für ihren Aufwand erhalten frage ich mich, warum viele Fachzeitschriften so teuer sind. An einem guten Lektorat kann es bei der Menge an Rechtschreib- und Interpunktionsfehlern wohl kaum liegen …

Michael Riediger
Arzt

#4 |
  2
Prof. Dr. Ernst-Günther Grünbaum
Prof. Dr. Ernst-Günther Grünbaum

Schon 1987 habe ich Zeitschriften auf die Bitte zur Begutachtung eingereichter Artikel geantwortet, dass ich als Gutachter nur infrage komme, wenn das Verfahren für beide Seiten transparent ist, d.h. wenn die Autoren der eingereichten Arbeiten dem Gutachter bekannt gegeben werden, und umgekehrt der Name des Gutachters den Autoren mitgeteilt wird. Ich begründete dies mit dem Unheil, das “Macht im Verborgenen” angerichtet hat und das man keine anonyme Macht gutheißen darf. Ich stieß auf großes Unverständnis und wurde von diesen Zeitschriften nicht mehr angefragt. Aber auch damals schon gab es Zeitschriften, die einen wissenschaftlichen Dialog fördern und Gutachter mit Autoren diskutieren lassen wollten. Sie haben es nicht bereut. Saubere wisschenschaftliche Arbeit muss unbedingt transparent und voll umfänglich nachvollziehbar sein, auch in den Veröffentlichungen, bei denen es ohne Gutachterverfahren nicht geht, aber bitte mit offenem Visier.

#3 |
  2

Charly Gaul hat zwar recht; wenn man sich aber vor Augen hält, welche unbeschreiblichen Massen an Manuskripten täglich bei den immer mehr werdenden “Fachzeitschriften” eingereicht werden, dann muss man feststellen dass 1. die Zahl absolut überflüssiger Manuskripte ohne jeglichen Mehrwert für die Gesellschaft oder gar das Fach inflationäre Ausmaße angenommen haben und 2. es kaum noch eine ausreichende Zahl von potentiell geeigneten Reviewern für diese Menge an eingereichten Arbeiten gibt. Dass Gutachter unter diesen Bedingungen eher lustlos agieren ist nicht überraschend.

Vielleicht sollte man generell die Kosten für den Einreicher erhöhen (würde möglicherweise auch viele unnütze Manuskripte verhindern) und gleichzeitig den Reviewern mit finanziellen Anreizen etwas Motivation geben.
Dann müsste allerdings auch eine wesentliche Grundlage der Bewertung einer wissenschaftlichen Karriere modifiziert werden und das ist ein ganz dickes Brett…

#2 |
  0

Es wundert mich nicht, das auf offenen Plattformen wenig Kommentare eingehen, einen wissenschaftlichen Artikel gut zu reviewen kostet sicher einen halben Tag Zeit, im Gegensatz zu den hohen Gebühren beim Open Access erhält der Reviewer kein Entgeld und muss wirklich motiviert sein. Gerade wenn ich Artikel ablehne, gebe ich mir beim Reviewen viel Mühe transparent darzulegen, warum die Schwächen so bedeutend sind, das ich denke, auch eine Revision rettet die Arbeit nicht. Als Autor ist es sehr frustrierend 5 Zeilige Reviews zu bekommen, die lustlos erstellt wurden, zur Ablehnung führen und erkennen lassen, das sich der Gutachter nicht wirklich mit dem Artikel beschäftigt hat. Das Verfahren wäre deutlich weniger anstrengend, wenn die Editoren die Arbeiten wirklich lesen würden bevor sie Reviewer beauftragen und allen offensichtlichen Unsinn vorab aussortieren. Man kann nicht guten Gewissens nebenher drei Arbeiten pro Woche reviewen wenn man voll in Klinik und Forschung tätig ist. Die Anzahl der guten Reviewer für eine wissenschaftliche Spezialisierung ist häufig sehr überschaubar, man sollte auch mit den Reviewern pfelglich umgehen.

#1 |
  0


Copyright © 2017 DocCheck Medical Services GmbH
Sprache:
DocCheck folgen: