Aufstieg und Fall der Peer Review

05. Jan 2023

Aufstieg und Fall der Peer Review

Ein großes wissenschaftliches Experiment ist womöglich gescheitert: #peerreview

Dieser Blogbeitrag von Adam Mastroianni hat es in sich. Der Psychologe bezeichnet darin den seit Jahrzehnten üblichen Versuch, mittels Peer Review für eine bessere Qualität wissenschaftlicher Publikationen zu sorgen, als gescheitert.

Selbst erlebt

Als Peer Reviewer war ich einige Jahre lang aktiv und erhielt dafür vom Verlag aus UK sogar eine Auszeichnung. Wie üblich habe ich mir die Mühe gemacht, die jeweilige Einreichung gründlich zu prüfen; wer die Studien verfasst hatte, erfuhr ich natürlich nicht.

Auch bekam ich nichts dafür. Weder die Verfasser noch die Reviewer erhalten Honorare, während die Journals zugleich von den Abonnenten eine Menge Geld kassieren.

Die letzten beiden Male erhielt ich Manuskripte, die zwar formgerecht mit dem Zitierstil von Harvard ausgestattet waren – so etwas wird bei jeder Einreichung stets geprüft, wer sich an die Zitiervorgaben nicht hält, kommt gar nicht erst durch. Aber...: die Autoren hatten sich die Unsitte von APA zueigen gemacht, wonach man (seit 2009 bereits) bei indirekten Zitaten nicht mehr die genauen Seitenzahlen der verwendeten Quellen angeben solle. Siehe dazu auch meinen Beitrag hier im Blog.

Warum leiten die Schriftleitungen der Journals solche Manuskripte, die in keiner Weise mehr überprüfbar wären, überhaupt an die Reviewer weiter? Da hängt ein aufwändiger technischer Apparat des Verlags dran, der alles anonymisiert verteilt, später die Rückgaben und Kommentare der Reviewer auffängt und weiterverarbeitet – aber keiner schaut zu Beginn erst mal hinein, ob die grundlegenden wissenschaftlichen Qualitätskriterien wie das der Überprüfbarkeit überhaupt erfüllt sind...?

Hätte ich nun diese unüberprüfbaren Manuskripte durchgehen lassen sollen?

Das Thema ist wichtig

Die „Peer Review“-Verfahren, die in vielen wissenschaftlichen Fachzeitschriften angewendet werden, haben in letzter Zeit nicht nur von meiner Seite und nicht nur von Adam Mastroianni viel Kritik erfahren. 

Diese Verfahren sehen vor, dass wissenschaftliche Artikel von anderen Wissenschaftlern in der gleichen Fachrichtung überprüft werden, bevor sie veröffentlicht werden. Doch wie zuverlässig sind diese Verfahren wirklich?

Ein häufiger Kritikpunkt an „Peer Review“ ist, dass es nicht immer gerecht zugeht und dass Artikel aufgrund von persönlichen Vorurteilen oder Fehleinschätzungen abgelehnt werden können. 

Zudem gibt es immer wieder Fälle von Plagiaten, die trotz „Peer Review“ durch die Netze schlüpfen. Dies zeigt, dass das „Peer Review“-Verfahren auch nach so langer Zeit nicht perfekt ist.

Einige bereits bekannte alternative Vorgehensweisen zum gängigen „Peer Review“ wären beispielsweise das Open Peer Review und das Post Publication Peer Review.

  • Beim Open Peer Review werden die Identitäten der Reviewer öffentlich gemacht und die Bewertungen der Artikel sind für alle sichtbar. 
  • Beim Post-Publication Peer Review werden Artikel zunächst veröffentlicht und anschließend von anderen Wissenschaftlern überprüft.

Während diese alternative Vorgehensweisen zweifellos ihre Vorzüge haben, sind aber auch sie keine Garantie dafür, dass die wissenschaftliche Integrität gewahrt bleibt. 

Es gibt also keine perfekte Lösung für das Problem der Überprüfung wissenschaftlicher Artikel, und es bleibt abzuwarten, wie sich die Dinge in Zukunft entwickeln werden. 

Eines ist sicher: Das „Peer Review“-Verfahren an sich ist keine Garantie für die Qualität und Integrität wissenschaftlicher Arbeit. Es ist gut gemeint, wird aber leider nicht gut gemacht. Eigentlich kann das weg, wie man so sagt und wie es auch Adam Mastroianni ausgedrückt hat.

Effektiver wäre meines Erachtens das Verfahren, was es in jedem Verlag schon immer gab und gibt: Schlussredakteure prüfen die Einreichungen der Beiträge und übernehmen mit ihrer Freigabe die Mitverantwortung. In diesem Fall wären halt Fachwissenschaftler die Schlussredakteure. Schon wäre die Sorgfalt womöglich größer und die Qualitätssicherung besser... 

Tipp

Logo: wissenschaftlichesarbeiten.support

Online-Trainingskurs:

Forschen lernen – die Grundlagen zum Forschen und zum wissenschaftlichen Arbeiten

Mit diesen Grundlagen der Forschung, der Technik und der Methodik in sieben Schritten zum optimalen Erfolg eurer Thesis, Dissertation oder Doktorarbeit

Kursbild

Schon das Lehrbuch zum wissenschaftlichen Arbeiten beschränkte sich nicht auf die Techniken des wissenschaftlichen Arbeitens.

Auch der gleichnamige Onlinekurs zeigt euch den Weg zu dem, was unser Handeln leiten sollte: die forschende Haltung. Auf Basis des Grundlagenbuchs entstand dieser Kurs.

Induktion und Deduktion (Balzert et al.)

Abb.: Balzert et al. 2022, S. 269 

Ihr lernt u. a. Vorgehensweisen kennen, die zum Forschen gehören, wie beispielsweise die Induktion und die Deduktion, die nicht nur bei empirischen Untersuchungsteilen für die Bestimmung des Forschungsdesigns wichtig sind.  

Balzert, Helmut; Schröder, Marion; Schäfer, Christian (2022): Wissenschaftliches Arbeiten – Ethik, Inhalt & Form wiss. Arbeiten, Handwerkszeug, Quellen, Projektmanagement, Präsentation, 3. Aufl. 

Curriculum

  • Kick-off 1 Lektion
  • Was Wissenschaft bedeutet (Schritt 1) 10 Lektionen
  • Wissenschaftliche Qualitätskriterien berücksichtigen (Schritt 2)14 Lektionen
  • Wie Forschen funktioniert (Schritt 3)9 Lektionen
  • Umgang mit den Grundelementen wissenschaftlicher Arbeiten (Schritt 4)7 Lektionen
  • Quellen richtig verwenden (Schritt 5)11 Lektionen
  • Literatur effektiv erfassen und verwalten (Schritt 6)8 Lektionen
  • Wissenschaftlich schreiben (Schritt 7)15 Lektionen
  • Zum Schluss2 Lektionen

Kommentare

„Der Kurs vermittelt ein umfassendes Bild, wie wissenschaftliche Arbeiten systematisch anzugehen sind, um gleichbleibende Qualität abzuliefern. Sehr empfehlenswert!“ – „Einfach super! So gut gemacht, dass es fast schon unterhaltsam ist, den Kurs zu bearbeiten!“ – „Dies sollte ein Pflichtkurs in jedem Studiengang sein! Danke...“ – „Gute Mischung aus Texten und Videos. Angenehme Stimme. Didaktisch super aufbereitet.“ – „Ein klasse Kurs, der ganz unkompliziert in ein nicht ganz leichtes Thema einführt. Hiermit kann man das Thema, was Wissenschaft ist, gut erfassen und sogar einfach nebenbei einen guten und spannenden Einstieg in Fragen des wissenschaftlichen Arbeitens und Forschens erhalten. Kurzweilig.“ – „Wirklich sehr hilfreich! Jetzt kann die Bachelorarbeit kommen, ich fühle mich vorbereitet, zumindest von dieser Seite.“ – „Die Grundlagen wurden gut vermittelt.“ – „Weil es mich nahezu vollständig in seinen Bann zieht und mit eigenen Erfahrungen, sowie früher Erlerntem harmoniert.“ – „Viele Hintergründe, die man sonst kaum vermittelt bekommt, und gute Nachdenktexte zu den Videolektionen, sowie stets Untertitel und ein komplettes Transkript pro Kapitel. Ausgereift und gut anwendbar!“ – „Sehr informativer Kurs mit guten Beispielen und Informationen.“ – „Schön dass mir das mal jemand so gut erklären kann. Die Transkripte neben den Videos helfen um es gut zu verstehen!“ – „Eine neue Sicht auf Wissenschaft, die mich motiviert.“

Online-Trainingskurs für das Selbststudium

  • Videodauer: 3:48:11 (asynchrone Kommunikation)
  • Empfohlenes ergänzendes Selbststudium: 4 Stunden
  • Online-Meetings: 5 Stunden (synchrone Kommunikation)

„Forschen lernen“ – unbefristet nutzbar 
€ 49 

...inklusive Online-Meetings live!