Aufstieg und Fall der Peer Review

05. Jan 2023

Aufstieg und Fall der Peer Review
Aufstieg und Fall der Peer Review

Ein großes wissenschaftliches Experiment ist womöglich gescheitert: #peerreview

Dieser Blogbeitrag von Adam Mastroianni hat es in sich. Der Psychologe bezeichnet darin den jahrzehntelangen Versuch, die Qualität wissenschaftlicher Publikationen durch Peer Review zu verbessern, als gescheitert.

Selbst erlebt

Ich war einige Jahre lang als Peer Reviewer tätig und habe dafür sogar eine Auszeichnung von einem britischen Verlag erhalten. Wie üblich habe ich mir die Mühe gemacht, jede Einreichung gründlich zu prüfen; wer die Studien verfasst hat, habe ich natürlich nicht erfahren.

Ich bekam auch nichts dafür. Weder die Autoren noch die Gutachter erhalten ein Honorar, während die Zeitschriften gleichzeitig viel Geld von den Abonnenten kassieren.

Die letzten beiden Male erhielt ich Manuskripte, die zwar formal dem Harvard-Zitierstil entsprachen – so etwas wird bei jeder Einreichung geprüft, wer sich nicht an die Zitierregeln hält, kommt gar nicht erst durch. Aber...: die Autoren hatten die Unsitte der APA übernommen, dass man (schon seit 2009) bei indirekten Zitaten nicht mehr die genauen Seitenzahlen der verwendeten Quellen angeben soll. Siehe dazu auch meinen Beitrag hier im Blog.

Warum leiten die Schriftleitungen der Zeitschriften solche Manuskripte, die in keiner Weise mehr überprüfbar wären, überhaupt an die Gutachter weiter? Da gibt es einen aufwendigen technischen Apparat des Verlages, der alles anonymisiert verteilt, später die Rückläufer und Kommentare der Gutachter einsammelt und weiterverarbeitet – aber niemand schaut erst einmal nach, ob grundlegende wissenschaftliche Qualitätskriterien wie das der Überprüfbarkeit überhaupt erfüllt sind...?

Hätte ich diese unüberprüfbaren Manuskripte durchgehen lassen sollen?

Das Thema ist wichtig

Die in vielen wissenschaftlichen Zeitschriften angewandten „Peer-Review“-Verfahren sind in letzter Zeit nicht nur von mir und nicht nur von Adam Mastroianni heftig kritisiert worden.

Diese Verfahren sehen vor, dass wissenschaftliche Artikel vor ihrer Veröffentlichung von anderen Wissenschaftlern des gleichen Fachgebiets begutachtet werden. Aber wie verlässlich sind diese Verfahren wirklich?

Ein häufiger Kritikpunkt am Peer Review ist, dass es nicht immer fair zugeht und Artikel aufgrund persönlicher Vorurteile oder Fehleinschätzungen abgelehnt werden können.

Zudem gibt es immer wieder Fälle von Plagiaten, die trotz „Peer Review“ durch die Maschen schlüpfen. Dies zeigt, dass das Peer-Review-Verfahren auch nach so langer Zeit noch nicht perfekt ist.

Einige bereits bekannte alternative Verfahren zum gängigen „Peer Review“ sind beispielsweise das Open Peer Review und das Post Publication Peer Review.

  • Beim Open Peer Review werden die Identitäten der Gutachter öffentlich gemacht und die Bewertungen der Artikel sind für alle sichtbar.
  • Beim Post-Publication Peer Review werden Artikel erst veröffentlicht und dann von anderen Wissenschaftlern begutachtet.

Selbst wenn diese alternativen Verfahren zweifellos ihre Vorteile haben, garantieren auch sie nicht die wissenschaftliche Integrität.

Es gibt also keine perfekte Lösung für das Problem der Überprüfung wissenschaftlicher Artikel, und es bleibt abzuwarten, wie sich die Dinge in Zukunft entwickeln werden.

Eines ist sicher: Das Peer-Review-Verfahren allein ist keine Garantie für die Qualität und Integrität wissenschaftlicher Arbeit. Es ist gut gemeint, aber leider nicht gut gemacht. Eigentlich kann es weg, wie man so schön sagt und wie es auch Adam Mastroianni ausgedrückt hat.

Effektiver wäre meines Erachtens das Verfahren, das es in jedem Verlag schon immer gab und gibt: Endredakteure prüfen die eingereichten Beiträge und übernehmen mit der Freigabe die Mitverantwortung. In diesem Fall wären eben Fachwissenschaftler die Endredakteure. Schon wäre die Sorgfalt vielleicht größer und die Qualitätssicherung besser...


Tipp

Forschen lernen – die Grundlagen zum Forschen und zum wissenschaftlichen Arbeiten

Mit diesen Grundlagen der Forschung, der Technik und der Methodik in sieben Schritten zum optimalen Erfolg eurer Thesis, Dissertation oder Doktorarbeit

Kursbild
Kursbild

Schon das Lehrbuch zum wissenschaftlichen Arbeiten beschränkte sich nicht auf die Techniken des wissenschaftlichen Arbeitens.

Auch der gleichnamige Onlinekurs zeigt euch den Weg zu dem, was unser Handeln leiten sollte: die forschende Haltung. Auf Basis des Grundlagenbuchs entstand dieser Kurs.

Induktion und Deduktion (Balzert et al.)
Induktion und Deduktion (Balzert et al.)

Abb.: Balzert et al. 2022, S. 269

Ihr lernt u. a. Vorgehensweisen kennen, die zum Forschen gehören, wie beispielsweise die Induktion und die Deduktion, die nicht nur bei empirischen Untersuchungsteilen für die Bestimmung des Forschungsdesigns wichtig sind.

Balzert, Helmut; Schröder, Marion; Schäfer, Christian (2022): Wissenschaftliches Arbeiten – Ethik, Inhalt & Form wiss. Arbeiten, Handwerkszeug, Quellen, Projektmanagement, Präsentation, 3. Aufl.

Curriculum

  • Kick-off 1 Lektion
  • Was Wissenschaft bedeutet (Schritt 1) 10 Lektionen
  • Wissenschaftliche Qualitätskriterien berücksichtigen (Schritt 2)14 Lektionen
  • Wie Forschen funktioniert (Schritt 3)9 Lektionen
  • Umgang mit den Grundelementen wissenschaftlicher Arbeiten (Schritt 4)7 Lektionen
  • Quellen richtig verwenden (Schritt 5)11 Lektionen
  • Literatur effektiv erfassen und verwalten (Schritt 6)8 Lektionen
  • Wissenschaftlich schreiben (Schritt 7)15 Lektionen
  • Zum Schluss2 Lektionen

Kommentare

„Der Kurs hat meine Erwartungen voll erfüllt. Man erhält einen guten und allgemeinen Überblick, auf den man bei Bedarf aufbauen kann. Die Einheiten sind kurz und kompakt gehalten, gehen aber dennoch auf die wichtigsten Punkte ein. Ergänzt werden die Inhalte durch Dokumente und Quizformate. So einen Lernpfad zu konzipieren gelingt nicht jedem. Hier fand ich es sehr gelungen. Vielen Dank dafür.“ – „Inhaltlich konzentriert und gehaltvoll, kein Gelaber, Tests und Aufgaben dabei. So kann ich online studieren!“ – „Nach wie vor ein einzigartiger und sinnvoller Kurs“ – „Der Kurs vermittelt ein umfassendes Bild, wie wissenschaftliche Arbeiten systematisch anzugehen sind, um gleichbleibende Qualität abzuliefern. Sehr empfehlenswert!“ – „Einfach super! So gut gemacht, dass es fast schon unterhaltsam ist, den Kurs zu bearbeiten!“ – „Dies sollte ein Pflichtkurs in jedem Studiengang sein! Danke...“ – „Gute Mischung aus Texten und Videos. Angenehme Stimme. Didaktisch super aufbereitet.“ – „Ein klasse Kurs, der ganz unkompliziert in ein nicht ganz leichtes Thema einführt. Hiermit kann man das Thema, was Wissenschaft ist, gut erfassen und sogar einfach nebenbei einen guten und spannenden Einstieg in Fragen des wissenschaftlichen Arbeitens und Forschens erhalten. Kurzweilig.“ – „Wirklich sehr hilfreich! Jetzt kann die Bachelorarbeit kommen, ich fühle mich vorbereitet, zumindest von dieser Seite.“ – „Die Grundlagen wurden gut vermittelt.“ – „Weil es mich nahezu vollständig in seinen Bann zieht und mit eigenen Erfahrungen, sowie früher Erlerntem harmoniert.“ – „Viele Hintergründe, die man sonst kaum vermittelt bekommt, und gute Nachdenktexte zu den Videolektionen, sowie stets Untertitel und ein komplettes Transkript pro Kapitel. Ausgereift und gut anwendbar!“ – „Sehr informativer Kurs mit guten Beispielen und Informationen.“ – „Schön dass mir das mal jemand so gut erklären kann. Die Transkripte neben den Videos helfen um es gut zu verstehen!“ – „Eine neue Sicht auf Wissenschaft, die mich motiviert.“

Online-Trainingskurs für das Selbststudium

  • Videodauer: 3:48:11 (asynchrone Kommunikation)
  • Empfohlenes ergänzendes Selbststudium: 5 Stunden