3.1 Das Peer-Review-Verfahren
Zentrales Instrument zur Qualitätssicherung von Zeitschriften (u. U. auch Sammel-bänden) ist das „Peer Review“ genannte Begutachtungsverfahren. Veröffentlichun-gen, die dieses Verfahren erfolgreich durchlaufen, gelten als Beleg wissenschaftlicher Qualität von Forschungsergebnissen. Es wird bei Evaluationen von Institutionen oder Berufungs-/Stellenbesetzungsverfahren als wichtiges Beurteilungskriterium heran-gezogen – „Review“ als anonyme Begutachtung durch Expertinnen und Experten („Peers“) des jeweiligen Fachgebietes.
Auf diese Weise sollen die Korrektheit und Fundiertheit der wissenschaftlichen Arbeit gewährleistet, wissenschaftliche Standards eingehalten sowie irrelevante oder auch falsche Ergebnisse aus dem wissenschaftlichen Kommunikations- und Publi-kationsprozess a priori eliminiert werden (Linten/Woll 2017, S. 21 ff.). Die Qualität bemisst sich u. a. nach der Konsistenz von Theorie und Methode, der Nachvollzieh-barkeit der Forschungsfragen und des logischen Aufbaus, der Plausibilität der Er-gebnisse sowie der Lesbarkeit des eingereichten Manuskripts. Die Gutachter erhal-ten in der Regel weder ein Honorar noch eine Aufwandsentschädigung. Der Anreiz für eine Gutachtertätigkeit besteht vielmehr darin, die eigene Akzeptanz und Repu-tation in der Scientific Community zu erhöhen. Der Peer-Review-Prozess selbst ist nicht standardisiert und kann daher je nach Zeitschrift sehr unterschiedlich sein.
Dies betrifft u. a. die Begutachtungskriterien, die Anzahl der Gutachterinnen/Gut-achter, den Umgang mit deren Urteil sowie das Ausmaß der Anonymisierung bzw.
des Anonymisierungsgrads (blind, double blind etc.).
Unter der Überschrift „Tausende deutsche Wissenschaftler veröffentlichen in Pseudo-Fachzeitschriften“ berichtete Spiegel Online am 19. Juli 2018 sowie in der Folge zahl-reiche Tages- und Wochenzeitungen, Radio und Fernsehen darüber, dass mehr als 5.000 deutsche Wissenschaftlerinnen und Wissenschaftler Forschungsergebnisse in wertlosen Online-Fachzeitschriften (sogenannte Predatory Journals) pseudowissen-schaftlicher Verlage publiziert hätten. Nach Recherchen von NDR, WDR und dem
„Süddeutsche Zeitung Magazin“ würden diese Verlage die grundlegenden Regeln und Standards der wissenschaftlichen Qualitätssicherung missachten und den auf wissenschaftlich Tätigen lastenden Publikationsdruck zum eigenen finanziellen Vor-teil ausnutzen. Die Tatsache, dass in diesen Predatory Journals (wörtlich übersetzt:
räuberische Zeitschriften) publiziert wurde und wird, ist für Fachleute aus Biblio-thekswesen und Informationswissenschaft kein neues Phänomen. Überraschend ist lediglich das Ausmaß mit 5.000 bis 6.000 betroffenen Wissenschaftlerinnen und Wissenschaftlern alleine in Deutschland. Bei näherem Befassen mit dem Diskurs entsteht bisweilen der Eindruck, alle in diesen Raubverlagen veröffentlichten Bei-träge seien von schlechter wissenschaftlicher Qualität – im Gegensatz zu denen in anerkannten Peer-Review-Journals. Dies ist jedoch ein Topos und spiegelt den Sach-verhalt nur selektiv wider. Abgesehen davon, dass diese Zeitschriften in der Com-munity kaum Beachtung finden, hat es sich in der Vergangenheit so verhalten, dass gefakte Beiträge trotz Peer Review den Weg in renommierte und bekannte Wissen-schaftsjournals gefunden haben. Hier ist der Schaden ungleich höher gewesen, als jetzt durch Predatory Journals zu vermuten ist. Ob eine wie auch immer geartete schwarze oder rote Liste das Problem wissenschaftlicher Raubverlage zu lösen ver-mag, bleibt ungewiss. Zumal die Diskussion um die Motivation der wissenschaftlich Tätigen für solches Handeln, nämlich Publikationsdruck und eine erhoffte Steige-rung der Reputation mit sukzessiver FördeSteige-rung der eigenen Karriere, ein eher nur am Rand behandeltes Phänomen zu sein scheint.
3.2 Leistungsmessung mit dem Journal Impact Factor und Altmetrics Die Bewertung von Forschungsleistungen im Rahmen von Evaluationen ist inzwi-schen im Wissenschaftssystem verankert. Mithilfe bibliometrischer Analysen lassen sich entsprechende Kennzahlen und Daten gewinnen. Eine international bekannte (und vielfach kritisierte1) Analyseform stellt dabei der Journal Impact Factor (JIF) dar, mit dem Zitationen einer Fachzeitschrift innerhalb von zwei Jahren gemessen wer-den (Berechnung und Beispiel in Abbildung 1). Als Datengrundlage dienen hierfür die Zitationsdatenbanken von Thomson Reuters, die im „Web of Science“ gebündelt sind: Science Citation Index Expanded (SCIE), Social Sciences Citation Index (SSCI) und der Arts & Humanities Citation Index (A&HCI). Der JIF gibt an, wie häufig ein in einer bestimmten Zeitschrift veröffentlichter Artikel von anderen wissenschaft-lichen Beiträgen pro Jahr zitiert wird.
JIF = Anzahl der Zitate zu den Artikeln der letzten zwei Jahre Anzahl der Artikel der letzten zwei Jahre
BWP = 320 Zitate in 2010 zu BWP-Beiträgen aus 2008/2009 = 1,35 237 BWP-Beiträge in 2008/2009
Journal Impact Factors (JIF):
Formel zur Berechnung des JIF sowie fiktive Beispielberechnung
Da für den Social Sciences Citation Index (SSCI) nur referierte Beiträge aus (fast) ausschließlich englischsprachigen Zeitschriften analysiert werden, ist der Anteil an referierten Fachbeiträgen aus der Berufsbildungsforschung verschwindend gering.
Nach einer Analyse von Woll (2011, S. 80 ff.) finden sich für den Zeitraum von 2006 bis 2010 lediglich 4 Prozent der in der Literaturdatenbank Berufliche Bildung (LDBB) ausgewerteten referierten Beiträge im SSCI wieder. Insofern spielt der Impact Factor für deutschsprachige Verlagszeitschriften eine zu vernachlässigende Rolle.
Alternativ bzw. ergänzend zum Journal Impact Factor haben sich in letzter Zeit alternative Metriken (Altmetrics) entwickelt, die die Rezeption wissenschaftlicher Publikationen unter Rückgriff auf nutzergenerierte Daten im Social Web mit der Zählung von Views, Downloads, Clicks, Tweets o. Ä. ergänzen. Altmetrics erweitern das Resonanzspektrum von wissenschaftlichen auf nicht wissenschaftliche Quellen.
Der Anbieter Altmetric.com visualisiert die Resonanz auf wissenschaftliche Pu-blikationen wie im Fachportal Pädagogik (Abbildung 2) in Form eines grafischen Symbols, eines sogenannten Donuts. Je höher der Zahlenwert in der Mitte des Do-nuts, desto mehr Aufmerksamkeit hat die Publikation bis dato erreicht. Aussagekräf-tig sind zudem die Farben und deren Stärke innerhalb des Donuts. Bei „Disability in
Abbildung 1:
1 Nähere Ausführungen zu den Kritikpunkten am JIF in Linten/Woll (2015).
Higher Education“ in Abbildung 3 ist eine Resonanz über Twitter (türkis), Facebook (blau) und Wikipedia (schwarz) zu verzeichnen. Die mit Altmetrics verbundene Hoff-nung besteht u. a. darin, den Einfluss von Wissenschaft auf die Community und die Gesellschaft als Ganzes abzubilden. Ergo soll im Idealfall nicht nur die Community an der Wissenschaftsbewertung mitwirken, sondern auch der Otto Normalverbrau-cher bzw. Herr und Frau ÖsterreiNormalverbrau-cher und Herr und Frau Schweizer.
Literaturnachweis im Fachportal Pädagogik mit Donut (blauer Kreis rechts oben); https://
www.fachportal-paedagogik.de2
Erläuterung des Donuts durch Anklicken mit Weiterleitung auf https://www.altmetric.com/
details/17351846 Abbildung 2:
Abbildung 3:
2 Datensatz wurde im Zuge einer Recherche im Fachportal Pädagogik dynamisch erzeugt.