Bewertung der szientometrischen Indizes

Für die quantitative und semi-qualitative Auswertung der gewonnenen Daten werden verschiedene szientometrische Kennwerte verwendet. Diese sollen an dieser Stelle kritisch beleuchtet werden, um methodische Schwachstellen aufzuzeigen, die auf die Analyseergebnisse und deren Bewertung Einfluss nehmen können.

5.1.4.1 H-Index

Mit dem h-Index können qualitative Aussagen über die Leistung eines Autors vorgenommen werden (Definition siehe Kap. 3.4.1). Dieser Index ist ein bibliometrisches Instrument, der als Kenngröße der wissenschaftlichen Reputation eines Autors gilt. Das Verhältnis der Zitationszahl zur Publikationsanzahl zu einem festgelegten Zeitpunkt spiegelt den wissenschaftlichen Einfluss des Autors wider. Als quantitative Messdaten fungieren die Zitationshäufigkeit und die Anzahl von Publikationen.

Wissenschaftler mit einem ähnlichen h-Index tragen nach Auffassung von Hirsch

Diskussion

- 97 -

in gleicher Weise zum Fortschritt der Forschung bei ¹¹⁵. Einzelne, vielzitierte Veröffentlichungen haben – ganz im Gegensatz zu anderen bibliometrischen Instrumenten wie z. B. der Zitationsrate – keinen Einfluss auf den h-Index, denn der höchste Wert, der erreicht werden kann, ist analog dem Wert der publizierten Arbeiten. Der h-Index kombiniert quantitative und qualitative Aspekte der Forschungsleistungen in einem ausgewogenen Verhältnis, kontinuierliche Forschungsleistungen mir langanhaltender Wirkung schlagen sich in einem hohen Wert nieder. Für Wissenschaftler mit einer geringeren Anzahl an Publikationen ist es so schwieriger, einen hohen h-Index zu erreichen, was vor allem bei jungen Autoren eine nicht unerhebliche Rolle spielt ^137,138.

Ebenso als problematisch erweist sich die Größenabhängigkeit des h-Index bei vergleichenden Analysen von Forschungsgruppen. Da der Indexwert nicht die Zahl der Veröffentlichungen übersteigen kann, sind Forschungsgruppen mit einem kleineren Publikationsvolumen, aber hochwertigen Forschungsresultaten benachteiligt.

Des Weiteren können Verfälschungen des h-Index durch ein Übermaß an Selbstzitierungen der Autoren entstehen, was generell nicht ausgeschlossen werden kann. Zudem kann anhand der Zitationen nicht unterschieden werden, wie bedeutsam diese für den Zitierenden ist, da jede Zitierung gleichgewichtet ist. Ob die Publikation zitiert wird, weil sie einem Fachkollegen als besonders relevant erscheint oder ob nur kritisch darauf verwiesen wird, um beispielsweise auf Mängel der Versuchsdurchführung aufmerksam zu machen, kann nicht beurteilt werden.

5.1.4.2 Zitationsraten

Über die Funktion Citation Report (CR) im WoS erhalten die Nutzer die Option, den durchschnittlichen Wert der Zitationsraten eines Autors einzusehen, womit dessen wissenschaftliche Bedeutung in der Fachwelt über die Resonanz einer Publikation bewertet werden kann ¹³⁹.

In der vorliegenden Arbeit wurden die Autoren, Institutionen und Nationen hinsichtlich ihrer erhaltenen Zitierungen untersucht. Zu beachten ist allerdings, dass die Analysen Fehlerquellen enthalten können, die bereits in den Daten der

Diskussion

- 98 -

Publikationen enthalten sind. So stellt es eine Grundvoraussetzung dar, dass die in einer Veröffentlichung angeführten Quellen absolut fehlerfrei wiedergegeben werden, denn durch Akkumulation der fehlerhaften Daten im Quellenverzeichnis wäre eine Fehlinterpretation in den Zitationsanalysen nicht auszuschließen. Die Aussagekraft der Zitationsanalysen kann sich zusätzlich durch weitere Faktoren verringern: durch eine möglicherweise vorgegebene Editionspolitik eines Fachjournales können Autoren die interne Auflage erhalten, möglichst viele Veröffentlichungen der gleichen Zeitschrift zu zitieren ¹⁴⁰. Da keine verbindliche Übereinkunft darüber besteht, hängt es maßgeblich von den subjektiven Kriterien ab, wann eine Zitierung als Selbstzitierung gilt. In der wissenschaftlichen Evaluation liegt der Fall dann vor, wenn der Autor der zitierenden Publikation 1 auch der Autor der zitierten Publikation 2 ist. Erkennbar wird die Selbstzitierung, wenn zitierende und zitierte Publikation mindestens einen Koautor gemeinsam haben. Auf der einen Seite sind Selbstzitierungen ein akzeptierter Bestandteil in der Wissenschaft, um neue Erkenntnisse mit den alten zu verknüpfen, was einen als seriös geltenden kumulativen Effekt bewirkt. Auf der anderen Seite dienen sie als Mittel, um eigene Forschungsergebnisse besonders hervorzuheben und als besonders wichtig anzuzeigen, indem die Zitierhäufigkeit der eigenen Publikationen künstlich in die Höhe getrieben wird, um so zu versuchen das Ansehen in der Fachwelt zu steigern.

Um eine bessere Vergleichbarkeit der Autoren zu gewährleisten, wurde für die Auswertung der Zitationsraten ein Schwellenwert von mindestens 30 Veröffentlichungen gesetzt, denn sonst wäre beispielsweise der Autor J. Carney, der lediglich eine wissenschaftliche Arbeit publiziert hat und diese 141mal in anderen Arbeiten zitiert wurde, auf Platz eins.

Auch das Auslassen von Quellenangaben in Fachbüchern kann die Zitationsrate verfälschen.

5.1.4.3 Der Journal Impact-Faktor

Ursprünglich war dieses Bewertungsinstrument, dessen Begründer Eugene Garfield ist, zur Auswahl von Zeitschriften für das Institute of Knowledge gedacht.

Mittlerweile gilt der Journal Impact-Faktor (JIF) als eines der bekanntesten und

Diskussion

- 99 -

signifikantesten Bewertungsinstrumente der Szientometrie, mit dessen Hilfe wissenschaftliche Fachzeitschriften auf die Qualität ihrer Inhalte bewertet werden

141. Zu beachten ist dabei, dass nur zitierbare Quellen im JIF Berücksichtigung finden und Konferenzberichte, Editorials, Letters oder News ausgeklammert sind.

Diese Dokumenttypen, so die Begründung, würden nicht zitiert, allerdings dennoch in den Zitatdatenbanken erschlossen werden, eine Behauptung die seitens der Verleger und Autoren scharf kritisiert wird. Das Beispiel der renommierten Zeitschrift The Lancet belegt dies: als der JIF des Journals im Jahr 1998 von 17 auf 11,79 abfiel, forschte die Redaktion nach den Ursachen und fand heraus, dass für die Berechnung des JIF die Letters nicht berücksichtigt, aber trotzdem im ISI als veröffentlichte Arbeiten aufgeführt wurden. Der Zusammenhang zwischen Erscheinungsform einer Publikation und Zitierhäufigkeit wirkt sich auch in der Weise aus, dass Übersichtsartikel deutlich häufiger zitiert werden als Forschungsartikel, weshalb Zeitschriften mit einer hohen Anzahl an Übersichtsartikeln eine höhere Zitierquote erreichen ¹⁴².

Anhand des JIF als objektiv geltendem Parameter zur Leistungsbeurteilung werden wirtschaftliche Entscheidungen getroffen, die leistungsorientierte Mittelvergabe wie für Planstellen oder finanzielle Nutzen betreffen ¹⁴³. Ebenso wird der Rang einer Zeitschrift im Forschungswettbewerb danach bestimmt, wobei jedoch beachtet werden sollte, dass die Fachjournale nur innerhalb eines Fachbereichs kompatibel miteinander sind (beim ISI gibt es davon mehr als 160 verschiedene Gruppen), die Qualität der publizierten Beiträge damit aber nicht erfasst werden kann. Insofern erscheint eine Qualitätsbewertung problematisch, da unbekanntere und kleinere Fachzeitschriften nicht zwangsläufig ein niedrigeres Qualitätsniveau aufweisen, sondern lediglich eine niedrigere Zitierhäufigkeit.

Ein weiterer Schwachpunkt ist der Zwei-Jahreszeitraum der Beobachtungsdauer, womit nur ein relativ kurzer Zeitraum widergespiegelt wird. Da die Zitierungen erst drei bis fünf Jahre nach einer Veröffentlichung ihr Maximum erreichen, kann die Wirkung der Fachbeiträge nicht zuverlässig bestimmt werden, wodurch Zeitschriften mit einer schnellen und nachhaltigen Rezeption im Vorteil sind.

Mittlerweile hat der Betreiber des WoS Thomson Reuters dies verbessert, indem

Diskussion

- 100 -

zusätzlich ein Beobachtungszeitraum von fünf Jahren zur Verfügung gestellt wird

107.

Die aufgeführten Beispiele sind exemplarisch für eine größere Anzahl an Schwachpunkten und Fehlerquellen, die bei der Verwendung des JIF als Schlüsselindikator bei der Analyse von Fachjournalen berücksichtigt werden sollten. Es steht außer Frage, dass der JIF keine Maßzahl für die Qualität von Arbeiten einer Forschungseinrichtung oder eines Wissenschaftlers dienen kann.

5.1.5 Kooperationsanalysen

Bezüglich der Untersuchung von Kooperationsmustern zwischen Autoren, Institutionen und Ländern ist zu beachten, dass weder die Intensität noch Qualität der Kooperationen, sondern lediglich die Interaktionsmuster evaluiert wurden.

Die verwendeten Daten dafür wurden aus dem WoS entnommen, wodurch weitere Fehlerquellen bei der Analyse und Auswertung der Ergebnisse nicht auszuschließen waren.