Open Metrics: Jenseits des Zitatkartells

Für Wissenschaftler sprechen gute Argumente dafür, Open Access zu publizieren: Offen zugängliche Dokumente erreichen eine schnellere und höhe Verbreitung als andere Publikationen. Aus der Perspektive der Wissenschaftskommunikation ist Open Access effektiver als der toll access oder closed access, bei dem Hochschulen und Wissenschaftler für Dokumente zahlen müssen, die zudem in ihren Nutzungsoptionen sehr stark eingeschränkt sind. Dennoch sind die meisten Wissenschaftler bezüglich der Frage, ob sie offen oder geschlossen publizieren, promisk.

In der Wissenschaftswelt zählt bislang nicht der Publikationsmodus „open”, sondern die wissenschaftliche Reputation und die als impactbezeichnete Wirkung wissenschaftlicher Publikationen. Impactversucht man gängigerweise in Zitationen zu messen, sie sind die Währung der Wissenschaftswelt. Hohe Zitationszahlen eröffnen Karrieren, ermöglichen Anstellungen und Projektbewilligungen. Dieser Umstand verweist auf eine wichtige Metaebene einer offenen Wissenschaft: Die metrischen Verfahren, um den impactzu messen, sind kein eigentliches wissenschaftliches Produkt. Sie werden aber zur Bewertung von Wissenschaft genutzt und steuern das Verhalten von Wissenschaftlern.

Umstrittene Zitatdatenbanken

Brisanterweise stehen sie im krassen Gegensatz zur offenen Wissenschaft, denn die Datenbanken, die szientometrische Informationen in Form von Zitationsraten und -häufigkeiten auswerten, sind in aller Regel proprietär, nicht offen und kostenpflichtig. Die Zitationsdatenbanken des Anbieters Thomson Reuters spiegeln die Problematik geschlossener metrischer Daten prototypisch wider. Schon die Reichweite der Datenbanken ist diskussionswürdig: Die Auswahl der auszuwertenden Objekte obliegt allein dem Anbieter, englischsprachige Quellen werden ebenso wie der Publikationstyp Zeitschriftenartikel bevorzugt aufgenommen. Die Selektionskriterien sind schwammig und eher formal als inhaltlich begründet.

Insbesondere der Journal Impact Factor (JIF), der Zitationsraten wissenschaftlicher Zeitschriften misst, steht in der Kritik. Dennoch wird ein hoher JIF-Score meist ungefragt als Ausdruck hoher Qualität einer Zeitschrift oder – schlimmer noch – der darin publizierenden Wissenschaftler betrachtet; obwohl Untersuchungen belegen, dass etwa 20 Prozent der Artikel einer Zeitschrift 80 Prozent der Zitationen hervorrufen. Zudem gilt der JIF als sehr leicht manipulierbar, sogar die Auslegung der Berechnungsparameter scheint verhandelbar.

Da Zitationswerte von größter Bedeutung für Evaluierung und Karriere sind, sollten sie nachvollziehbar zustande gekommen und überprüfbar sein. Versuche, JIF-Scores zu reproduzieren, scheitern jedoch. Herausgeber der Rockefeller University Press stießen bei der Berechnung der JIF-Werte mehrerer Zeitschriften wiederholt auf Fehler und forderten: „So wie Wissenschaftler sich auf die Ergebnisse in einem Aufsatz nicht verlassen, ohne die Primärdaten gesehen zu haben, so sollten sie auch nicht auf den impact factorbei Thomson Scientific vertrauen. Er basiert auf versteckten Daten.”

„Altmetrics” als Alternative

Dessen ungeachtet huldigen Wissenschaftler einem Zitatfetisch und treffen die Wahl des Publikationsortes regelmäßig nicht nach inhaltlicher Präferenz oder dem Kriterium der Offenheit, sondern in der Erwartung möglichst hoher Zitationszahlen, ermittelt aus Datenbanken, die geschlossen sowie methodisch und wissenschaftlich fragwürdig sind. Zwar existieren leicht angepasste und verbesserte Modelle der Impact-Messung, allerdings unterliegen diese, weil sie oft die erwähnten proprietären Datenbanken nutzen, ähnlichen Limitierungen. Und auch Google Scholar ist zwar entgeltfrei nutzbar, ohne allerdings Daten offenzulegen.

Aufkommende Alternativen zur den Zitationsdatenbanken sammeln sich unter dem Label der Altmetrics. Sie verwerten meist eine Vielzahl an Nutzungsereignissen wissenschaftlicher Informationen, zum Beispiel aus Online-Literaturverwaltungen wie Citeulike oder Mendeley, Social-Media-Quellen, Bookmarking-Diensten und Plattformen wie Slideshare oder Github. Dienste wie Science Card, Impact Story oder der PLoS Impact Explorer bauen auf diesen Informationen auf und bieten Impact-Metriken an.

Relevanz über den Kanon hinaus messen

Die Stärken der Altmetrics beruhen zu einem Gutteil auf Offenheit. Sie nutzen in der Regel offene Schnittstellen und sind inhaltlich offen: Sie beschreiben nicht nur den Einfluss kanonisierter wissenschaftlicher Publikationen wie Zeitschriftenartikel oder Monographien, sondern auch die Wirkung dynamischer, interaktiver Informationen – etwa in Wissenschaftsblogs und sogar gänzlich anderen Objekttypen als Texten. Dazu zählen Forschungsdaten und –software und eine Vielzahl an Mikroinformationen mit wissenschaftlicher Relevanz. Daran scheitern geschlossene Datenbanken und taugen daher auch nicht als Open Metrics in einer offenen Wissenschaft.

Altmetrics können den Impact von Informationen auch wesentlich facettenreicher beschreiben als es eindimensionaler Zitationszählung gelingt. Jedoch ist alternativ nicht gleichbedeutend mit offen: Auch diese Verfahren müssen Daten, die den Bewertungen zugrundeliegen, offen verfügbar machen. Sie müssen eine Re-Analyse ermöglichen, ihren Experimentalstatus verlassen, Validität und Reliabilität anstreben, um als Open Metrics gelten zu können.

Ulrich Herb ist Herausgeber des frei verfügbaren Sammelbandes “Open Initiatives: Offenheit in der digitalen Welt und Wissenschaft”, Promovend zum Thema „Open Social Science“, Open-Access-Experte der Universität des Saarlandes und freiberuflicher Wissenschafts- und Publikationsberater.