Wie sich die Wissenschaft selbst misst

Wie sich die Wissenschaft selbst misst

"Hot papers", Zitationslisten, "High impact"-Zeitschriften sind der Stoff, aus dem die Szientometrie ihre Daten nimmt und zu Modellen formt. Aber was messen quantitative Evaluierer wirklich?

Gewöhnliche Szientometrie ist eher fad. Sie untersucht quantitative Dimensionen wissenschaftlicher Entwicklungen: Anzahl der Universitätsgründungen, der WissenschafterInnen, der wissenschaftlichen Zeitschriften. Brisanter ist die "evaluative Szientometrie". Sie gibt vor, unbestechlich den wissenschaftlichen Output zu messen: Produktivität, Resonanz, Qualität.

Zu den Pionieren dieser Zunft zählen der Genetiker Sir Francis Galton, der Botaniker Alphonse de Candolle, der Physiker Derek de Solla Price. Letzterer verglich die Wissenschaft mit Gas. Ähnliche aus Naturwissenschaft und Technik entlehnte Modelle finden sich auch heute in der - ansonsten recht theorielosen - Literatur. Auch zeitgenössische SzientometrikerInnen kommen vorrangig aus Natur- und Ingenieurwissenschaften und verwenden Modelle aus dem eigenen "Stall": Für die einen entspricht die Verbreitung wissenschaftlicher Informationen der Diffusion von Hitze in Festkörpern. Andere halten sich an mehrstufige Modelle der Übertragung ansteckender Tropenkrankheiten: Parasiten benötigen einen Zwischenwirt zur Entwicklung bzw. Übertragung. Wissenschaftliche Zeitschriften entsprechen demnach ihrer Funktion nach Moskitofliegen bei der Ausbreitung der Malaria - oder Wasserschnecken bei der Weiterentwicklung der Saugwürmer, den Erregern der Bilharziose.

Gemeinsam ist diesen formalen Modellen, dass sie Formeln zur mathematischen Modellierung und Extrapolation quantitativer Entwicklungen bereitstellen, welche mitunter gar nicht so schlecht auf beobachtbare Verlaufskurven passen. Für inhaltliche, praxisrelevante Fragestellungen sind sie wenig geeignet. Der soziale Charakter der wissenschaftlichen Methoden (Karl Popper), die Machtstrukturen der wissenschaftlichen Welt bleiben ausgeblendet: Wie wird man Erstherausgeber, damit man von Szientometrikern überhaupt gezählt werden kann? In etlichen Datenbanken - Grundlage heutiger szientometrischer Auswertungen - sind nämlich nur die ErstherausgeberInnen recherchierbar.

Die "Stars" unter den wissenschaftlichen Datenbanken produziert das Institute for Scientific Information (ISI) in Philadelphia (Gründer: Eugene Garfield). Sie sind online, als CD-ROMs und als meterdicke Nachschlagewerke konsultierbar: je ein Citation Index für Naturwissenschaften, Sozialwissenschaften, Kulturwissenschaften und Künste. Der Clou dieser drei Datenbanken: Sie speichern von jedem (in der Regel: Zeitschriften-)Artikel auch die Literaturliste, z. T. bis auf die Zitatstelle genau. Es ist daher möglich - mit gewissen Fehlerraten - zu eruieren, wer z. B. Karl Poppers Betonung des sozialen Charakters der wissenschaftlichen Methode im zweiten Band seiner "Offenen Gesellschaft" zitiert. Terminologische Probleme bei der Recherche können durch Eingabe von Schlüsselautoren oder -publikationen umgangen werden: Heinz-von-Foerster-Zitierer dürften eher Radikal-Konstruktivistisches im Sinne haben, Pierre Bourdieus "Feine Unterschiede" Zitierende eher Distinktionstheoretisches: Denn zitieren heißt loben, Existenz zusprechen. Nur wenige Zitationen sind kritisch. Abzulehnendes wird zumeist "net amol ignoriert".

Die ISI-Banken bieten interessante Zugriffs-und Auswertungsmöglichkeiten, z. B. zum Nachweis hermetisch abgedichteter paradigmatischer Gemeinschaften: Wer zitiert Niklas Luhmann, wer zitiert Norbert Elias, wer zitiert beide? (Antwort: ein verschwindend geringer Prozentsatz.) Es könnten "blinde Flecken" eruiert werden: Wo müssten inhaltliche Bezüge vorliegen, finden sich jedoch keine Zitaten-Brücken? Auch bei der Erstellung semantischer Netze könnten ISI-Banken nützen. Doch die "kognitiven Szientometriker", die sich um inhaltliche Fragestellungen kümmern, sind eine Minderheit.

Die Mehrheit der ISI-Konsultierer interessiert sich für Rangreihen: Wer ist produktiver, d. h. publiziert mehr? Wer hat mehr Resonanz, löst stärkeren "Impact" (= engl. (Geschoß-)Einschlag) aus, das heißt wird häufiger zitiert? Doch die Gleichsetzungen von quantitativem Output mit wissenschaftlicher Leistung sowie von Resonanz mit Qualität (vor allem in der Medizin) - sind äußerst fragwürdig:
O Beim Output ignorieren die simplen Quantifizierer die Usance der Ehrenautorenschaften, aufgeflogen bei Betrugsaffären: Koautoren der beiden Krebsforscher Herrmann/Brach beteuerten, die gefälschten Papiere gar nicht gesehen zu haben. Institutsleiter, Vermittler von Geld oder Material werden oft bei allen resultierenden Artikeln als Koautoren angeführt, wichtige MitarbeiterInnen dagegen als SubautorInnen in Fußnoten und Danksagungen gesteckt. Viel-"Schreiber" sind Leiter von Großinstituten: 948 Publikationen zwischen 1981 und 1990 verzeichnen Yury Struchkow, Leiter des Instituts für Elementorganische Chemie in Moskau, als Koautor - d. h. fast zwei Publikationen pro Woche. Wissenschafter aus der gesamten Sowjetunion mussten Substanzen zur Strukturbestimmung an Struchkows Labor schicken. Je ein Mitarbeiter und Struchkow wurden dafür jeweils als Koautoren genannt. Produktivitätskennziffern sind somit eher Indikatoren für Macht, soziale Beziehungen und Finanzkraft als für "reine" wissenschaftliche Leistung. Eine Längsschnittstudie zeigte die Effekte der Forschungsfinanzierung und der Zusammenarbeit mit KollegInnen auf die Produktivität: Viel Geld aus vielen Fonds für viele AutorInnen erbringt viele Papers, auf denen man als KoautorIn steht.

Das ISI und Garfield haben die Wissenschaften verändert. Solcherart Szientometrie beruht keineswegs, wie beansprucht, auf "nicht-reaktiven Messverfahren". Die aggregierten "Mess"-Vorgänge zusammen mit den vorwegnehmenden Aktionen der Betroffenen verändern das "Gemessene", sie bringen das hervor, was sie zu messen vorgeben: Artefakte - Kunstprodukte und Ergebnisverzerrungen. Die szientometrische Logik des rein Quantitativen ist mit der sowjetischen Planwirtschaftslogik verwandt: Bei Letzterer führte die Messung des Plansolls von Weihnachtsbaumständern nach Tonnen zur Produktion möglichst klobiger Exemplare, Erstere verleitet dazu, möglichst viele, möglichst kurze Beiträge in Journalen mit möglichst hohem Impact abzusondern, das heißt den Forschungsertrag in möglichst viele, möglichst hauchdünne Scheibchen ("Salamipublikationstaktik") zu zerteilen. Die "least publishable unit" beträgt in der Psychologie - unter Abzug von Titelei, Abstract, Danksagungen und Literaturliste - inzwischen eine Seite Text (inkl. Tabellen) für drei Koautoren, d. h. eine Drittel Seite je Wissenschafter.

O Bei der Resonanz übersehen Ranking-Gläubige, dass Bekanntheit und Ansehen, Geräte, Gelder und Beziehungen noch mehr Bekanntheit und Ansehen, Geräte, Gelder und Beziehungen bringen. "Hot papers" werden von mehr Autoren aus mehr teilnehmenden Institutionen "verfasst" als durchschnittlich zitierte Papers. Je mehr Autoren, je mehr Forschungsförderer, desto mehr Impact.

O Bei der "Standardmethode" der ISI-Impact-Bestimmung werden nur jene Zitate aus ISI-Banken berücksichtigt, die auch wiederum in die ISI-Banken zurückführen, d. h. nur in ISI-Banken erfasste(!) zitierte Journal-Artikel - keine Artikel aus sonstigen Journalen, keine Buchzitate usw.
O Bei der Resonanzbestimmung von 258 früheren Professoren der Uni Gent wurden hingegen alle in den ISI-Banken erfassten Zitate ausgewertet, d. h. auch jene, die aus dem ISI-Zitations-Pool hinausführen. Der Vergleich mit der Standardmethode zeigt, wie willkürlich die Beschränkung auf ISI-Journale ist: Der Impact von Monografien ist weitaus größer als jener von Journalartikeln - in allen Disziplinen. Die Begrenzung auf ISI-Publikationen reduziert die Zahl der Zitationen auf bloße 16 Prozent aller gespeicherten Zitationen. Noch einmal: Dieses Ergebnis basiert auf ISI-Datenbanken, welche Journalartikel extrem bevorteilen. Eine Analyse auf Basis aller wissenschaftlichen Publikationen würde für die ISI-Methode noch weitaus vernichtendere Resultate erbringen.

Das Institute for Scientific Information bestimmt, welche Journale überhaupt in seine Datenbanken aufgenommen werden, und betreibt Zeitschriften-Lobbying: Wissenschaftliche Literatur jenseits der durch das ISI erfassten sei minderwertig, da nicht durch das Sieb der ISI-Szientometrie gefiltert. Doch dominiert in etlichen Disziplinen (z. B. in der Philosophie) immer noch das Buch; in anderen bilden Patente und Graue Literatur primäre Forschungsgrundlage (in den Ingenieurwissenschaften). Zudem erwächst den etablierten Papierjournalen neue digitale Konkurrenz, bunt und bewegt auf den WWW-Seiten wissenschaftlicher Institute und e-Journals, aber oft verdeckt vom übrigen WWW-Infotainment.

Marktwert und Absatzchancen der ISI-Produkte hängen vom Glauben an Wichtigkeit und Qualität der ISI-Journale ab. Beide werden mit ISI-Methoden im ISI-Datenpool "gemessen". Die Artefakte aufgrund der Erstselektion werden so aufrecht erhalten und gefördert. Alle übrigen (später gegründeten oder prosperierenden) Journale und sonstigen Literatursorten sind "Immigranten", Bittsteller - nur wenigen wird Einlass gewährt. Aufgrund dreister Preissteigerungen (ein Jahresabo von Chemical Abstracts etwa kostet eine Unibibliothek laut Auskunft der Linzer Uni zur Zeit öS 324.000,-) und stagnierender Bibliotheksetats finden zudem neue Journale kaum mehr Aufnahme in Bibliotheken. Auch hier verteidigen die Etablierten erfolgreich ihren Platz: Das Vorhandensein von Papierpublikationen vor Ort ist ein wichtiger Faktor für ihr Zitiertwerden. Der "Impact" etablierter Journale ist auch ein Effekt ihrer auflagenstarken Omnipräsenz.

Gegen den Zeitschriften-Bias des ISI (und anderer Datenbanken) kursiert der Vorschlag für eine "Universal Citation Database", für eine universale, Internet-basierte, bibliographische Datenbase, welche alle wissenschaftlichen Arbeiten jeglicher Literaturgattung über ihre Zitate verknüpfen würde. Rankings unterscheiden meist nicht zwischen Einzel- und Koautorenschaften, inhaltliche Redundanz und Publikationslänge bleiben unberücksichtigt: Die Gewichtung der Beiträge (nach Seitenzahl, Zahl der Ko- und SubautorInnen) sollte unverzichtbare Minimalforderung sein.

Schwieriger dürften ethische Autorenschaften durchzusetzen sein. Zu fordern und praktizieren wäre auf jeden Fall eine wissenschaftstheoretisch aufgeklärte und sozialwissenschaftlich geläuterte Szientometrie, welche die AutorInnen, ihre Institutionen, Beziehungen und Produkte nicht mehr als Gase, Heizplatten, Moskitos und Saugwürmer modelliert, sondern als menschliche, kulturelle, soziale Einheiten. []

Langfassung mit Angaben zu den erwähnten Studien als GMD-Report 61 (Gesellschaft für Mathematik und Datenverarbeitung, Sankt Augustin) oder über den Autor: gerhard.froehlich@iwp.uni-linz.ac.at

Siehe auch den Hinweis auf Seite W4!