So wirkt sich der Boykott-Aufruf auf das BWL-Ranking aus

Jörg Schläpfer von der Konjunkturforschungsstelle der ETH Zürich hatte in den vergangenen Tagen allerhand zu tun: Er pflegt die Forschungsmonitoring-Datenbank, die  unter anderem Grundlage für das Forschungsranking BWL des Handelsblatts ist. Seit dem vergangenen Wochenende hat Jörg sich durch hunderte von E-Mails gearbeitet und in der Datenbank vermerkt, welche Forscher  nicht im Personenranking erfasst sein wollen.

Insgesamt haben sich in diesem Jahr 339 Betriebswirte auf die “Robinson-Liste” setzen lassen – deutlich mehr als bei unserem ersten BWL-Ranking vor drei Jahren. Die allermeisten Forscher haben sich nach dem von Alfred Kieser und Margit Osterloh initiierten Boykott-Aufruf bei uns gemeldet. (Zu den Argumenten der Kritiker habe ich hier im Handelsblog Stellung bezogen, eine ausführlichere Stellungnahme folgt in den nächsten Tagen.)

Insgesamt haben wir 3016 für das BWL-Ranking relevante Forscher in unserer Datenbank erfasst, von denen 2224 mindestens eine für das Ranking relevante Publikation haben. Grob geschätzt machen die Ranking-Verweigerer also elf Prozent der Wissenschaftler nicht mit.

Die Auswirkungen auf das Personenranking sind aber deutlich geringer, als diese nackten Zahlen suggerieren.

Die ganz große Mehrheit der Forscher, die sich auf die Robinson-Liste haben setzen lassen, haben wenig bis gar keine Publikationen veröffentlicht, die für das Ranking relevant wären und wäre daher ohnehin nicht in  unseren Ergebnislisten aufgeführt worden. Denn ganz bewusst veröffentlichen wir nur die Ergebnisse für Top-250 (Lebenswerk) bzw. Top-100 (aktuelle Forschungsleistung, Unter 40) – wir wollen schließlich keinen Pranger im Internet schaffen.

Konkret ist es so, dass von den ersten 250 Forschern im Lebenswerk-Ranking 17 die Opt-Out-Option gewählt haben. Betrachtet man nur die Top-100 der Lebenswerk-Auswertung, reduziert sich die Zahl der relevanten Ranking-Verweigerer auf sieben, in der Top-50 sind es nur vier. In der Auswertung für die aktuelle Forschungsleistung wollen sechs der führenden 100 Forscher nicht genannt werden, davon sind zwei in der Top-50. Bei den Unter-40-Jährigen sind es sieben, davon ebenfalls zwei in der Top-50. Insgesamt wären nur 23 der 339 Ranking-Verweigerer in einem unserer drei Personenrankings genannt worden.

Wie gehen wir mit den Forschern,  die die Opt-Out-Option genutzt haben, um?

In einigen Kommentaren hier im Blog wurde angeregt, die jeweiligen Rangpätze einfach leer zu lassen oder nur die Punktzahl des Forschers zu listen, nicht aber Name, Fach und Hochschule. Wir haben diese Variante  diskutiert und uns dagegen entschieden – denn gerade bei den (wenigen) sehr gut abschneidenden Ranking-Verweigerern wäre die Anonymität dann de facto nicht mehr gewährleistet. Kenner der Szene können sich – vor allem mit Hilfe der Ergebnisse des 2009er-Rankings in vielen Fällen sehr schnell erschließen, welcher anonyme Forscher sich hinter welchem freien Rangplatz verbirgt. Statt die Rangplätze der  frei zu lassen, rücken die hinteren Forscher nach. Die freiwerdenden Rangplätze werden sozusagen “aufgefüllt”.

Die Opt-Out-Option gilt nur für die Personenrankings, nicht aber für das Fakultätsranking. Allerdings veröffentlichen wir bei den Universitäten nachrichtlich auch den Namen des forschungsstärksten Professors. Bei einer Universität, die unter den 25 führenden Hochschulen des deutschsprachigen Raums liegt, hat der forschungsstärkste Professor gebeten, nicht in den Personenrankings geführt zu werden. Sein Name wird daher auch nicht im Fakultätsranking genannt, stattdessen rückt die Nummer zwei nach. (Wir werden übrigens Ranking-Verweigerern auch auf Nachfrage nicht ihren Rangplatz mitteilen.)

Zum Schluss noch ein Hinweis in eigener Sache: Wir veröffentlichen die Ergebnisse für das Personenranking am kommenden Montag in der Printausgabe und auf der Ökonomie-Seite von Handelsblatt.com. Die Ergebnisse für das Fakultätsranking werden dann eine Woche später, am 17. September, an gleicher Stelle veröffentlicht.

Und noch eine Presseschau: Der Deutschlandfunk hat ein sehr gutes Interview mit Alfred Kieser geführt. Die “Süddeutsche Zeitung”, “Spiegel Online” und die “FAZ”  (leider nicht online verfügbar) haben über die Proteste berichtet. Der Wirtschaftsphilosoph und der Düsseldorfer Ökonom Justus Haucap haben interessante Blogposts dazu geschrieben.

Besuchen Sie mein englisches Weblog “Economics Intelligence” und meine Facebook-Seite  - ich freue mich über jedes “like”!

 

Ähnliche Beiträge

Alle Kommentare [17]

  1. @ FP: Eine sehr gute methodische Kritik. Bei mir fehlen 1.5 HB-Punkte, weil ich ausgestiegen bin und folglich auch meine Publikationen nicht eingepflegt habe. Letzteres betrifft insbesondere akzeptierte Artikel von Verweigeren, die noch nicht in Datenbanken stehen. In meinem Fall stände ich nach den jetzigen Ranglisten in der Top-50, werde vom HB allerdings bei den Verweigeren nur in der Top-100 (und damit weniger wensentlich) genannt.

    • @KBR: Das führt dazu, dass Ihre Hochschule vorübergehend – bis zur nächsten Aktualisierung, wenn ihre dann erschienen Arbeiten publiziert und in der ZBW-Datenbank enthalten sind – im Uni-Ranking schlechter abschneidet. Beim Hochschulranking werden auch die Publikationen der Verweigerer mit gezählt.

      Dass wir “forthcomings”, von denen wir erfahren, mitzählen, dient dem Zweck, dass die Ergebnisse so aktuell wie möglich sein sollen.

  2. @ Storbeck: Zu Ihrer geplanten “validen” Auswertung: Das Handelsblatt macht sich leider nicht die Mühe, Veröffentlichungen systematisch und sorgfältig zu selbst erheben, sondern delegiert das auf die Forscher/innen. Motto “Entweder man stellt seine Daten zur Verfügung, oder man wird schlecht gerankt!”. Kolleg/Innen, die dem Ranking gegenüber kritisch eingestellt waren/sind (und das dürften viele sein, die nun unterschrieben haben), haben diesem Prozedere nie zugestimmt und nie Daten geliefert. In der Folge stehen für “Kritiker” nur die rudimentären (in meinem Fall ca. 50% der relevanten Veröffentlichungen) Daten des Handelsblattes zur Verfügung. Die Auswertung von “zwei Wissenschaftlern” wird also (vermeintlich) das hervorbringen, was sich das Handelsblatt als politisches Ergebnis wünscht: Die Faulen wollen nicht kontrolliert werden! Wenn überhaupt, dürfen solche Auswertungen nur auf kontrollierbar vollständigen Datenbeständen durchgeführt werden. Es muss also offengelegt werden, ob und wie die Datenvollständigkeit sichergestellt wurde. Weiter sollten die “zwei Wissenschaftler” sollten mit Namen genannt werden, sie sollten offenlegen, was und wieviel sie dafür an Zuwendung erhalten – nur so kann das Handelsblatt bleiben was es ist, eine seriöse Publikation.

  3. @BWL Forscher, nein BuR ist mir nicht entgangen, ich habe schon Reviews dafür gemacht. Gefällt mir gut. Trotzdem publiziere ich nicht dort, solange es nicht in A/B/C Listen auftaucht. Warum? Ich habe noch keine Tenure…

  4. Langsam werden mir die Vergleiche in dieser Diskussion etwas zu krumm. Das Handelsblatt-Ranking ist m.E. in einer voellig anderen Kategorie als das britische REF oder das australische ERA. Die beiden letztgenannten sind (quasi)staatliche Rankings, die ueber die Mittelzuweisung an die Universitaeten entscheiden. Das Handelsblatt-Ranking hat bei weitem nicht dieselbe Konsequenz: Was passiert denn reell mit einem Wissenschaftler der, sagen wir, von Platz 20 auf Platz 50 abstuerzt? Oder mit jemandem, der gar nicht gerankt ist? Letztendlich nichts ausser evtl. einem kleinen Egoleiden. In England bspw. wird fuer nicht REF-faehige Wissenschaftler z.T. die Lehrverpflichtung erhoeht und die Moeglichkeit fuer Uniwechsel sinkt drastisch je naeher das REF rueckt. Davon sind wir hier weit entfernt. Das Handelsblatt-Ranking ist das Produkt einer Zeitung, das keinerlei reelle Konsequenzen hat, ausser die, die von der Wissenschaft selbst zugelassen werden. Wenn Wissenschaftler – die es besser wissen muessten – sich in Berufungskommissionen oder in der eigenen Meinungsbildung ausschliesslich auf dieses eine Ranking verlassen, dann tut mir die deutsche BWL sehr, sehr leid.

  5. Wenn man über einen Boykott des HB-Rankings diskutiert, dann muss man zwingend die Alternativen betrachten:

    Es wird vermutlich nicht mehr lange dauern bis Google automatisch ein Forscherranking anbietet. Google Scholar / My Citations und neuerdings Google Metrics gehen bereits sehr stark in diese Richtung und erlauben Forschungsvergleiche zwischen Wissenschaftlern. Insofern wird durch einen Boykott auf lange Sicht sowieso nichts erreicht, denn dann shifted der Fokus eben einfach stärker auf die Google Rankings…

    Ausserdem:

    Wenn Berufungskommissionen an Universitäten nicht verantwortungsvoll mit einem transparenten Ranking umgehen können, dann ist ja wohl offensichtlich alles zu spät für die deutschsprachige BWL…

    Machen Sie weiter so, Herr Storbeck (resp. ihre Nachfolger), sie erweisen der deutschen Wirtschaftswissenschaft einen guten Dienst.

  6. Ein schönes Beispiel für das “guns don’t kill, people do”-Argument:
    In Australien spielte das ERA-Ranking plötzlich eine unbeabsichtigte Rolle, das von offiziellen Regierungstellen für verbindlich bei der leistungsorientierten Mittelvergabe (LOM) eingestuft wurde. Nur Publikationen in A+, A und B gingen bei der Berechnung der LOM ein. Die Folge: Universitäten belegten ihre Forscher mit Malus-Punkten für Publikationen in C-Journals. Damit wurden einige australische C-Journals in ihrer wirtschaftlichen Existenz bedroht, an neue, noch nicht klassifizierte Journals wiurde nichts submitted während der internationale Publikations-Output insgesamt angeblich sank (wegen Mangel an C-Submissions).
    Mittlerweile wird – um dem entgegen zu wirken – das neue ERA als Liste ganz ohne Rankingeinstufung der einzelnen Journals aufgelegt, was aber auch etwas eigentümlich anmutet.

  7. @Sebastian Spaeth: es mag Ihnen entgangen sein, aber der VHB hat deshalb auch BUR als open access Journal gelaunched. BUR ist sehr erfolgreich und nach Meinung vieler auf einen Schlag zum besten aus dem deutschsprachigen Raum betriebenen BWL Journal aufgestiegen. In vielen BWL-communities gibt es Ansätze für open access journals und spätestens mit dem 8. Forschungsrahmenprogramm der EU (dessen Ergebnisse ja nur noch open access publiziert werden dürfen d.h. ab 2013/2014), wird die Dominanz von Elsevier und co. schwinden.

  8. Vielen Dank für den Link zu meinem Kommentar, Herr Saßmannshausen :-). Nicht, dass ich Anonym bleiben wollte, aber das Blog dort hat einfach meinen registrierten Nickname eingesetzt. Ich bin Sebastian Spaeth, ETH Zürich. Ich habe meinen Kommentar auch auf mein Blog gestellt (sans Tippfehler), und freue mich über Kommentare dort.

    Werde ich überrascht sein, wenn die Mehrheit der Boykotteure weniger als der Durchschnitt publiziert? Nein. Aber dass 23 der 339 Boykotteure genannt worden wären, zeigt dass nicht nur “Luschen” am Boykott teilnehmen. Wenn ich Prof. L. mal rausnehme (wie gehen Rankings eigentlich mit retracted articles um?), dann weiss ich sogar dass mindestens ein Top-10 Forscher (aus dem 2009 Ranking) draussen ist.

    Herr Storbeck, ich kann Sie verstehen, dass Sie mit dem Ranking nur ein Tool zur Verfügung stellen, dass ge- oder missbraucht werden kann. Ich wünschte, dass Politik, Unileitungen und Berufungskommissionen es vernünftig anwendet könnten. Es scheint aber nicht möglich zu sein. Das ist nicht der Fehler des Handelsblatts, trotzdem muss der Hersteller solcher Tools sich überlegen wie sie real eingesetzt werden. (“guns don’t kill, people do”)

    Ein Argument habe ich bisher noch nie gehört: Solange Rankings die Macht existierender Journals in selbst-verstärkenden Kreisläufen zementieren, wird es in der BWL nicht zu einem angemessenen Einsatz von Open Access Journals kommen, und bestehende Publisher können weiterhin Mondpreise verlangen (Elsevier Profit Margin von 37%!). Das hat reale Kosten und Nachteile für Wissenschaft und Gesellschaft zur Folge.

  9. Möchte mich “BWL Forscher” anschließen und auf meinen entsprechenden Beitrag hinweisen unter: http://blog.handelsblatt.com/handelsblog/2012/08/28/bwl-forscher-rufen-zum-boykott-des-handelsblatt-rankings-auf/comment-page-1/#comment-7967 (dem Ranking-Team hatte ich vor Wochen eine enstprechende E-Mail gesendet…)
    Auch auf dem anderen Blog wird durch einen Anonymus das methodische Problem noch einmal deutlich herausgestellt: http://handelsblattranking.wordpress.com/2012/08/29/handelsblatt-ranking/comment-page-1/#comment-37

    Zum Thema “wer steigt aus” – wenn “Forscher” und andere Opt-out-Hypothesen aufstellen müssten zwei Überlegungen noch mit aufgenommen werden:
    Da ich soweiso nicht auf die Liste kommen werde, habe ich mir die Mühe des Opt-outs nicht gemacht, also auch so herum kann man denken…
    Wie viele gibt es noch, die nicht ausgesiegen sind, da es für sie die Mühe nicht wert war? Wie viele sind nicht ausgestiegen, da sie sich als (jetzt noch) “nicht gelistet” zukünftig nur verbessern können? Wie viele junge Forscher wären vielleicht ausgestiegen, fürchten aber (trotz einschlägiger Publikationen) um Nachteile bei Berufungsverfahren?

  10. “Konkret ist es so, dass von den ersten 250 Forschern im Lebenswerk-Ranking 17 die Opt-Out-Option gewählt haben. Betrachtet man nur die Top-100 der Lebenswerk-Auswertung, reduziert sich die Zahl der relevanten Ranking-Verweigerer auf sieben, in der Top-50 sind es nur vier. ”

    Die viel interessantere Frage ist doch, ob sich die 339 Opt-Outs von einer beliebigen Stichprobe von 339 aus 2224 hinsichtlicher der untersuchten KPIs unterschieden. Ich würde vielleicht bootstrappen und mir anschauen, in welchem Quantil die Opt-Out-Stichprobe in der Verteilung der Zufallsstichproben liegt. Entweder bestätigt sich die Vermutung, dass die Opt-Outs schlechter publizieren oder es besteht kein (signifikanter) Unterschied. In diesem Fall wäre der Vorwurf haltlos, sie würden deshalb aussteigen, weil sie schlechter abschneiden.

    • @forscher: Zwei Wissenschaftler analysieren gerade mit unseren Ranking-Daten genau diese Frage. Ich hoffe, dass wir bis Sonntag valide Ergebnisse haben. Das, was ich an allerersten, vorläufigen Ergebnissen gesehen habe, sieht auf jeden Fall sehr interessant aus.

      Ein Hinweis noch. Sie schreiben: “In diesem Fall wäre der Vorwurf haltlos, sie würden deshalb aussteigen, weil sie schlechter abschneiden.”

      Nur kurz der Ordnung halber: Ich oder das Handelsblatt haben diesen “Vorwurf” nicht erhoben.

  11. Dise Lösung halte ich für sehr gut. Wir BWL Forscher haben Herrn Storbeck sehr viel zu verdanken. Ich bin schon seit knapp 20 Jahren im Forschungsgeschäft tätig. Das Handelsblatt Ranking hat einen unglaublichen Schub für die BWL Forschung geschaffen. Wir haben in vielen Bereichen innerhalb der letzten drei Jahre den Anschluss an die internationale Forschungscommunity geschafft. Trotzdem hätte ich mir eine methodische Weiterentwicklung dess Rankings erwartet. Es ist sicherlich aus methodischer Perpektive eine gute Idee, ein hybrides Ranking zu erstellen, d.h. eine Kombination aus surveybasierten und zitationsbasierten Rankings. Warum jedoch ausgerechnet das EJL Ranking aus Rotterdam zum Einsatz kommt, ist mir schleierhaft. Die methodische Erstellung des EJL fällt ggü. SSCI/SCI und VHB Jourqual deutlich ab. Das EJL ist 1) in der Erstellung unssystematisch, 2) redundant mit SCCI/SCI, weil es dieses angeblich beeinhaltet, 3) sehr verengt, da nur mainstream BWL Journals erfasst werden. Selbst im Finance und Organisation Bereich existieren international sehr renommierte Journals, die in EJL nicht gelistet sind (siehe z.B. das australische Ranking, das deutlich ausführlicher ist). Die Methodik des HB VWL Rankings ist hier deutlich ausgereifter (und wurde zum letzten Ranking zudem weiterentwickelt). Herr Storbeck, die Nutzung des EJL stellt die Validität des HB BWL Ranking leider ein bisschen in Frage, was sehr schade ist, da wir insgesamt als Forscher von Ihrem tollen Engagement, dieses Ranking zu erstellen, sehr profitieren. Könnten Sie nicht in Zukunft nur SCI/SCCI und VHB Jourqual nehmen? Ich glaube, dass das HB BWL Ranking dann auf noch größere Akzeptanz in der community stossen würde. Nochmals danke für Ihre wervolle Arbeit.

  12. Hallo Olaf,
    könnt ihr nicht mal am CMS-CSS schrauben, damit Links und Text dieselbe Größe bekommen? Das ist so immer ziemlich mühsam.