Workshop Header

Der Call for Contributions zum FifF-Workshop neue LebensWeltKrisen läuft nun noch gut 1,5 Monate. Damit wird es Zeit, sich über das Auswahlverfahren für die Beiträge Gedanken zu machen.

Mit dem CfC für den FifF-Workshop haben wir ja den Versuch gestartet, dessen Durchführung soweit wie möglich unter den Prinzipien öffentlicher Wissenschaft zu gestalten. So gab es einen Aufruf zur Mitgestaltung des CfCs und auch die Mitorganisatoren haben wir über diesen gefunden. Aber was heißt das für die Beitragsauswahl? Einige Punkte haben sich schon auf der Wikiversity-Seite angesammelt, die hier noch einmal genauer durchdacht werden sollen.

Bildquelle: Peer Review von AJ Cann (CC-BY-SA)

Wie kann ein Public Review durchgeführt werden?

Ein (Double-)Blind-Peer-Review ist undenkbar, wenn wir eine weitestgehende Öffnung der Beitragsauswahl anstreben. Nicht zuletzt soll diese zu einer gewissen Transparenz führen und genau erkennen lassen, warum einige Beiträge ausgewählt wurden und andere nicht. Die erste Frage stellt sich bei uns aber nach der technischen Umsetzung des Reviews. Ein Brainstorming ergab folgende Möglichkeiten:

  • Blog: Wir könnten die Beiträge als Artikel oder Seiten veröffentlichen (zum Beispiel direkt hier), der Review findet in den Kommentaren statt.
  • Wiki: Die Beiträge können in ein Wiki (wie der Wikiversity) eingestellt werden, Platz für die Reviews ist im Diskussionsteil. Im Gegensatz zum Blog kann die nachträgliche Änderung des Beitrags durch den Autor oder andere Nutzer nicht verhindert werden (auch, wenn sie nicht unbemerkt bleiben), dafür können die Reviewer weitestgehend anonym bleiben.
  • Blog mit Commentpress: Diesen Weg hatte Wolfgang Neuhaus versucht. In diesem Theme können Kommentare direkt an die Abschnitte gesetzt werden, was zur Verbesserung des Beitrags beiträgt. Allerdings haben wir hier ein anderes Setting: während Wolfgang Neuhaus durch das Review seinen Beitrag verbessern wollte, benötigen wir eine Aussage über die Qualität und ob er zu den „Auserwählten“ gehören soll oder nicht.
  • Google Drive (aka Google Docs): Die Artikel werden als Dokumente hier herein geladen und können hier kommentiert werden. So hatten das bspw. Jöran und Konsorten mit ihrem OER Whitepaper gemacht. Ebenso wie die Commentpress-Variante stand auch hier nicht eine Hop-oder-Top-Bewertung, sondern die Verbesserung des Beitrags im Vordergrund.
  • Social Reading bei iversity: Hier können Texte in PDF-Form annotiert werden. Problem dabei ist: die Gutachter müssen bei iversity registriert werden.
  • Weitere Tools, wie beispielsweise CrocoDoc: erlauben das kollaborative Kommentieren und Annotieren von Dokumenten und würden sich daher auch mehr oder weniger eignen.

Wie erfolgt eine transparente Beitragsauswahl?

Ich muss sagen, dass ich hier ebenfalls noch nicht sicher bin, ob das so ohne Komplikationen vonstatten geht: einerseits könnten uns die relevanten Einreichungszahlen fehlen, um es wirklich spannend zu machen, andererseits sind manchmal sicher auch Auswahlentscheidungen nötig „weil was besser zusammenpasst“ oder aus ähnlichen, nicht sehr objektiven Gründen. Wie kann hier möglichst transparent vorgegangen werden?

  • Klassisch über Ratings? Das ist aber auch anfällig (es sollen ja nicht die mit den meisten Fans „gewinnen“)
  • Toolgestützte Ratings mit Pros und Contras bspw. mit tricider.

QUALITÄTSSICHERUNG!

Schließlich soll die Öffnung der Auswahlprozesse die Qualität der Einreichungen fördern und nicht zu schlechteren Beiträgen führen. Die Bewertung durch Quasi-jeden macht aber auch schnell die „Amateure zu Gutachtern“. Wir haben zwar keine Angst, dass sich gänzlich ungeeignete Personen daran beteiligen – nach einem neuerlichen Interview habe ich wenn überhaupt dann Angst vor „Trollen“. Dennoch kann der Workshop nur ernstgenommen werden (sowohl von externen Lesern, vor allem aber von den Teilnehmern vor Ort), wenn wir durch bestimmte Maßnahmen die Qualität sicherstellen können. So sollte jeder Beitrag neben einer uneingeschränkt möglichen Zahl an öffentlichen Reviews durch mindestens 1-2 Chair-Mitglieder begutachtet. Aber was können wir noch tun?

Bei all diesen Entscheidungen sind wir über Hilfe, Kommentare, Erfahrungen und Meinungen dankbar!

Advertisements