Digitale Klausur und Papierklausur im Vergleich
Im Wintersemester 2022/23 führte ich Modulklausuren in Organisationssoziologie im Bachelor-Studiengang ÖV als abgesicherte digitale Klausur am Campus Lichtenberg durch.
Für zwei Kohorten (N dual = 38 bzw. N Blended = 40 Studierende) im zweiten Semester war das die Gelegenheit, die Papierklausur mit der E-Klausur zu vergleichen. Denn beide Kohorten lernten im ersten Semester bei mir soziologische Grundlagen und ihre Leistungen wurden im Juli 2022 mit vergleichbaren Frageformaten (Multiple Choice-, Lückentext und Freitextfragen) auf Papierbögen gemessen.
Jetzt im Wintersemester wurden sie auf die Durchführung der digitalen Klausur am Campus mit Instruktionsfilmen des ELZ, Probeklausuren (Stichproben einer Klausur) in Moodle und ausführlichen Informationen zur Durchführung vorbereitet.
Ihr Leistungsniveau– gemessen an den Punktewerten – entsprach dem langjährigen Schnitt der Studierenden unterschiedlicher Studienformate in diesem Modul, unabhängig von der Durchführung als Papierklausur, als Open Book Klausur oder nun eben als abgesicherte E-Klausur am Campus.
Positives Urteil der Studierenden – aber ein Drittel klagt über Geräuschpegel
Ich bat die Studierenden nach der Klausur um eine anonyme Einschätzung, wie sie die digitale Klausur im Vergleich zur Papierversion bei mir beurteilen. Die Teilnahme an der Befragung war freiwillig und insgesamt 27 Studierende gaben Auskunft zu fünf geschlossenen und einer offenen Frage. („Bitte geben Sie eine Einschätzung, wie Sie die E-Klausur im Vergleich zur Papierklausur in Modul 2 im Sommersemester 22 empfunden haben. Bitte denken Sie immer an die kürzlich geschriebene E-Klausur und vergleichen Sie diese mit der Klausur in Papierversion im SoSe22“).
Mehr als die Hälfte der Befragten beurteilte die E-Klausur als gleich schwierig wie die Papierversion (eines zugegeben anderen Moduls, aber derselben Disziplin bei derselben Dozentin).
Abb. 1: Befragung zum Vergleich der Schwierigkeit der E-Klausur und der Papierklausur (N=27)
Der Stress bzw. die Prüfungsangst wurden für die Befragten durch das digitale Format nicht erkennbar erhöht.
Abb. 2: Mehr oder weniger Stress bei der E-Klausur im Vergleich mit der Papierklausur (N=27)
26 von 27 Befragten empfanden die E-Klausur als gleich fair wie die Papierversion und eine Person sogar als fairer. Kein/e befragte/r Klausurteilnehmer/in fand die digitale Klausur weniger fair. D.h. das Vertrauen in die unvoreingenommene Gleichbehandlung durch den Computer ist bei den Befragten sehr stark ausgeprägt.
Abb. 3: Mehr oder weniger Prüfungsangst bei der E-Klausur im Vergleich mit der Papierklausur (N= 27)
Das Ergebnis der Befragung überrascht nur in der Antwort auf die offene Frage („Gibt es noch etwas, das Sie zu dem Thema Klausur/digitale Klausur mitteilen wollen?“): Neun Studierende, also ein Drittel, beklagten die als unerträglich laut empfundenen Geräusche, die die Flüster(!)tastaturen beim Tippen erzeugt hatten. Weder meine Kolleginnen noch ich, die wir Prüfungsaufsicht geführt haben, konnten diesen Eindruck nachvollziehen, wir fanden es angenehm ruhig im Raum.
Der subjektiv empfundene Lärm verursachte jedoch nicht mehr Stress – alle Studierenden, die über die lauten Tippgeräusche klagten, gaben an, gleich viel Stress und Prüfungsangst wie bei der Papierklausur empfunden zu haben. Und alle, die den Lärm beklagten, sagen in der abschließenden Frage auch, dass sie gleichwohl eine digitale Klausur generell bevorzugen würden.
Elf von 27 Befragten gaben an, keine Präferenz für die Version der digitalen Klausur zu haben, drei waren darin unentschieden und klickten „weiß nicht“ an. Zwischen den beiden Studierendengruppen dual und Blended gab es keine erkennbaren Unterschiede im Antwortverhalten, auch die Klage über den Geräuschpegel verteilte sich gleichmäßig auf die beiden Gruppen.
Als Vorteile der digitalen Klausur nannten Befragte auch die Nachhaltigkeit oder die höhere Geschwindigkeit beim Verfassen von Texten.
So bleibt als Fazit aus diesem Vergleich aus der Sicht der Prüflinge, dass die digitale Klausur äquivalent zur Papierversion ist, vorausgesetzt, dass geeigneter Gehörschutz mitgebracht werden kann. Ich habe für den Notfall auf jeden Fall Einweg-Ohrstöpsel dabei.
Abb. 4: Earplugs (Foto: M. Egger de Campo)
Hinweis vom ELZ: über nebenstehendes Audiofile können Sie sich ein eigenes Bild über die Geräuschkulisse machen. Hier handelte es sich um eine E-Klausur im Raum 6A 125 mit einem hohen Antwortvolumen in Freitextaufgaben.
Vor- und Nachteile aus der Sicht der Lehrenden
1. Ressourcen schonen
Dem Argument der Nachhaltigkeit kann ich auch als Lehrende sehr viel abgewinnen: wie oft müssen wir ausgedruckte Klausuren von No-Shows schreddern und wegwerfen? Das kostet Ressourcen, Energie und Arbeitszeit. Auch der Platz für die Archivierung von Papierstapeln sollte in Rechnung gestellt werden.
Die wichtigste und bei ProfessorInnen äußerst knappe Ressource ist natürlich die Zeit, und eine digitale Klausur kann in der Bewertung sehr viel Zeit sparen helfen, wobei man nicht unterschätzen sollte, wieviel Zeit das Anlegen von Testfragen in Moodle vor der Klausur kostet. Doch die Moodle-Fragesammlung wächst mit jedem Durchgang mit und erleichtert so das Zusammenstellen neuer Klausuren.
2. Präzision steigern
Das Bewerten von automatisch auswertbaren Fragen (also Multiple Choice oder Lückentextfragen) ist nicht nur schneller mit dem Computer, sondern auch präziser. Denn Menschen sind gerade beim stupiden Vergleichen von Werten viel fehleranfälliger als Maschinen. Und dazu kommen die häufig nicht sehr klaren Angaben der Studierenden auf einem Klausurblatt, wie die folgenden Bildbeispiele demonstrieren:
Abb. 5: Entscheidungsschwäche des Prüflings kosmetisch verborgen mit Korrekturstift und Kugelschreiber.
Abb. 6: Entscheidungsschwäche des Prüflings erhöht Fehler beim Bewerten, hemmt den Arbeitsfluss des Prüfenden.
Ob Studierende sich dessen bewusst sind, dass sie für die aufwändigen kosmetischen Korrekturen oder Bemühungen, eine revidierte Antwort auf Papier zu beseitigen (sie womöglich nochmals zu revidieren, und dann gegen die Uneindeutigkeit der Darstellung anzukämpfen), mit Sicherheit mehr Zeit brauchen, als beim Anklicken eines Buttons im Moodle Test?
Bei Freitextfragen liegt der Vorteil der leserlichen – weil getippten – Lösungen auf der Hand, da insbesondere durch die seltene Übung, das Schriftbild unserer Studierenden eher schlechter als besser wird.
Abb. 7: Entscheidungsschwäche des Prüflings verlangt nach mehr Konzentration beim Bewerten.
3. Fairer bewerten
Aus meiner Sicht ist die Bewertung von Aufgaben im Moodle Test fairer. Der Algorithmus einer geschlossenen Antwortmöglichkeit behandelt selbstverständlich jede Eingabe gleich – das tue auch ich, außer mir passiert einer der erwähnten Irrtümer. Doch bei den manuell zu bewertenden Freitextaufgaben bietet Moodle Test aus meiner Sicht einen großen Vorteil, der die Gleichbehandlung aller Prüflinge fördert: Wenn ich die Lösung für eine Freitextfrage benote, nehme ich mir immer die Antworten aller Studierenden zu dieser Frage vor und kann somit quer vergleichen. Im Falle der Papierklausur ist das zeitraubend, weil jede einzelne Klausur also mehrmals aus dem Stapel genommen, aufgeschlagen und gelesen wird. Der Blick streift dabei zwangsläufig das Deckblatt mit dem Namen (wie am FB3 üblich). In Moodle kann die manuelle Bewertung von Fragen vollkommen anonymisiert (und v.a. viel schneller) vorgenommen werden:
Abb. 8: Moodle manuelle Bewertung
Zur Fairness der digitalen Klausur trägt auch bei, dass Prüflinge, die während der Klausur – etwa auf der Toilette – versuchen, auf die Moodle-Kursmaterialien zuzugreifen, um sich einen unlauteren Vorteil zu verschaffen, bei Rückkehr zur Klausur technisch von der Aktivität Test (also der Klausur) geblockt werden. Nach Überprüfung der Log-Daten mithilfe des ELZ entscheidet der/die jeweilige Lehrende dann, ob der Prüfling von der weiteren Teilnahme ausgeschlossen wird, weil ein Täuschungsversuch unternommen worden ist.
Derartige Täuschungen können und konnten wir bislang bei den Papierklausuren nicht ausschließen, wenn wir nicht eine unzumutbare Beeinträchtigung der Privatsphäre der Prüflinge in Kauf nehmen wollten (die übrigens mangels Aufsichtspersonals ohnehin nicht lückenlos vollzogen werden konnte).
Gegen Täuschungsversuche hilft auch die Methode der smarten M/C-Fragen, die auf der Entwicklungsarbeit meiner Kollegin Prof. Dr. Wüstner und unserer Psychologie-Dozentin Frau Dr. Alexandra Schajek basiert: Studierende müssen bei vier Aussagesätzen erkennen können, in welcher Kombination diese Aussagen wahr oder falsch sind (die Abb. 5-7 zeigen die Antwortmöglichkeiten). Dabei lässt sich die Reihenfolge der Antwortmöglichkeiten einfach durch Moodle randomisieren, wodurch ein schnelles „Abschreiben“ mit einem verstohlenen Blick auf den Bildschirm des Sitznachbarn verhindert wird, denn die korrekte Antwort ist mitunter beim Sitznachbarn Antwortmöglichkeit d) und nicht a). Da derartige Fragen auf Papier ausgedruckt natürlich in jeder Kopie gleich sind, weil der Aufwand für das Drucken randomisierter Klausuraufgaben zu hoch wäre, liegt die digitale Klausur in diesem Aspekt der Sicherheit vor Täuschungsversuchen klar vor der Papierklausur.
Hinweis vom ELZ: Wir berichteten darüber bereits in diesem Artikel.
4. Kreativer prüfen
Die smarten M/C-Fragen ebenso wie Lückentextfragen, die mehrere Begriffe zur Auswahl anbieten, haben jedoch auch den Vorteil, dass sie die Kompetenz der Studierenden fördern, korrekt Klingendes (aber faktisch Falsches) von faktisch wirklich Korrektem zu unterscheiden. Das wird angesichts der „Halluzinationen“ von ChatBots und anderer sprachgenerierender KIs immer wichtiger, da diese künftig auch den Arbeitsalltag der Beschäftigten in der Verwaltung prägen werden. Ist die glaubwürdig klingende Behauptung einer KI Bullshit (vgl. Harry Frankfurt) oder korrekt?
Die Möglichkeiten für Prüfungsaufgaben in Moodle sind den Varianten auf Papier weit überlegen. So können Lückentexte z.B. mit geringem Aufwand so gestaltet werden, dass sie Wissen im Kontext abfragen. Oder der banale Umstand, dass eine zu interpretierende Grafik in Farbe angezeigt werden kann (zur besseren Unterscheidbarkeit von Linien), was bei Papierausdrucken höhere Kosten erzeugt, trägt zur größeren Vielfalt von Aufgaben in der digitalen Klausur bei.
Allet nur schick oder gibt es auch Nachteile?
Die digitalen Klausuren bringen aber auch einen längeren und höheren Vorbereitungsaufwand für die/den Lehrenden mit sich. Das muss einkalkuliert werden, aber unsere Lehrenden dürften über die entsprechenden Kompetenzen des Zeitmanagements verfügen.
Ein Nachteil ergibt sich aus den kleinen IT-Räumen am Campus Lichtenberg, die mit 20 bis 28 Plätzen nie eine ganze Kohorte von 50 bis auch 60 Studierenden (in ÖV und RÖV leider keine Seltenheit) fassen können. Somit benötigt man mehr Räume und mehr aufsichtsführende DozentInnen. In den von mir gelehrten geteilten Modulen ist dies aber meist unproblematisch, weil sich die beteiligten Lehrenden dann auf die Räume aufteilen. Beim zweiten Prüfungstermin wiederum, bei dem erfahrungsgemäß aus jeder Kohorte nur wenige Studierende zur Klausur antreten, ist die Unterbringungen von Prüflingen verschiedenster Module in einem Raum sehr einfach möglich: Klausuren können nicht verwechselt werden, denn der Log-In zur digitalen Klausur gewährleistet, dass der Prüfling nur den Zugriff zu seiner Klausur erhält und dass auch die Bearbeitungsdauer automatisch gesteuert wird.
Fazit
Aus meiner Sicht ergibt sich eine klare Empfehlung für digitale Prüfungen. Nicht zuletzt trägt dazu das äußerst kompetente und engagierte Team des ELZ bei, mit dem ich gerne zusammenarbeite.
Auch die Klausureinsicht nach der Bewertung ist mit viel weniger Aufwand verbunden, weil eine Videokonferenz und die Möglichkeit, in einem bestimmten Zeitfenster die eigenen Klausurergebnisse in Moodle einzusehen die zeitliche und örtliche Flexibilität erhöht und somit auch die Chancen der Studierenden, ihre Ergebnisse und das Feedback dazu zu sehen und daraus zu lernen.
Für die Studierenden wird das digitale Prüfen sicherlich immer geläufiger und die große Nervosität vor dem Neuen (der man durch ruhiges Instruieren und die Vorbereitung mittels Probeklausur begegnen sollte) wird mit der Zeit keine Rolle mehr spielen. Letztlich macht die Digitalisierung auch vor dem Prüfen nicht Halt.
Abb. 9.: Digitalis im Vorgarten der Autorin – auch dieser wird sichtlich zunehmend digitalisiert 😉 (Foto: M. Egger de Campo)
Autorin: Marianne Egger de Campo, FB 3
0 Kommentare