Quelle: ELZ
Wiktoria Allan und Mariana Aguilar Ramirez vom Sprachenzentrum kontaktierten uns (ELZ) erstmals im März 2024 um Informationen zur Umsetzung der UNIcert® Prüfung über Moolde-Tests in einer abgesicherten PC-Umgebung (realisiert mit dem Safe Exam Browser – wir berichteten). UNIcert® ist ein Qualitätssiegel für die Sprachenlehre und Prüfungsverfahren an Hochschulen und erlaubt die Vergabe der gleichnamigen Sprachzertifikate. In der Prüfung werden verschiedene Kompetenzen abgefragt, wie z.B. Hörverständis (Listening), Textverständnis (Reading) & schriftlicher Ausdruck (Writing).
Nachdem die beiden fleißig an ihren Fragen für die Prüfung im WiSe 2024/25 tüftelten, haben wir uns um die technischen Herausforderungen gekümmert. Durch die diversen zu prüfeden Kompetenzen, ergaben sich, ggü. den alltäglichen E-Klausuren, anspruchsvollere Konfigurationsszenarien für den Safe Exam Browser. Auf Grund unterschiedlicher Zeitanforderungen und fehlender Einstellungsmöglichkeiten im Moodle-Test wurde zudem für jede Kompetenz eine separate Test-Aktivität angelegt und diese über Voraussetzungen miteinander verknüpft um zum einen die Studierenden einfach durch den Prüfungsablauf leiten zu können und zum anderen Zugriffsvoraussetzungen bzw. -schranken zu schaffen.
Aus unserer Sicht haben sich die beiden mächtig ins Zeug gelegt, mit den unterschiedlichsten Fragetypen gearbeitet und versucht alle Möglichkeiten auf Moodle auszureizen. In der vorab Kommunikation und auch am Klausurtag kamen uns die sehr ausgeprägten Moodle-Kenntnisse der beiden zu Gute, da sie unsere Abläufe sofort nachvollziehen und selbstständig umsetzen konnten. Die Zusammenarbeit fiel sehr positiv aus, insbesondere da wir auf Grund des knappen Zeitmanagements ad hoc noch hier und da gemeinsam ein paar Stolpersteine aus dem Weg räumen mussten. Wir haben die beiden gebeten uns ihre ersten Erfahrungen zu schildern, dem sind sie dankenswerter Weise nachgekommen und Sie können diese in den folgenden Absätzen im Interviewstil nachlesen:
Was sind die Vorteile dieses Formats?
„E-Assessments generieren detaillierte Daten zur Leistung der Studierenden und zu den Prüfungsergebnissen, einschließlich der für die Beantwortung der Fragen aufgewendeten Zeit und der Antwortmuster. Diese Daten können uns dabei helfen, die Qualität der Prüfungen zu verbessern. Wir können erkennen, welche Fragen gut sind und welche das Ziel verfehlt haben. Diese Informationen hatten wir vorher nicht.
Die Aufgaben sind auch leichter zu lesen und daher einfacher und schneller zu bewerten. Außerdem kann ich (Wiktoria) sicher sein, dass die Punkte korrekt addiert wurden, da das System dies für mich erledigt und keine Möglichkeit für menschliche Fehler besteht. „
Gibt es irgendwelche Nachteile?
„Der Arbeitsaufwand im Vorfeld ist beträchtlich. Mit der Zeit und etwas Übung wird das Übertragen eines Tests in Moodle jedoch einfacher. Einige kreativere Aufgabentypen lassen sich möglicherweise schwieriger übertragen, da Moodle nicht immer genau den richtigen Fragetyp hat. Bisher konnten wir jedoch immer geeignete Lösungen finden, indem wir leichte Änderungen vornahmen.„
Wie habt ihr den Support empfunden?
“ Wir hatten ein erstes Beratungsgespräch mit dem E-Learning-Team, bei dem wir erfuhren, was ein E-Assessment beinhaltet und wie es normalerweise aufgebaut ist. Da wir beide mit Moodle vertraut waren und Quizze erstellen konnten, war es beruhigend zu wissen, dass wir mit etwas zusätzlicher Einrichtung ein E-Assessment durchführen können.
Das Team bot fortlaufende Unterstützung und war äußerst geduldig mit uns, als wir die Prüfungen fertigstellten. Das Team half uns auch dabei, eine Whitelist mit Links zu erstellen, die die Studierenden während der Prüfung verwenden durften.
Am Prüfungstag war das E-Learning-Team vor Ort, um alles einzurichten, von den Rechnern bis hin zu einer praktischen Präsentation mit Passwörtern für die Prüfungen und Anweisungen. Ich (Mariana) war anfangs sehr nervös, die Prüfung vor einer Gruppe von 60 Studierenden abzunehmen. Als ich jedoch erfuhr, dass Agata und Doreen vor Ort sein würden, um mich zu unterstützen und alle Probleme zu beheben, die auftreten könnten, fühlte ich mich gleich viel besser. „
Welche zusätzlichen Funktionen würdet ihr euch wünschen?
„Es wäre großartig, wenn wir den Studierenden Kopfhörer zur Verfügung stellen könnten, damit sie selbstständig zuhören können. Das Hören im eigenen Tempo ist inklusiver und kann authentischer sein als das Zuhören in einer großen Gruppe. Auf diese Weise könnten die drei Teile der Prüfung (Hören, Lesen und Schreiben) auch selbstgesteuerter sein und die Studierenden könnten sie in ihrem eigenen Tempo durcharbeiten, anstatt von uns vorgegeben zu werden.
Es ist fast unmöglich, die Benotung für jede Art von Frage zu automatisieren, bei der die Studierenden etwas eintippen müssen, z. B. kurze Antworten, Lückentexte (Cloze) usw. Wir haben versucht, mithilfe von KI so viele richtige Antworten wie möglich zu finden, aber viele werden immer noch als „falsch“ markiert, weil Moodle keine Rechtschreibfehler in richtigen Antworten zulässt. „
Was empfindet ihr als die größte Hürde, oder welche ist eure größte Sorge in Bezug auf dieses Format?
„Einige Studierenden gaben an, noch nie ein E-Assessment abgelegt zu haben. Es muss also mehr Unterricht in diesem Bereich stattfinden.
Ich (Wiktoria) mache mir immer Sorgen um die Barrierrefreiheits- und Inklusionsaspekte der Prüfung, daher ist es wichtig, dass wir sicherstellen, dass die Bereitstellung einer E-Assessment nicht ganze Gruppen von Studierenden benachteiligt.„
Habt ihr Beispiele dafür, wie dieses Format den Lernprozess verbessert oder verändert hat?
„Noch nicht. Wir haben bisher nur einmal E-Prüfungen durchgeführt, aber wir werden berichten!„
Würdet ihr mit weniger Unterstützung zur ursprünglichen Variante zurückkehren?
„Ich glaube nicht, dass wir zu regulären Prüfungen mit Stift und Papier zurückkehren würden. Wir haben kurz die Möglichkeit diskutiert, die Studierenden zwischen einer Papierprüfung UND einer E-Prüfung entscheiden zu lassen. Die Erstellung von Prüfungen, die in beiden Formaten gleichermaßen funktionieren, erfordert jedoch zusätzliche Anstrengungen, um Fairness und Vergleichbarkeit zwischen papierbasierten und Online-Versionen zu gewährleisten. Wie gehen wir mit der Verwaltung unterschiedlicher Benotungssysteme um, wenn ein Format als einfacher oder schwieriger als das andere wahrgenommen wird? Prüfungen, die für beide Formate konzipiert sind, schöpfen möglicherweise nicht das volle Potenzial des Modus aus, was zu einer weniger optimierten Erfahrung für beide Formate führt. „
Quelle: Wiktoria Allan & Mariana Aguilar Ramirez
Gab es Feedback von den Studierenden? Wenn ja, welches?
„Einige Studierenden merkten an, dass sie die Fragen viel schneller bearbeiten konnten und es zu schätzen wussten, nichts mit der Hand schreiben zu müssen. Allerdings schätzten es viele Studierende, einen gedruckten Text für den Leseteil zu haben, den sie mit der Hand annotieren konnten.
Wir glauben, dass einige weniger technikaffine Studierenden etwas benachteiligt waren (einige Studierenden wussten beispielsweise nicht, dass sie einen geteilten Bildschirm verwenden können, um den Text UND die Prüfung gleichzeitig zu sehen – und sie wussten auch nicht, WIE das geht). Nicht jede / jeder fühlt sich beim Tippen wohler, und das ist etwas, das berücksichtigt werden muss.
Wir haben auch gehört, dass es vielen Studierenden schwerfiel, sich zu konzentrieren, insbesondere während der Hörprüfung, wenn 65 andere Studierenden gleichzeitig ihre Antworten eintippten (auch in diesem Fall wären Kopfhörer für jeden Schüler nützlich).
Schließlich ist die Tonqualität nicht in allen Teilen des Raums gleich (CS B 4.04). Einige Studierenden berichteten, dass sie kaum etwas hören konnten, während andere angaben, dass es zu laut war, was bedeutet, dass einige Teile der Hörprüfung besonders schwer zu verstehen sind.„
Welche Rückmeldungen haben die anderen Lehrkräfte im Zusammenhang mit diesem Format gegeben?
„Kolleginnen und Kollegen aus anderen Institutionen scheinen ziemlich neidisch auf unsere Fähigkeit zu sein, digitale Prüfungen anzubieten; sie müssen sich immer noch mit Stapeln von Papier voller unleserlicher Handschriften herumschlagen. Dieses Interesse zeigt, dass andere Lehrkräfte neugierig sind, wie E-Prüfungen in ihren Lehrplan integriert werden können, um das Schreiben, Ablegen und Bewerten von Prüfungen zu einer optimierten und zugänglichen Erfahrung zu machen.„
Gibt es eurerseits Wünsche zu spezifischen Trainings oder Ressourcen, die den Nutzern helfen könnten, das Format besser zu verstehen und zu nutzen?
„Ich (Wiktoria) glaube, dass viele Lehrkräfte nicht die Zeit haben, ihre Prüfungen in ein E-Prüfung-Format zu übertragen. Das ist nichts, was das E-Learning-Team ändern könnte, aber vielleicht könnte die Hochschulleitung den Dozierenden, die sich die Zeit dafür nehmen, Unterstützung oder sogar einen Anreiz bieten. Die Hochschule müsste natürlich auch mehr Computerräume bereitstellen, um sicherzustellen, dass wir alle E-Prüfungen unterbringen können.
Ich (Mariana) denke, es wäre nützlich für andere Lehrkräfte, Beispiele dafür zu sehen, was möglich ist. Vielleicht würde das Angebot von Workshops oder Sitzungen, in denen „echte“ Prüfungen anderer Dozierenden angesehen und sogar geprüft werden, den Einsatz von E-Assessments erreichbarer machen. „
Autorinnen:
Wiktoria Allan (Sprachenzentrum),
Mariana Aguilar Ramirez (Sprachenzentrum),
Doreen Degen (ELZ),
Agata Warpas (ELZ)
Mehr Infos zum Sprachenzentrum
0 Kommentare