Das e-Prüfungs-Symposium 2024 (ePS 2024) entführte seine Teilnehmenden in die faszinierende Welt moderner Prüfungsformate und zeigte, wie die geschickte Kombination aus analogen, digitalen und hybriden Ansätzen das Beste für Studierende herausholen kann. Im Fokus stand die Frage, wie Herausforderungen durch innovative Prüfungsansätze nicht nur gemeistert, sondern neue Möglichkeiten in der Prüfungsgestaltung erschlossen werden konnten. Veranstaltet von ProLehre | Medien und Didaktik sowie dem Lehrstuhl für Netzwerk-Architekturen und Services an der TUM, bot das 11. ePS eine inspirierende Plattform für Austausch, Erkenntnisse und praxisorientierte Lösungen.
Unsere Highlights
KI in Portfolioleistungen
Im Rahmen des ePS 2024 an der Technischen Universität München (TUM) leitete Dr.-Ing. Daniel Renjewski (TUM) eine Session mit dem Titel „Einsatz von LLMs für Lernen und Prüfung ausdrücklich erlaubt! Wie wird KI genutzt und wie zuverlässig ist eine Erkennung?“. In dieser Session wurde das Potenzial von Large Language Modellen (LLMs) im Kontext von Prüfungsleistungen und ihrem Einsatz durch Studierende erörtert.
Dr. Renjewski forderte in seiner Lehrveranstaltung gezielt den Einsatz von LLMs für das Erstellen von Portfolio-Prüfungsleistungen ein. Das Portfolio umfasste dabei mehrere Aufgaben mit unterschiedlichen Kompetenzzielen, die während des Semesters bearbeitet wurden. Um eine korrekte und transparente Nutzung der KI-Tools zu gewährleisten, stellte Dr. Renjewski im Vorfeld umfassende Informationen sowie Text- und Dateivorlagen bereit.
Durch eine detaillierte Analyse der eingereichten Arbeiten und ergänzende Fragebögen konnte Dr. Renjewski interessante Erkenntnisse gewinnen. Insbesondere war ein zunehmender Gebrauch der LLMs während der Bearbeitung der Aufgaben festzustellen, was auf eine steigende Akzeptanz und Vertrautheit der Studierenden im Umgang mit dieser Technologie hinweist. Diese Ergebnisse bieten wertvolle Einblicke in die Rolle von KI-gestützten Werkzeugen im Hochschulkontext und deren potenziellen Auswirkungen auf Prüfungsformate und -methoden.
KI in E-Klausuren
Dr. Matthias Baume (TUM) widmete sich in einer weiteren bedeutenden Session mit dem Titel „Was passiert, wenn ChatGPT in der Prüfung erlaubt ist? Ergebnisse aus einer Pilot-Hörsaalprüfung mit LLM-Einsatz“. Diese Sitzung thematisierte die Integration von Large Language Models (LLMs) in Prüfungsumgebungen und deren Auswirkungen auf Prüfungsleistungen und -gleichheit.
Die Pilotstudie wurde als freiwillige elektronische Klausur über das Moodle-Testmodul durchgeführt. Dabei hatten die teilnehmenden Studierenden die Möglichkeit, jederzeit auf ChatGPT als Hilfsmittel zurückzugreifen. Das Chatfenster war direkt in die Klausur integriert, um einen nahtlosen Zugriff zu gewährleisten.
Für die Klausur wurden Fragen formuliert, die sowohl ohne den Einsatz von KI als auch spezifisch unter Einbeziehung von KI lösbar waren. Die anschließenden Analysen fokussierten sich darauf, bei welchen Fragen die Studierenden auf die KI zurückgriffen und ob sich dadurch signifikante Verbesserungen im Vergleich zu früheren Prüfungen ohne KI-Nutzung ergaben. Interessanterweise zeigte sich, dass die Studierenden bei allen Fragen auf die KI zurückgriffen, jedoch keine besseren Ergebnisse erzielten als bei vergleichbaren Prüfungen ohne KI-Unterstützung.
Besondere Bedeutung kam den prüfungsrechtlichen Implikationen des KI-Einsatzes in Klausuren zu. Die Frage der Chancengleichheit wurde diskutiert, wobei hervorgehoben wurde, dass alle Studierenden uneingeschränkten Zugriff auf ein KI-Tool haben sollten, um fairen Bedingungen zu gewährleisten. Dies könnte realisiert werden, wenn die Bildungseinrichtung selbst einen solchen Dienst zur Verfügung stellt. Ein Problem stellt der Zugang zu kostenpflichtigen, potenziell leistungsfähigeren KI-Modellen dar, der nicht für alle Studierenden möglich ist.
VR in mündlichen Prüfungen
Als innovative Prüfungsmethodik nutzte Prof. Dr.-Ing. Günther (TUM) die Möglichkeiten der Apple Vision Pro, um eine Klausur zu koordinieren, die sich über mehrere Prüfungsräume erstreckte. Die Synchronisation zwischen den Räumen erfolgte über einen Element-Chat, der virtuell im Raum dargestellt wurde und durch einfache Kopfdrehung in das Sichtfeld Prof. Günthers gebracht werden konnte. War der Blick auf ein anderes Areal gerichtet, signalisierte ein dezentes, auf Augenhöhe hüpfendes Icon eine neue Nachricht im Chat.
Darüber hinaus ermöglichte die Apple Vision Pro die Aufsicht über eine Fernstudierende, die sich im Ausland befand und über eine BigBlueButton-Videokonferenz zugeschaltet war. Diese Videokonferenz wurde ebenfalls virtuell im Raum positioniert. Neben der Videodarstellung wurde ein PDF-Dokument mit Klausurhinweisen eingeblendet, das ausschließlich für den VR-Brillenträger sichtbar war.
Die Mobilität der Apple Vision Pro erlaubte es Prof. Günther, sich frei im Raum zu bewegen, während er die Anwesenheitskontrolle durchführte und Anfragen der Studierenden direkt beantwortete. Gleichzeitig behielt er stets die Kommunikation mit den anderen Prüfungsräumen und der Fernstudierenden im Blick.
Die Studierenden zeigten sich unbeeindruckt von der anfangs möglicherweise ungewohnten Optik des VR-Brillen-Trägers und die Durchführung der Klausur verlief reibungslos. Dieses Experiment verdeutlicht das Potenzial von Virtual Reality, die Prüfungsaufsicht effizienter und flexibler zu gestalten, insbesondere in Situationen, die eine gleichzeitige Verwaltung mehrerer Räume oder die Einbeziehung internationaler Teilnehmer*innen erfordern.
Erfahrungsberichte zu E-Klausuren
In den letzten Jahren haben sich digitale Klausuren an vielen Hochschulen immer mehr etabliert. Die Fachhochschulen Hamm und Lippstadt sind Vorreiter in diesem Bereich und haben wertvolle Erfahrungen gesammelt, die zur Weiterentwicklung dieser Prüfungsformate beitragen.
Mit insgesamt 4.700 Studierenden, 24 Studiengängen und 120 Lehrenden bieten diese Einrichtungen einen umfassenden Einblick in die Praxis digitaler Prüfungen. Seit 2018 werden an beiden Hochschulen verschiedene digitale Prüfungskonzepte erprobt. Dabei spielen die regelmäßigen Befragungen von Lehrenden und Studierenden eine wichtige Rolle. Diese Rückmeldungen helfen, die Akzeptanz und Wirksamkeit digitaler Prüfungen zu bewerten und Anpassungen vorzunehmen, um die Prüfungsformate zu optimieren.
Ein praktisches Element digitaler Klausuren ist der Einsatz von Laptops, die von den Studierenden bereitgestellt werden müssen. Dies erfordert einen gewissen logistischen Aufwand: Die Geräte müssen mitgebracht, aufgestellt und eingeschaltet werden. Es ist erforderlich, dass Geräte, die für solche Prüfungen zugelassen werden, kompatibel mit in der Klausur genutzten Software sind. Um einen „reibungslosen“ Ablauf zu garantieren, steht technischer Support zur Verfügung. Die technische Unterstützung deckt nicht nur den Betrieb der Infrastruktur ab, sondern bietet auch didaktische Beratung, um sicherzustellen, dass die Prüfungen pädagogisch sinnvoll sind.
Eine der Herausforderungen digitaler Klausuren besteht darin, dass sie nicht physisch „zerstört“ werden können, wenn sie schlecht ausfallen. Diese Eigenschaft hat sowohl praktische als auch psychologische Implikationen für die Studierenden. Der Umgang mit digitalen Formaten erfordert neue Ansätze sowohl bei der Prüfungsdurchführung als auch bei der emotionalen Betreuung der Studierenden. Es wäre von großem Vorteil, klare Abläufe für diese Situationen zu eruieren, um auch die notwendige Sicherheit im Umgang mit den Studierenden wie auch den Lehrenden anbieten zu können.
Die Digitalisierung bietet eine Chance, Prüfungen effizienter zu gestalten und an die Bedürfnisse der modernen Lehre anzupassen. Dennoch bleibt es entscheidend, die Akzeptanz und Zufriedenheit der Studierenden stets im Blick zu behalten und an weiteren Verbesserungen zu arbeiten.
Der Campus der TUM in Garching
Der Campus der Technischen Universität München (TUM) in Garching gleicht einer pulsierenden Ideenfabrik, die Innovation und Kreativität förmlich atmet. Eingebettet in weitläufige Grünflächen und moderne Architektur, verbindet der Standort Spitzenforschung mit studentischem Leben. Hier treffen High-Tech-Labore auf gemütliche Cafés, in denen Studierende über ihre Projekte diskutieren. Die Atmosphäre ist geprägt von internationalem Flair, regem Austausch und einem Hauch von Abenteuerlust – man spürt förmlich, dass hier die Zukunft gestaltet wird. Ob in den lichtdurchfluteten Bibliotheken, den interdisziplinären Co-Working-Spaces oder bei einer entspannenden Pause im nahegelegenen Park: Der Campus ist nicht nur ein Ort des Lernens, sondern ein inspirierender Lebensraum, der dazu einlädt, Grenzen zu überschreiten und Großes zu wagen.
Fazit
Das ePS 2024 hat eindrucksvoll gezeigt, wie vielfältig und zukunftsweisend die Möglichkeiten digitaler Prüfungen sind. Von der Integration künstlicher Intelligenz über die Entwicklung innovativer Prüfungsformate bis hin zur Qualitätssicherung wurden zahlreiche spannende Ansätze vorgestellt.
Die Veranstaltung war für uns ein echter Inspirationsschub! Sie hat uns nicht nur wertvolle Einblicke gegeben, sondern auch geholfen, Herausforderungen in unseren Prozessabläufen klar zu erkennen. Jetzt sind wir voller Tatendrang, diese anzugehen und nachhaltige Verbesserungen umzusetzen. Mit frischen Ideen und neuer Motivation blicken wir voller Zuversicht in die nächste Phase unserer Arbeit!
Ausblick
Im Jahr 2025 ist kein e-Prüfungs-Symposium geplant, da sich der allgemeine Veranstaltungszeitraum verschiebt. So werden zukünftige Veranstaltungen eher Mitte des Jahres statt Ende des Jahres stattfinden. Grund dafür sind die Krankheitswellen im Winter und auch die Wetterbedingungen.
weiterführende Links:
- Baume, Matthias; Dörfler, Eva; Etchegaray Bello, Margarita; Schauer, Carina (2024): Summative Exams with the Use of ChatGPT. Vision or realistic Alternative to
traditional Exams? In: Louis Gómez Chova, Chelo González Martínez und Joanna Lees (Hg.): INTED 2024. Conference proceedings: 18th annual International
Technology, Education and Development Conference: 4-6 March 2024, Valencia (Spain). Valencia: IATED Academy (INTED proceedings (Internet)), S. 3980–
3990. Online verfügbar unter https://library.iated.org/publications/INTED2024 - Infos zu Prof. Dr.-Ing. Stephan M. Günther: https://www.net.in.tum.de/members/guenther/
- Infos zu Dr.-Ing. Daniel Renjewski: https://www.mec.ed.tum.de/am/renjewski/
Dieser Beitrag wurde mit der Unterstützung von KI erstellt.
Bilder: eigene Aufnahmen
0 Kommentare