ChatGPT – zwischen Hype und Skepsis

30 Jan, 2023

•

Didaktik | Lehre & Studium | Werkzeuge
Alle sprechen von ChatGPT. Wir haben uns dieses Werkzeug und ähnliche Anwendungen mal etwas genauer angesehen. Was kann der Textgenerator, wo sind die Grenzen und was bedeutet der Einsatz für Hochschulen und die HWR Berlin.
Unterhaltung mit ChatGPT darüber was KI bedeutet

Ich habe mich bei dem Wort „Intelligenz“ erst mal verschrieben. Das passiert den schlauen Textgeneratoren sicherlich nicht. Ist aber noch kein Zeichen von (künstlichem) Scharfsinn.

Es gibt viele Definitionen von Intelligenz, in den meisten Definitionen geht es aber um eine Kombination von mehreren Faktoren, die nicht immer leicht zu fassen sind. Künstliche Intelligenz wird oft damit beschrieben, dass eine Software eigenständig Probleme bearbeiten kann, in dem „…einfache Algorithmen ein „intelligentes Verhalten“ …“ simulieren. (vergl. Wikipedia zur künstlichen Intelligenz) und neuen Input in bestehende Muster integrieren können.

ChatGPT

Ende November 2022 wurde ChatGPT veröffentlicht und löste einen Hype aus. Der Textgenerator durchsucht jede Menge Internettexte und lernt, welche Wörter häufig im Zusammenhang mit anderen Wörtern stehen. Die Texte, die dabei entstehen, klingen verständlich und gut. Er lernt, die Wörter dabei in Zusammenhänge zu setzen, kann Wörter auch einordnen – ein tiefgreifendes „Verständnis“ setzt das nicht voraus.

Oder doch? Zumindest macht es Spaß, dem Chatbot mal ein paar Herausforderungen zu stellen und z.B. zu testen wie ChatGPT auf absurde Fragen, Rätsel oder die verbale Beschreibung von Emotionen reagiert.

Neu ist das Konzept nicht, Bots auf Serviceseiten kennen viele von uns doch schon über eine längere Zeit. Auch im Bildungsbereich gab es immer wieder Erfahrungsberichte bezüglich einiger KI-Textgeneratoren. So beschrieb z.B. ein Lehrer im September wie seine Schüler verschiedene Werkzeuge kombinieren um Ergebnisse zu optimieren.

Twittereintrag Hendrik Haverkamp über die Texterstellung mit mehreren Werkzeugen

ChatGPT schafft es jedoch besonders viel Aufmerksamkeit zu generieren. Suchbegriffe wie „AI“ und „künstliche Intelligenz“ sind seit der Veröffentlichung in der Internetsuche im deutlichen Aufwärtstrend (lt. Googletrends Januar 2023). Microsoft bestätigt große Investitionspläne und einen Einsatz von ChatGPT in der Suchmaschine Bing und in Office Microsoft 365.

Handelt es sich um ein Wunderwerk, das sogar wissenschaftliche Gutachter austricksen kann oder ein Konglomerat von Bots, Suchmaschine, verbalen Schachcomputern und sonstigen Entwicklungen im digitalen Kontext? Wo ist die Grenze zwischen Künstlicher Intelligenz und maschinellem Lernen?

Schwächen

Der cloudbasierte Sprachdienst „Alexa“ riet einem Kind bei der Frage nach einer „Challenge“ dazu, mit einer Münze an Steckdosen zu spielen, bei „intelligenten“ Filtersystemen für Bewerbungsmanagement konnte nachgewiesen werden, dass Stereotype ohne Überprüfung in den Prozess einflossen. Die Suche nach „ChatGPT Fails“ zeigt einige kuriose Fehlleistungen.

ChatGPT erzählt immer noch, dass Angelika Merkel im Amt ist – weißt jedoch schon auf der Eingangsseite darauf hin, dass der Datenbestand von 2021 ist. So erklärt sich auch die Aussage „ChatGPT ist ein computerbasiertes Modell und kann keine Halluzinationen erleben“ (ChatGPT Abfrage vom 27.01.23 bezüglich Halluzinationen bei ChatGPT), obwohl mittlerweile die Tagesschau u.a. Medien GPT in Bezug zu diesem Begriff setzen. Bei genauerer Nachfrage greift wahrscheinlich die Nachsteuerung wie sie im „Training language models to follow instructions with human feedback“ (Ouyang et al.; 2022) beschrieben ist.

Dialog mit ChatGPT. Das Programm beschreibt was Datenhalluzinationen sind.

In meiner Testreihe gab es Verweise auf Studien mit Autor, Journal und Zeitangaben, die in sich schlüssig wirkten. Aber bei sehr gründlichen Suchen fanden sich nirgends Hinweise darauf, dass diese Studien wirklich erschienen sind. Die Autoren waren in verwandten Themen unterwegs, jedoch mit anderen Spezialisierungen.

Datenschutz

Aus Datenschutzsicht ist ChatGPT bedenklich. Die Nutzung ist nur nach Registrierung mit Name und Mail möglich. Zusätzlich ist die Bestätigung über die Telefonnummer nötig. Die IP-Adressen werden erfasst und dem Konto zugeordnet. Außerdem wird bei der Anmeldung darauf hingewiesen, dass die Chats erfasst werden.

Angaben, das CHatGPT Chats speichern und man keine vertraulichen Informationen eingeben soll

Stärken

Es gibt also Schwachstellen, aber auch Erfolge. Testreihen im Bildungsbereich zeigten, dass eine Unterscheidung der Texte bis auf die o.a. Defizite nur sehr schwer bis gar nicht möglich ist. Zudem wächst das Angebot an ähnlichen Generatoren. „Perplexity“ z.B. wirkte auf dem ersten Blick ähnlich gut. Die Texte waren verständlich und inhaltlich schlüssig, man musste sich nicht erst anmelden und Quellen waren verlinkt. Bei der Prüfung mit der Plagiatssoftware kam der Text jedoch im Ähnlichkeitsbericht auf 68%, ähnliche Fragen über ChatGPT blieben im Test unauffällig. Einige andere Tools zeigten bei punktuellen Tests verschiedene Stärken und Schwächen – aber da kann man wahrscheinlich nicht so schnell berichten, wie jetzt Anpassungen erfolgen.

Was bedeutet das für die Hochschulen?

Steht Textgenerator für neue Chancen oder neue Risiken?

„Für den Bildungssektor stellt sich die Frage, wie sich das Lehren und Lernen an Hochschulen (und nicht nur dort) verändern wird, wenn derartige KI-Werkzeuge omnipräsent sind und mit ihrer Hilfe nicht nur die Hausarbeit „per Knopfdruck“ erstellt werden kann.“ (Forschung und Lehre, 12/2022)

Zwingen diese Werkzeuge die Hochschulen dazu „Kritisches Denken“ als essentiellen Bestandteil der Bildung zu betrachten?

Werden die Hochschulen gezwungen, neue Bewertungsmethoden zu etablieren, die sich am Prozess des Lernens, statt am Lernprodukt orientieren?

Viele Fragen, deren Beantwortung die Hochschulen in nächster Zeit herausfordern wird. Schlagzeilen wie:

  • Dieser Chatbot ist gefährlich.
  • Der Einsatz des Chatprogramms könnte zum Ausschluss von der Hochschulbildung führen.
  • Don’t Ban ChatGPT in Schools. Teach With It.
  • ChatGPT Is Coming for Classrooms. Don’t Panic.
  • Hat die Hausarbeit ausgedient?
  • The reboot education sorely needs.
  • Evolution statt Revolution.
  • Fears of an educational apocalypse.

zeigen die Bandbreite der Diskussion.

Chancen

Genauso viele Ideen zur Nutzung lassen sich finden. So wurden z.B. per ChatGPT

  • Testfragen und Antworten erstellt, beantwortet und verbal bewertet
  • die Lehrplanung für eine Unterrichtseinheit zum Thema XY abgebildet
  • Bausteine zum Paraphrasieren und Korrektur lesen genutzt
  • gute und schlechte wissenschaftliche Praxis demonstriert
  • Unterstützung bei Programmieraufgaben gegeben
  • Schreibblockaden überwunden und Texte optimiert
  • Vorschläge für diverse/angepasste Aufgabenstellungen abgerufen

Risiken

Aber wie geht man mit missbräuchlicher Anwendung um? Wie können Lehrende sicher sein, dass die Hausarbeiten von Studierenden selbst geschrieben wurden? Ein einfaches Verbot wie an der Pariser Universität Sciences Po lässt sich leicht aussprechen aber schwer überwachen. Auch entsprechende Disclaimer unter Hausarbeiten sind derzeit eher ein moralisches Hemmnis als eine Sicherheit.

GPTZero als „Entdeckertool“ künstlicher Texte muss seine Wirksamkeit erst noch in der Praxis beweisen. Der Ansatz der Berliner Wissenschaftssenatorin Ulrike Gote, dass „Lehrende und Studierende …sich kennen“ sollten, lässt sich in Seminaren mit größeren Zahlen von Teilnehmenden nicht umsetzen.

Lösungen

Sinnvoll erscheint der Vorschlag von Prof. Dr. Doris Weleßels von der Fachhochschule Kiel, in der einer Informationsveranstaltung. Demnach sollte der Einsatz von vergleichbaren Werkzeugen nicht sanktioniert, sondern gewürdigt werden. Sie benotet Hausarbeiten nur noch mit 50% für das Ergebnis und den fachlichen Inhalt, 50% der Note gibt es für den dokumentierten Entstehungsprozess, also den methodisch/ technischen Aufbau.  Ähnlich sieht es Prof. Dr. Christian Spannnagel von der PH Heidelberg, auch wenn er in seinen (empfehlenswerten!) „Rules for Tools“ mehr auf die Selbstverantwortung, als auf extrinsische Motivation setzt.

Häufige Vorschläge, die Hausarbeiten zunehmend mit mündlichen Prüfungen zu kombinieren, erfordern als kombinierte Prüfungen (vergl. unseren Artikel zu E-Portfolio-Prüfungen) spezielle Anpassungen in einigen Prüfungsordnungen.

Fazit

„Textgeneratoren … werden … nicht mehr verschwinden, weshalb es angebracht erscheint, deren Funktionsweise zu kennen und zu lernen, damit verantwortungsvoll umzugehen (Stichwort Digital/Data/AI Literacy). Konkrete Empfehlungen für Einsatzmöglichkeiten von ChatGPT im Kontext Lehre können zum jetzigen Zeitpunkt nur vorläufiger Natur sein und sind eher als Impulse für reflektiertes Ausprobieren und als Einladung zum Diskurs … zu verstehen.“ (Mohr et al; 2023)

Dieser Absatz aus dem Paper der Universität Hamburg spricht uns aus dem Herzen. Auch wenn viele Antworten von ChatGPT noch oberflächlich und nicht tiefgründig genug sind, erwartet uns hier eine beeindruckende technologische Entwicklung. Die sprachliche Qualität der Antworten ist beeindruckend und eine große Herausforderung für die Medienkompetenz von Lehrenden und Lernenden. Vorsicht im Umgang mit diesem Werkzeug ist aus fachlicher und datenschutztechnischer Sicht (kein verpflichtender Einsatz!) geboten.

Insgesamt lässt sich erwarten, dass sich die Art der Aufgabenstellung ändern wird und das Komplexitätsniveau mittelfristig durch ein höheres Grundniveau der Hausarbeiten steigen wird. Diskutieren Sie mit dem Schreibzentrum und uns am 29.03.2023 in der Veranstaltung „KI-gestütztes Schreiben im Studium„, welche Entwicklungen Sie an der HWR Berlin für möglich halten.

Nachtrag:

Seit Mai 2023 Richtlinie: „Leitlinien für KI-basierte Anwendungen an der HWR Berlin“

———————————————————————————————————–

Weiterführende Links und Quellen

andere relevante Werkzeuge

Print Friendly, PDF & Email

0 Kommentare