Workshop – KI-Szenarien im Zeitalter von ChatGPT & Co, Fraunhofer IESE 2023

---

Fraunhofer IESE, 21. November 2023

Öffentlicher Expertenworkshop unter Berücksichtigung ausgewählter Themen des IFAF-Forschungsprojekts TAHAI (TrustAdHocAI). Im folgenden finden sich die Themen der gehaltenen Vorträge, zum Teil sind diese bereits mit den entsprechenden Beiträgen hinterlegt.

Eröffnung und Motivation zum Thema

• Dr. Andreas Jedlitschka – Grußwort des Gastgeber am Fraunhofer IESE bzw. Sprecher der GI-Fachgruppe 2.1.10
• Prof. Dr. Andreas Schmietendorf – Eröffnung und Motivation

Eingeladene Gastvorträge

• Prof. Dr. Claudia Nass (HS Mainz/Fraunhofer IESE) – Möglichkeiten des Design Thinking im Diskurs von KI-Szenarien
• Prof. Dr. Erik Rodner (HTW Berlin) – Der KI-TÜV: KI-Robustheit evaluieren und Stärken und Schwächen aufzeigen
• Dr. Peter Münte (Universität Innsbruck) – Fachliche Daten transkribierter Geprächsverläufe im Mediationskontext
• Walter Letzel (TU Berlin) – Konzeptioneller Ansatz zur Analyse und Bewertung von Mediationssitzungen
• Sandro Hartenstein (HWR Berlin) – Prototypische Analyse von KI-APIs für LLMs (Cloud vs. OnPremise)
• Prof. Dr. Ralf Schnieders (HTW Berlin) – Compliance-Aspekte im Diskurs der Datenüberlassung – Datenschutz, Urheberrecht und Haftung

Reflektion und Dank

Auf der Grundlage der vorgenannten Impulsvorträge entstand eine lebhafte und vor allem interdisziplinär geprägte Diskussion zu den Möglichkeiten und Grenzen von KI-Sprachmodellen (speziell „Large Language Models“). Zur Geltung kamen dabei insbesondere die Sichtweisen der Informatik, der Soziologie, der Psychologie aber auch der Rechtswissenschaften.

Aus fachlicher Sicht galt das Interesse insbesondere der KI-basierten Verarbeitung anonymisierter Transskripte (alternativ wäre auch die direkte Verarbeitung der Audiosequenzen denkbar). Insbesondere bei umfangreichen Transskripten erscheint eine manuell durchgeführte Anonymisierung, ob des damit einhergehenden Aufwands nur noch bedingt zielführend. Dem entsprechend wäre hier ebenfalls eine mit Hilfe von Algorithmen bzw. Programmen (ggf. KI) gesteuerte Anonymisierung sinnvoll. Aus Sicht des Autors bleibt dabei allerdings ein Restrisiko, d.h. die Anonymisierung kann ggf. nur mit einer Wahrscheinlichkeit erfüllt werden. Im Zusammenhang mit den Herausforderungen der Compliance (z.B. EU DSGVO) können für den wissenschaftlichen Bereich dabei immense und ggf. auch unkalkulierbare Herausforderungen entstehen.

Konkrete Tests bezogen sich auf Quantifizierungs- und Klassifizierungsaspekte aber auch Sentimentanalysen von Transskripten. Dafür wurden primär die KI-Modelle ChatGPT 3.5, ChatGPT 4 sowie LLAMA2 zum Einsatz gebracht. Im Zusammenhang mit der Ergebnisinterpretation zeigten sich hier massive domänenspezifische Herausforderungen hinsichtlich der Ergebnisvalidierung aber auch der Erklärbarkeit der eingesetzten Large Language Models, was einmal mehr den Bedarf interdiskziplinär zusammengesetzter Teams unterstreicht.

Neben den hier zur Verfügung gestellten Vorträgen ist die Publikation eines Tagungsbands zum 1. Quartal 2024 vorgesehen. Titel: Diskussionsbeiträge zum Projekt TAHAI (TrustAdHocAI) – Ergebnisse eines öffentlichen Expertenworkshops am Fraunhofer IESE – November 2023, in Berliner Schriften zu modernen Integrationsarchitekturen, Shaker-Verlag, Düren, Band 28, ISBN 978-3-8440-9244-8  

Ein solcher Workshop wäre ohne professionelle Referenten nicht möglich, denen gilt ein herzliches Dankeschön. Ein besonderer Dank gilt den Gastgebern des Workshops vom Fraunhofer IESE (Herrn Dr. Andreas Jedlitschka und Herrn Prof. Dr. Jens Heidrich)! Ein Dank geht ebenfalls an die Unterstützer der Veranstaltung, d.h. die Gesellschaft für Informatik (GI e.V.) sowie die Central Europe Computer Measurement Group (ceCMG e.V.).

Prof. Dr. Andreas Schmietendorf, ProjL TAHAI