Ergebnisse KI-basierter Analysen rollenbasierter Gesprächsverläufe

---

Offener Workshop des Projekts TAHAI (TrustAdHocAI)

Durchgeführt am 10. Juni 2024 an der Universität Innsbruck/Österreich

Gastgeber: Dr. Peter Münte, Leopold-Franzens-Universität Innsbruck
Institut für Psychosoziale Intervention und Kommunikationsforschung

Die Eröffnung des Workshops erfolgte durch die Herren Peter Münte als Gastgeber und Andreas Schmietendorf als TAHAI-Projektleiter. Eine kurze Übersicht zum aktuellen TAHAI-Projektstatus findet sich im hier verlinkten Flyer. Im Kontext des Workshops sollte es vordergründig um die Ziele und Möglichkeiten der angewandten KI in der Mediationsforschung gehen. Mit Hilfe der heterogen zusammengesetzten Teilnehmer (speziell: Informatik, Künstliche Intelligenz, Soziologie, Mediationsforschung) sollte eine facettenreiche Interpretation und ggf. auch kontradiktorische Diskussion der im Projekt TAHAI gewonnenen Erkenntnisse gewährleistet werden.

Die folgenden Beiträge spannen einen Bogen von den Bedürfnissen und Zielen der Mediationsforschung, über die herausgearbeiteten Analyseszenarien bis hin zu den eigentlichen Ergebnissen der KI-basiert durchgeführten Analysen. Die projektbezogenen Aufgabenschwerpunkte bezogen sich auf die datenschutzkonforme Datenübernahme, das Datenmanagement, die Datenanonymisierung, die Ausführung der eigentlichen KI-Analysen und schließlich die Validation und Interpretation der Ergebnisse. Als Analysemethoden wurden statistische non KI-Verfahren (Fokus: Häufigkeitsanalysen zu Redeanteilen), unterschiedliche Transformer-Modelle (Fokus: Sentimentanalysen im zeitlichen Verlauf der Mediationssitzungen) und Domänen spezifisch optimierte Large Language Models so genannte Retrieval Augmented Generation (kurz RAG) verwendet (Fokus: Formulierung fachlich orientierter Datenanfragen durch Spezialisten der Anwendungsdomäne).

Bei nahezu allen Aufgabenstellungen der durchgeführten Untersuchung zeigte sich ein massiv benötigter Abstimmungsbedarf zwischen Domänenexperten und den eingesetzten Softwareentwicklern.

• Andreas Schmietendorf (HWR Berlin/Uni Magdeburg): Überblick zu den Hintergründen des Forschungsprojekts TAHAI
  • Motivation und verfolgte Projektziele.
  • Projektstruktur und Projektpartner.
  • Fachlich fokussierte KI-Anwendungsdomänen.
  • Herausforderungen im Projekt: EU-DSGVO, EU-AI-Act, Low-Code, …
• Hans Dieter Will (FH Erfurt): Bedürfnisse der Mediationsforschung
  • Mediation eine Profession?
  • Mediationsgesetz (Kenntnisse, Kompetenzen und Methoden).
  • Bewertung der Leistung eines Mediators?
  • Unzureichende Datenlage hinsichtlich durchgeführter Mediationen.
• Walter Letzel (TU Berlin): Ziele der angewandten KI in der Mediationsforschung
  • Ziele der Mediationsforschung.
  • Begriff der Primär- und Sekundärdaten im Mediationskontext.
  • Transkribierte Mediationssitzungen zur unabhängigen Einsicht.
  • Erwartungshaltung hinsichtlich KI-Analysen.
• Sandro Hartenstein (HWR Berlin/Uni Magdeburg): Herausforderungen und Ergebnisse durchgeführter KI-Analysen
  • Grundlegende Aspekte der Transformerarchitektur.
  • Direkte (umgangsprachliche) Befragung der Transkripte via Retrieval-Augmented Generation (kurz RAG).
  • Indirekte Befragung der Transkripte via Agentic RAG.
  • Problem der Erklärbarkeit mittels KI erzielter Ergebnisse.

Die hier hinterlegten Vorträge bieten nur einen kleinen und vor allem begrenzten Einblick in die erzielten Projektergebnisse. Aufgrund der einhergehenden Komplexität sind diese häufig nicht selbst erklärend, weshalb wir für Fragen und Anregungen jederzeit offen sind. Darüber hinaus ist es geplant korrespondierende Artikel in einschlägigen Journalen bzw. einem Tagungsband (geplant für I/2025) zu veröffentlichen.

Zusammenfassung des Workshops erstellt durch: Andreas Schmietendorf und Walter Letzel, 04. Juli 2024