Die KI-Verordnung – Was Hochschulen wissen müssen

12 Feb., 2025

•

PadLL | Recht
Die KI-Verordnung der EU wurde im Sommer 2024 veröffentlicht. Ihre Regelungen treten nach und nach in Kraft und gelten in allen EU-Mitgliedstaaten. Auch für Hochschulen können einzelne Artikel relevant werden, auch wenn nicht direkt von Hochschulen gesprochen wird.

Regelungsrahmen

Es handelt sich bei der VO um ein Produktsicherheitsgesetz, welches dabei helfen soll, die Entwicklung, Bereitstellung und Inbetriebnahme von Künstlicher Intelligenz (KI) zu regulieren, mögliche Gefahren bzw. Risiken abzuwenden und Potenziale zu fördern (Art. 1 Abs. 1 KI-VO). Es soll also EU-weit ein einheitlicher Rechtsrahmen geschaffen werden.

Die Verordnung besteht aus umfassenden Erläuterungen zum Thema KI, gibt Regularien an die Hand und regelt mögliche Sanktionen bei Verstößen gegen die Verordnung. Immer im Mittelpunkt stehen die sichere und vertrauenswürdige Nutzung von KI-Systemen und die Pflichten für die verschiedenen Akteure.

Risikobasierter Ansatz

Es finden insbesondere riskante KI-Anwendungen, die Gefahren für einzelne Freiheitsrechte mit sich bringen können, besondere Erwähnung, da die Verordnung einen risikobasierten Ansatz verfolgt. Das bedeutet, dass je höher das Risiko eines KI-Systems eingeschätzt wird, desto umfassender sind die daran geknüpften Anforderungen. Gemessen werden soll dies anhand der definierten Risikoklassen, die unterteilt sind in inakzeptables, hohes, mittleres und geringes Risiko.

Für Hochschulen, die sowohl in der Forschung als auch in der Lehre und Anwendung von KI aktiv sind, ergeben sich aus der Verordnung besondere Herausforderungen, aber auch Chancen.

An wen richtet sich die KI-VO?

Genannte Akteure sind die Anbieter und Betreiber, Einführer, Händler, Produkthersteller und Bevollmächtigte von Anbietern. Die für Hochschulen relevantesten, die an dieser Stelle näher erläutert werden sollen, sind Anbieter und Betreiber.

Anbieter

Gemäß Art. 3 Nr. 3 ist ein Anbieter eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich.

Betreiber

In Art. 3 Nr. 4 ist definiert, wer Betreiber ist. Dabei handelt es sich um natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet.

Was bedeutet das für die Hochschul-Akteure?

Hochschulen

Hochschulen können in den Anwendungsbereich der KI-VO fallen, wenn sie als Anbieter oder Betreiber gelten.

Das kann zum Beispiel dann der Fall sein, wenn sie eigenständig KI-Systeme entwickeln, die nicht ausschließlich der Forschung dienen sollen. In diesem Fall wäre die Hochschule als Betreiber oder gar als Anbieter zu sehen.

Studierende und Lehrende

Studierende sind in der Regel weder Anbieter noch Betreiber von KI, wenn sie diese zum Lernen nutzen.

Auch Lehrende, die anderweitig bereitgestellte KI-Tools für die Vorbereitung ihrer Lehrmaterialien nutzen, fallen in diesem Fall nicht unter die KI-VO. Zudem sind Lehrende als User der KI anzusehen, nicht jedoch als einzelne Betreiber.

Was gilt für die Forschung?

Ebenfalls nicht betroffen ist die Forschung zu KI-basierten Unterstützungssystemen für Studium und Lehre an Hochschulen. Dies regelt Art. 2 Abs. 6 der KIVO, wo es heißt: „Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.“ Diese Ausnahme erinnert an ähnliche Wissenschaftsprivilegien, wie etwa die aus der Datenschutzgrundverordnung (DSGVO).

Was sind KI-Systeme im Sinne der VO?

Die Verordnung ist immer dann anzuwenden, wenn ein KI-System im Sinne der KI-VO vorliegt. Gemäß Art. 3 Nr. 1 ist dies in einem maschinengestützten System zu sehen, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Die Verordnung sieht eine Risikoeinstufung von KI-Systemen vor, die für die Einschätzung und Bewertung des Systems maßgeblich sind und die weiteren Folgen definieren. Dabei kann das Risiko von minimal (z. B. KI-gestützte Spam-Filter) bis hin zu unvertretbaren Risiken (z. B. manipulative Systeme) reichen. Hochrisikosysteme müssen strengere Anforderungen als die anderen erfüllen, da mit ihnen ein größeres Risiko für Freiheitsrechte des einzelnen einhergehen können (z. B. bei Anwendungen im Bereich der Medizin).

Verbotene KI-Systeme

Verbotene KI-Systeme (Art. 5 KI-VO) zeichnen sich vor allem durch eine eindeutige Gefahr von Grund- und Freiheitsrechten aus. Solche Systeme liegen z.B. bei Beeinflussungen, Manipulationen, Täuschungen, Diskriminierung, Social Scoring, Profiling, Gesichtserkennungen oder ähnlichen Praktiken vor.
So ist beispielsweise explizit untersagt, KI „zur Ableitung von Emotionen einer natürlichen Person (…) in Bildungseinrichtungen“ (Art. 5 Abs. 1f) zu nutzen. KI-Systeme dieser Art sind ab dem 02.05.2025 verboten und dürfen nicht mehr verwendet, in Betrieb genommen oder in Verkehr gebracht werden. So ist beispielsweise die Idee, KI-gestützt die Aufmerksamkeit der Studierenden in Seminaren etc. zu erfassen und nötigenfalls den Vortrag situativ anzupassen, in EU-Ländern hinfällig.

Hochrisiko-KI

Hochrisiko-KI-Systeme sind solche, die sich potenziell negativ auf die Sicherheit und Grundrechte von Individuen auswirken können. Auch an Hochschulen könnte unter bestimmten Umständen Hochrisiko-KI zum Einsatz kommen. Relevant erscheint hier insbesondere Art. 6 Abs. 2 KI-VO i.V.m. Anhang III Nr. 3. Dort heißt es, dass es bei KI-Systemen, welche die allgemeine und berufliche Bildung betreffen, von Hochrisiko-KI ausgegangen werden kann. Grundsätzlich gilt, dass KI-Anwendungen und Systeme, die als hochriskant eingestuft sind, nicht grundsätzlich verboten sind. Für sie gelten jedoch besonders hohe Anforderungen, um etwaige Risiken zu minimieren. Darunter fallen neben der ordentlichen Dokumentation auch die Wahrung von Transparenz sowie die Gebotenheit menschlicher Kontrolle.

KI-Systeme mit begrenztem Risiko

KI-Systeme mit begrenztem Risiko sind Systeme, die unter die KI-VO fallen, allerdings weder Hochrisiko-KI-Systeme noch verbotene KI-Systeme sind.

KI-Systeme außerhalb des Anwendungsbereich

Fällt ein KI-System gänzlich aus dem Anwendungsbereich der KI-VO, ist von einem System mit minimalem Risiko auszugehen.

Neben diesen Risikostufen kennt die KI-VO noch die KI-Modelle mit allgemeinem Verwendungszweck (sog. General Purpose KI, Art. 51 ff. KI-VO). Hierbei handelt es sich um solche KI-Modelle, die als allgemeines Modell eine Grundlage für speziellere KI-Systeme bilden können. Hierunter fallen vor allem die sog. Large Language Models (LLM) wie z.B. ChatGPT. Wollen Hochschulen entsprechende KI-Modelle entwickeln und in den Verkehr bringen, müssen sie die hieraus erwachsenden Anbieterpflichten (s. o.) beachten und einhalten. In den meisten Fällen werden Hochschulen in Bezug auf die General Purpose KI aber maximal als Betreiber in Betracht kommen, sodass etwaige Anbieterpflichten entfallen.

Hochrisiko-KI in Studium und Lehre

Die KI-VO geht ausdrücklich auf Hochrisiko-Systeme im Bildungsbereich ein. Betroffen sind solche KI-Anwendungen, die Zulassung, Leistungsbewertung, die Bewertung des Bildungsniveaus sowie die Überwachung in Prüfungen betreffen.

Vor allem problematisch sind solche KI-Anwendungen, die ausdrücklich zur Bewertung von Prüfungsleistungen gedacht sind. Kritisch kann aber auch der Einsatz von KI mit Allgemeinem Verwendungszweck (also z.B. die von Open AI bekannten generativen Sprachmodelle hinter ChatGPT) zur Bewertung von Prüfungen gesehen werden. In diesen Fällen müssen die rechtlichen Konsequenzen bedacht und mitgetragen werden.

Was sind KI-Kompetenzen gemäß Art. 4 KI-VO?

Der europäische Gesetzgeber verpflichtet mit Art. 4 KI-VO die Anbieter und Betreiber von KI-Systemen, Maßnahmen zu treffen, die ein ausreichendes Maß an KI-Kompetenz sicherstellen. Dies betrifft zum einen Mitarbeiterinnen und Mitarbeiter, aber auch andere Personen können davon betroffen sein.

So müssen auch Hochschulen kompetenzbildende Maßnahmen zum Erwerb von KI-Kompetenzen zugunsten der Mitarbeiterinnen und Mitarbeiter sowie weiterer Personen treffen, die mit dem Betrieb von KI-Systeme befasst sind. So müssen auch Studierenden, die mit den Tools arbeiten sollen, derart geschult werden, dass man sie als KI-kompetent ansehen kann.

Dabei kommt es darauf an, ob die Nutzung privater Natur ist oder nicht bzw. es wird nach dem Einsatzzweck entschieden. Bekommen die Studierenden etwa in einer Prüfung eine Aufgabe, die mit ChatGPT als KI-System zu lösen ist, wäre die Hochschule Betreiberin, die dann die Studierenden KI-kompetent machen müsste.

Mögliche Maßnahmen können Workshops oder Online-Lernkurse sein, eine konkrete Ausgestaltung der Maßnahmen wurde durch die KI-VO aber nicht näher ausgestaltet.

Warum sind KI-Kompetenzen wichtig?

In der einführenden Begründung des AI Acts (Erwägungsgrund 20) wird die Wichtigkeit von KI-Kompetenz betont und dargelegt, weshalb sie unerlässlich ist:

  • Fundierte Entscheidungen über KI-Systeme treffen:

„Um den größtmöglichen Nutzen aus KI-Systemen zu ziehen und gleichzeitig die Grundrechte, Gesundheit und Sicherheit zu wahren und eine demokratische Kontrolle zu ermöglichen, sollte die KI-Kompetenz Anbieter, Betreiber und betroffene Personen mit den notwendigen Konzepten ausstatten, um fundierte Entscheidungen über KI-Systeme zu treffen.”

  • Einhaltung der Verordnung sicherstellen:

„Im Zusammenhang mit der Anwendung dieser Verordnung sollte die KI-Kompetenz allen einschlägigen Akteuren der KI-Wertschöpfungskette die Kenntnisse vermitteln, die erforderlich sind, um die angemessene Einhaltung und die ordnungsgemäße Durchsetzung der Verordnung sicherzustellen.”

  • Arbeitsbedingungen verbessern & Innovation unterstützen:

„Darüber hinaus könnten die umfassende Umsetzung von KI-Kompetenzmaßnahmen und die Einführung geeigneter Folgemaßnahmen dazu beitragen, die Arbeitsbedingungen zu verbessern und letztlich die Konsolidierung und den Innovationspfad vertrauenswürdiger KI in der Union unterstützen.”

Zusammengefasst bedeutet dies, dass sichergestellt werden muss, dass Studierende nicht nur technisches Wissen, sondern auch ein Verständnis für ethische, rechtliche und gesellschaftliche Aspekte von KI erwerben.  

Ausblick

Hochschulen müssen die Vorgaben der KI-VO nun schrittweise beachten und umsetzen. Das Verbot bestimmter Anwendungen gilt schon ab dem 02.05.2025, die Regelungen zu KI mit allgemeinem Verwendungszweck ab dem 02.08.2026 und wesentliche Vorschriften für Hochrisiko-KI dann ab August 2026.

 

Weitere Hinweise zu KI an der Hochschule finden Sie hier.

 

 

Handlungsempfehlungen

  • Awareness schaffen: Hochschulen sollten Informationsveranstaltungen und Schulungen für Mitarbeitende und weitere Personen anbieten, um das Verständnis der Verordnung zu fördern.
  • Regelmäßige Evaluation: Die Nutzung von KI sollte regelmäßig evaluiert werden, um sicherzustellen, dass sie mit den Vorgaben der Verordnung übereinstimmt.
  • Änderungen: Die KI-Verordnung stellt Hochschulen vor die Aufgabe, ihre Strukturen und Prozesse zu überdenken. Gleichzeitig bietet sie die Chance, eine prägende Rolle bei der Gestaltung einer ethischen und sicheren KI-Nutzung zu übernehmen.

Weiterführende Links und Literatur:

Print Friendly, PDF & Email

0 Kommentare