Die neue KI-Verordnung – Ein Interview mit dem Privacy Experten Clemens Dorner

KI-Systeme haben sich rasant weiterentwickelt. Texte und Bilder sind schnell erstellt, doch um vor Missbrauch zu schützen, mussten regulierende Maßnahmen ergriffen werden. Am 1. August 2024 ist der AI Act in Kraft getreten. Zeit, zu klären was die KI-Verordnung besagt und welche Auswirkungen der AI Act auf den Haufe HR Assistant hat. Fällt dieser unter die Verordnung? Clemens Dorner, Senior Data Privacy Expert und Rechtsanwalt bei der Haufe Group hat die Antworten und erklärt, was es rund um den AI Act zu wissen gibt.  

Hinweis: KI-Modell vs. KI-System
In der Verordnung wird zwischen KI-Modellen und KI-Systemen differenziert. Als sog. großes Sprachmodell (engl. large language model, kurz: LLM) stellt z.B. OpenAI GPT 4 bereit. Darauf basieren verschiedene KI-Systeme, wie z.B. ChatGPT oder der Microsoft Copilot. Die Regulierung im AI Act bezieht sich regelmäßig auf KI-Systeme.

Was ist der AI Act?

Der AI Act ist eine Verordnung der Europäischen Union zur Regulierung von Künstlicher Intelligenz. Es ist ein Produktregulierungsgesetz. Anders als die Datenschutz-Grundverordnung (DSGVO), die die Betroffenen primär schützen und den Umgang mit Daten regulieren soll, zielt der AI Act auf Produkte ab, auf KI-Modelle, auf KI-Systeme. Erst in zweiter Linie zielt es auf den Schutz von Personen und deren Daten ab.  

Der Datenschutz der Nutzer ist aber mitgedacht? 

Der Schutz der Nutzer:innen ist auf jeden Fall mitgedacht, weil die KI-Verordnung einen risikobasierenden Ansatz hat, wenn es um die Kategorisierung von KI-Systemen geht. Es ist vergleichbar mit dem Medizinproduktegesetz. Das setzt auch Standards für Sicherheit, für die Entwicklung von Medizinprodukten wie z.B. Hörgeräte oder Sehhilfen und der gewollte Nebeneffekt ist natürlich, dass man die Menschen, die mit diesen Medizinprodukten in Berührung kommen, schützt. 

Warum braucht es den AI Act? 

Das ist eine sehr gute Frage und Kritik kam natürlich vor allem aus der Wirtschaft, weil wieder ein Bereich reguliert wird, der in den letzten Jahren große Schritte gemacht hat. Plakativ gesagt, macht der AI Act da nun den Deckel drauf. Oft heißt es: China und Amerika sind Vorreiter im Bereich der KI-Entwicklung und Europa im Bereich der KI-Regulierung.  

Doch diese Regulierung kommt nicht von ungefähr. Jeder kennt inzwischen Beispiele der Nutzung von KI und weiß, welchen Einfluss sie auf die reale Welt haben kann, sei es durch Falschinformationen in schriftlicher oder auch in Form von Bildern. Hat man früher ein Video oder ein Bild gesehen, dann war das Beweis genug, dass ein Ereignis wie dargestellt stattgefunden hat – diese Sicherheit gibt es nicht mehr, weil alles mit KI reproduzierbar ist. Die KI-Verordnung sieht in solchen Fällen vor, dass man verpflichtet ist, mit KI generierte Inhalte als solche zu kennzeichnen. 

Kannst du ein Beispiel nennen, wo die KI-Verordnung greift? 

In HR-Abteilungen kann ein KI-Modell beispielsweise bei der Sortierung von Bewerbungen helfen. Wurde das System mit Lebensläufen aus dem Unternehmen trainiert, „weiß“ die KI, welche Lebensläufe eher den Vorstellungen des Unternehmens entsprechen– das kann zum einen der Wohnort sein, es kann aber auch schnell ein Bias entstehen, wenn das Unternehmen bislang wenig Wert auf Diversität in der Belegschaft gelegt hat. Die KI-Verordnung soll so etwas verhindern.  

KI-Systeme sind für die Verordnung nach Art. 3 Abs. 1 AI Act wie folgt definiert worden:  
"ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können." 

Handelt es sich beim HR-Assistant um ein KI-System im Sinne des AI Act? 

Aktuell ist der HR Assistant kein KI-System und damit nicht vom AI Act betroffen. Ein KI-System zeichnet sich auch dadurch aus, dass es antizipiert, was Nutzer:innen wissen möchten und die Antwort dann generiert bzw. aus den Trainingsdaten ableitet. Der HR Assistant folgt einem Entscheidungsbaum. Wie in einer Bibliothek, greift der HR-Chatbot in ein Regal und gibt dem Nutzenden die bereitgestellte Antwort.

In welche Risikoklasse ist der Chatbot einzuordnen? 

Mit der Umstellung vom Machine Learning auf ein LLM (Large LanguageModel) fällt der Chatbot unter Artikel 3 des AI Act. Dann ist der nächste Schritt zu prüfen in welche Risikokategorie das System fällt. Darin gibt es vier Kategorien - die unzulässigen sind bspw. auf Verhaltensmanipulation oder Social Scoring ausgerichtet. Darunter fallen auch KI-Systeme, die Vorhersagen zur möglichen Straffälligkeit machen soll – sie analysiert einen Menschen, guckt sich sein Verhalten an, seine Historie, was er aktuell macht und sagt wie wahrscheinliches ist, dass er straffällig wird. 

Geht man beispielsweise davon aus, dass man mithilfe eines KI-Systems eine Person sucht, die vermisst wird oder wegen des Verdachts einer Straftat gesucht wird, dann würde es sich dabei um ein Hochrisiko-KI-System handeln, jedoch kein unzulässiges. Denn die KI würde die Person nur identifizieren, aber keine eigenständige Bewertung durchführen.  

Welcher Kategorie wäre der HR-Chatbot zuzuordnen? 

Der HR-Chatbot würde wahrscheinlich in die Kategorie „KI-Systeme mit hohem Risiko“ fallen. Man muss das allerdings nicht als Warnsignal sehen. Es ist die Kategorie für KI-Systeme mit höheren Anforderungen an Anbieter und Betreiber. Weitere ausschlaggebende Faktoren für die Klassifizierung sind auch Personalmanagement und der berufliche Kontext, in dem es zum Tragen kommt.  

Im AI Act gibt es mehrere Akteure – welche Pflichten und Rechte haben diese? 

Die zwei Hauptakteure sind der Anbieter, in diesem Fall also Haufe, und der Betreiber. Der Betreiber ist derjenige oder das Unternehmen, das das KI-System zur Nutzung bereitstellt. Das ist nicht die IT oder Personalabteilung – die juristische Person ist das Unternehmen. Es ist wirklich ein großer Blumenstrauß an Pflichten – zu viele, um sie hier aufzuzählen. Doch die Pflichten sind gestaffelt über einen längeren Zeitraum. Der Betreiber hat viele unterschiedliche Pflichten, aber nicht so viele wie der Anbieter: 

• Die KI-Verordnung legt großen Wert auf eine menschliche Aufsicht und damit eine regulierende Instanz. Das sollte jemand sein, der sich mit KI-Systemen auskennt und Fehler erkennen
  kann, wenn die KI anfängt zu halluzinieren, indem sie z. B.Antworten erfindet und Falschaussagen trifft. 
• Der Betreiber muss überwachen, ob der Betrieb entsprechend der Betriebsanleitung erfolgt.  
• Der Betreiber muss den Anbieter über schwerwiegende Vorfälle oder Fehler im Betriebsablauf informieren.  
• Die automatisch erzeugten Protokolle muss er mindestens sechs Monate aufbewahren.  
• Mitarbeitende müssen vor der Nutzung des KI-Systems geschult werden. Die Mitarbeitenden müssen wissen, was das System macht, wann es zum Einsatz kommt, wie die Nutzungsbestimmungen aussehen usw.  
• Mitarbeitende müssen wissen, welche Prompts sie verwenden dürfen und was unzulässige Fragen sind, wie z. B. „wie mobbe ich Kollegen?“. Daher  muss es Nutzungsrichtlinien geben und die müssen vermittelt werden. Die Mitarbeitenden sollen den Mehrwert des KI-Systems kennenlernen und wo es sie unterstützen kann.  

Man darf sich von der Angst nicht lähmen lassen,  
denn KI kann eine Menge Arbeit abnehmen. 

Wie hat KI dir konkret geholfen? 

In meinem vorherigen Job als externer Datenschutzbeauftragter habe ich mir von der KI eine Datenschutzerklärung erstellen lassen. Natürlich habe ich es noch auf Kundenbedürfnisse angepasst und etwas überarbeitet, aber das Grundgerüst stand und ich habe mir eine Stunde Arbeit gespart. Und das ist auch eine Pflicht –man muss den Mitarbeitenden zeigen, was das System kann und wie es wirklich helfen kann.  

Müssen sich Nutzende Sorgen machen oder Angst haben, den HR-Chatbot zu nutzen? 

Nein, gar nicht! Wir arbeiten ja auch bei KI-Systemen so, dass sie nicht mit personenbezogenen Daten oder sensiblen Informationen trainiert werden und vor allem werden die Daten der Kunden und Kundinnen nicht für Trainingszwecke genutzt. OpenAI wurde das ja vorgeworfen. Sind Daten einmal in dem LLM, können sie nicht wieder „vergessen“ werden.  

Hochrelevantes geistiges Eigentum von Unternehmen darf nicht in die Welt entlassen werden, dafür unterschreiben wir Vertraulichkeitsvereinbarungen (NDA) und ein Verstoß hätte dann arbeitsrechtliche Konsequenzen. Um das zu verhindern, gibt man der KI vor, dass sie keine Eingabedaten für Trainingszwecke verwendet. Wenn die KI übergeben wird, ist sie voll trainiert. Sie nimmt dann keine Information mehr aus den Anfragen an und reproduziert sie dann an anderer Stelle. Je nach KI-Modell kann z. B. der HR-Chatbot aber noch speziell mit Trainingsinformationen ausgerüstet und auf das Unternehmen angepasst werden. So bekommen Mitarbeitende dann z. B. die richtige Ansprechperson im Unternehmen genannt.  

Muss jemand mit Strafen rechnen? 

Es gibt einen ordentlichen Bußgeldkatalog, ähnlich dem der DSGVO. Strafen müssen demnach auch wirksam, verhältnismäßig und abschreckend sein. Je nach Verstoß drohen Geldbußen bis zu 35 Mio. Euro oder bis zu 7 Prozent des weltweit erzielten Vorjahresumsatz – je nachdem welcher der beiden Beträge höher ist. Bei international agierenden großen Konzernen kann das eine enorm hohe Summe sein. Meta hab zuletzt wegen Verletzungen der DSGVO eine Strafe in Milliardenhöhe zahlen müssen. Bei Google war es immerhin ein zweistelliger Millionenbetrag. Anbieter riskieren genau solche Strafen, wenn sie sich nicht an den AI Act halten. Die Bußgelder sollen aber auch eine abschreckende Wirkung haben, damit Anbieter nicht wie Meta und Google ohne zu fragen Kundendaten nutzen, um ihre LLM zu trainieren und diese Daten in die Welt entlassen. 

Aber Betreiber brauchen sich keine Sorgen machen, vor allem weil die KI-Verordnung eine Vielzahl an Compliance- und Governance-Pflichten beinhaltet. Natürlich können Bußgelder verhängt werden, die aber natürlich verhältnismäßig sind, wenn ein Unternehmen vorsätzlich gegen den AI Act verstößt.  

Welche Maßnahmen müssen Unternehmen ergreifen, um auf der sicheren Seite zu sein? 

Wie schon erwähnt, muss es eine regulierende Instanz geben – eine kompetente, ausgebildete und befugte Person. Anders als in der DSGVO, die explizit einen Datenschutz-Beauftragten erforderlich macht, ist die Position eines KI-Beauftragten im AI Act nicht explizit genannt, aber in Art. 4 angedeutet. Die Verantwortung kann auf mehreren Schultern verteilt werden. So ein KI-Team besteht dann z. B. aus einer Kollegin aus der Personalabteilung, die weiß wie die KI zum Einsatz kommt, einem IT-Kollegen, der sich mit den Schnittstellen auskennt und sich um die Protokolle kümmert und jemandem aus dem Datenschutz oder der Rechtsabteilung. Natürlich gibt es dann unzählige Schulungen zur KI-Verordnung.  

Anbieter können Kunden und Kundinnen unterstützen, indem sie Dokumentationen mitliefern und bei der Einbindung tiefergehend unterstützen. Sie  können Betreiber über ihre Pflichten aufklären, wie sie diese Pflichten umsetzen und z. B. Leitfäden an die Hand geben. Formulare können beispielsweise direkt eingebunden werden, um die Dokumentation zu erleichtern.