HR und KI: Wo die rechtlichen Fallen lauern

Am 9. Dezember 2023 haben der Europäische Rat und das Europäische Parlament eine Einigung über ein europäisches KI-Gesetz (EU-AI-Act) erzielt und damit den Weg für eine europäische Regulierung von KI geebnet. Dieser Beitrag gibt einen Überblick über die derzeitigen und die zukünftigen Spielregeln beim Einsatz von KI-Anwendungen in der Personalpraxis.

Derzeitiger Rechtsrahmen beim Einsatz von KI-Anwendungen

Anwendungen, die KI verwenden (KI-Anwendungen), können in der Personalpraxis vielfältig eingesetzt werden. Ihr möglicher Anwendungsbereich reicht bereits heute von der Personalgewinnung ("Robo-Recruiting") über die Dienstplanerstellung bis hin zur Leistungskontrolle. Gemein ist KI-Anwendungen, dass ein Algorithmus zur Anwendung kommt, der zum einen sehr große Mengen von Daten verarbeiten kann und zum anderen selbstlernend ist. KI-Anwendungen sind in der Lage, aus großen Datenmengen zu lernen, Muster zu erkennen und in der Folge selbstständige Entscheidungen zu treffen. Kommen KI-Anwendungen zum Einsatz, sind schon heute die Vorgaben des Allgemeinen Gleichbehandlungsgesetzes (AGG) und des Datenschutzrechts (BDSG und DS-GVO) zu beachten. Darüber hinaus bestehen unterschiedliche Beteiligungsrechte des Betriebsrats.

KI-Anwendungen und Diskriminierungsverbot

Während menschliches Handeln und menschliche Entscheidungen wesentlich von den bisherigen Lebenserfahrungen des Handelnden geprägt werden und in der Folge von bewussten oder unbewussten diskriminierenden Vorurteilen beeinflusst sein können, suggerieren Entscheidungen einer Künstlichen Intelligenz Objektivität. Sie erwecken zunächst den Eindruck, neutral und unbeeinflusst getroffen zu werden. Das ist aber nur auf den ersten Blick der Fall. Denn auch eine KI ist anfällig für diskriminierende Entscheidungen. Typischerweise kommen hierfür zwei Einfallstore in Betracht:

• Zum einen kann ein Datensatz, mit dem eine KI trainiert worden ist, diskriminierende Daten enthalten haben, sodass die KI bei ihrer Entscheidung diese Diskriminierung fortschreibt. Beispiel: Wird eine KI-Anwendung eingesetzt, deren KI nach Training mit Daten bisher erfolgreicher Bewerbungen, eingehende Bewerbungen analysiert und ein Ranking der Bewerber erstellt, kann sie zu dem Ergebnis führen, dass ein Geschlecht im Vergleich zu anderen überdurchschnittlich häufig als geeignet eingestuft wird, wenn es in der Vergangenheit bei Bewerbungen häufiger erfolgreich war.
     
• Zum anderen ist eine KI das Produkt einer menschlichen Entwicklungsleistung. Sie kann daher auch von Vorurteilen des Entwicklers geprägt sein und deshalb bereits aufgrund ihrer Programmierung diskriminierende Entscheidungen treffen.

In der Folge kann es zu einer unmittelbaren oder mittelbaren Benachteiligung im Sinne des § 3 Abs. 1 bzw. Abs. 2 AGG kommen. Bei Bekanntwerden einer solchen diskriminierenden (KI-basierten) Personalpraxis besteht nicht nur das Risiko eines erheblichen Schadens für die Reputation und die Unternehmenskultur, sondern es drohen auch Schadensersatz- und Entschädigungsansprüche gegen den Arbeitgeber nach § 15 AGG oder (öffentlichkeitswirksame) Auseinandersetzungen darüber. Beim Einsatz von KI-Anwendungen ist daher idealerweise in einer realitätsnahen Testphase kritisch zu prüfen, ob die zur Anwendung kommende KI zu Ergebnissen führt oder führen kann, die gegen das AGG verstoßen.

Wenn der Einsatz von KI den Datenschutz betrifft

Werden beim Einsatz von KI-Anwendungen – wie im Regelfall – personenbezogene Daten verarbeitet, muss dies zulässig sein. Dabei sind neben den allgemeinen datenschutzrechtlichen Vorgaben auch spezielle für den Einsatz von KI zu beachten. 

Maßstab ist zunächst § 26 Abs. 1 S. 1 BDSG. Danach ist eine Datenverarbeitung im Arbeitsverhältnis zulässig, wenn sie

• für die Entscheidung über die Begründung des Beschäftigungsverhältnisses oder
• für die Durchführung des Beschäftigungsverhältnisses oder
• die Beendigung des Beschäftigungsverhältnisses erforderlich ist.

Geprüft werden muss in jedem Einzelfall,

• ob die Datenverarbeitung durch die KI-Anwendung geeignet ist, das erstrebte Ziel zu erreichen,
• ob kein milderes Mittel zur Verfügung steht und
• ob die Interessen des Unternehmens den Eingriff in die Persönlichkeitsrechte der betroffenen Beschäftigten überwiegen.

Liegen diese Voraussetzungen nicht vor, ist es zwar theoretisch auch möglich, dass die Datenverarbeitung durch die KI-Anwendung stattdessen aufgrund einer freiwilligen Einwilligung des betroffenen Mitarbeiters zulässig ist. Die Freiwilligkeit der Einwilligung darf aber nicht vorschnell angenommen werden. Sie ist jederzeit widerruflich und daher so volatil, dass sie für die betriebliche Praxis in der Regel zu unzuverlässig ist. Dass der EuGH in seinem Urteil vom 30.3.2023 (Az. C-34/21) eine mit § 26 BDSG vergleichbare Norm für unionsrechtswidrig erklärt hat, bewirkt für die Praxis keine wesentliche Änderung: Soweit nicht Art. 6 Abs. 1 Buchst. b oder c DSGVO einschlägig sind, wird sich die Verarbeitung von Beschäftigtendaten in weiten Teilen auf Buchst. f stützen lassen. Dabei ist eine Interessenabwägung durchzuführen, die sich nicht bedeutend von der Verhältnismäßigkeitsprüfung unterscheidet, die das BAG bei Anwendung des § 26 BDSG durchführt (vergleiche dazu Beschluss des BAG vom 7. Mai 2019, Az. 1 ABR 53/17).

HR muss beim KI-Einsatz Entscheidungshoheit behalten

Neben diesen allgemeinen Schranken sind dem Einsatz von KI-Anwendungen zudem durch Art. 22 Abs. 1 DSGVO Grenzen gesetzt. Danach dürfen Entscheidungen, die gegenüber dem Betroffenen eine rechtliche Wirkung entfalten oder ihn erheblich beeinträchtigen, nicht allein auf Grundlage einer automatisierten Datenverarbeitung getroffen werden.

Beispiel: Eine KI-Anwendung, die Bewerbungen analysiert und dem aus ihrer Sicht am ungeeignetsten Bewerber automatisiert eine Absage erteilt, ist mit Art. 22 Abs. 1 DSGVO unvereinbar, da die KI-Anwendung in diesem Fall automatisiert eine für den Bewerber nachteilige Entscheidung trifft.

Beschränkt sich der Anwendungsbereich der KI-Anwendung hingegen auf das bloße Vorsortieren der Bewerbungen und verbleibt die Entscheidung über eine Absage letztlich bei der Personalabteilung, sind die Vorgaben des Art. 22 Abs. 1 DS-GVO gewahrt. Die Personalabteilung muss also beim Einsatz von KI im Bewerbungsprozess darauf achten, die Entscheidungshoheit in der Hand zu behalten.

Ist der Einsatz der KI nicht durch Art. 22 Abs. 1 DSGVO gerechtfertigt, besteht auch hier zwar theoretisch die Möglichkeit, die KI aufgrund einer ausdrücklichen Einwilligung der betroffenen Personen nach Art. 22 Abs. 2 lit. c) DSGVO anzuwenden. Aus den vorgenannten Gründen ist dies für die Personalpraxis in der Regel aber keine Option. Bei Verstößen drohen neben Ansprüchen auf Schadensersatz (Art. 82 DSGVO) auch behördliche Anordnungen (einschließlich des Unterlassens einer Datenverarbeitung, Art. 58 Abs. 2 DSGVO), Bußgelder von bis zu 4 Prozent des weltweiten gruppenweiten Umsatzes wegen Ordnungswidrigkeiten (Art. 83 DSGVO) oder im schlimmsten Fall sogar eine strafrechtliche Verantwortlichkeit oder Verurteilung (§ 42 BDSG).

Bei der Einführung von KI-Systemen Mitbestimmung berücksichtigen

Neben dem AGG und dem Datenschutzrecht sind bei der Einführung und dem Einsatz von KI-Anwendungen auch die Beteiligungsrechte des Betriebsrats zu beachten. Das Betriebsverfassungsgesetz sieht zunächst vor, dass der Betriebsrat über die Planung des Einsatzes von KI nach § 90 Abs. 1 Nr. 3 BetrVG zu unterrichten ist, wenn sich der Einsatz von KI auf Arbeitsverfahren und Arbeitsabläufe auswirkt.

Daneben kann bei der Einführung von KI-Anwendungen ein Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 BetrVG bestehen, wenn die KI-Anwendung objektiv dazu geeignet ist, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen. Je nach Aufgabenzuschnitt und Entscheidungsbefugnis der KI-Anwendung können darüber hinaus noch weitere Tatbestände des § 87 Abs. 1 BetrVG einschlägig sein, etwa Nr. 1 (Ordnung des Betriebs), Nr. 2 (Beginn und Ende der Arbeitszeit), Nr. 3 (Anordnung von Überstunden) oder Nr. 5 (Urlaubsgewährung). Stellt eine KI-Anwendung eigenständig Richtlinien über die Auswahl von Personal auf, stellt § 95 Abs. 2a BetrVG klar, dass auch in diesem Fall die Beteiligungsrechte des Betriebsrats nach § 95 Abs. 1, 2 BetrVG bestehen. Eine Auswahlrichtlinie bedarf daher auch dann der Zustimmung des Betriebsrats, wenn sie von einer Künstlichen Intelligenz aufgestellt wird. 

Der Betriebsrat kann nach Vereinbarung mit dem Arbeitgeber gemäß § 80 Abs. 3 BetrVG einen Sachverständigen hinzuziehen, wenn er die Einführung und Anwendung von KI zu beurteilen hat. Der Einsatz von KI-Anwendungen im Betrieb kann sogar zu einer Betriebsänderung gemäß §§ 111 ff. BetrVG führen und dadurch Beteiligungsrechte des Betriebsrats auslösen. Voraussetzung ist, dass die Einführung von KI-Anwendungen zu einer grundlegenden Veränderung von Betriebsanlagen (§ 111 S. 3 Nr. 4 BetrVG) oder zur Einführung grundlegend neuer Arbeitsmethoden und Fertigungsverfahren führt (§ 111 S. 3 Nr. 5 BetrVG).

Zukünftiger Rechtsrahmen beim Einsatz von KI-Anwendungen

In Zukunft wird der Regelungsrahmen noch komplexer, weil zudem der EU-AI-Act und ein noch zu schaffendes Beschäftigtendatenschutzgesetz beachtet werden müssen. Bereits im Jahr 2021 hat die Europäische Kommission ein europäisches Gesetz über KI (EU-AI-Act) vorgeschlagen. Nach langen Verhandlungen über den Gesetzesentwurf haben Europäischer Rat und Europäisches Parlament am 9. Dezember 2023 eine vorläufige Einigung über den EU-AI-Act erzielt. Nach nun erfolgender Finalisierung des Gesetzestextes und förmlicher Annahme des Gesetzes durch Rat und Parlament, soll der EU-AI-Act noch im Frühjahr in Kraft treten. Er soll dann zwei Jahre nach seinem Inkrafttreten, also voraussichtlich im Jahr 2026, zur Anwendung kommen.

Der EU-AI-Act sieht unter anderem vor, dass KI-Anwendungen einer von vier Risikostufen (unannehmbares Risiko; Hochrisiko; allgemeine und generative KI; begrenztes Risiko) zugeordnet werden. Je nach Risikostufe sollen dann unterschiedliche Regelungen gelten. Je höher das Risiko, desto strenger die Regulierung durch den europäischen Gesetzgeber. Fällt eine KI-Anwendung in die Risikostufe "unannehmbar", ist deren Inverkehrbringen, Inbetriebnahme oder Verwendung in der EU verboten. Ist eine KI-Anwendung hingegen der Risikostufe "Hochrisiko" zuzuordnen, ist ihre Verwendung grundsätzlich zulässig. Es gelten in diesem Fall jedoch strenge Anforderungen. Kann eine KI-Anwendung weder der Risikostufe "unannehmbar" noch "Hochrisiko" zugeordnet werden, fällt sie in die Risikostufe "allgemeine und generative KI" beziehungsweise "begrenztes Risiko". In diesem Fall gelten zunächst unterschiedliche Transparenzpflichten. Allzweck-KI-Anwendungen mit großen Auswirkungen, die ein Systemrisiko darstellen können (wie Chat-GPT-4), müssen einer gründlichen Bewertung unterzogen werden. Zudem müssen für solche KI-Anwendungen alle schwerwiegenden Vorfälle der Europäischen Kommission gemeldet werden.

AI-Act: KI-Tools in HR gelten als Hochrisiko-KI-Systeme

KI-Anwendungen im Bereich der Personalpraxis werden regelmäßig Hochrisiko-KI-Systeme sein. Nach Art. 6 Abs. 3 EU-AI-Act-Entwurf in Verbindung mit Anhang III Nr. 4 EU-AI-Act-Entwurf gelten KI-Systeme aus dem Bereich Beschäftigung und Personalmanagement, die für die Einstellung und Auswahl natürlicher Personen verwendet werden sollen, als Hochrisiko-KI-Systeme. Gleiches gilt für KI-Systeme, die verwendet werden sollen, um über Beförderungen und Kündigungen zu entscheiden, die aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften Aufgaben zuweisen sowie die Leistung und das Verhalten von Beschäftigten beobachten und bewerten sollen. Darüber hinaus gelten nach Art. 6 Abs. 3 EU-AI-Act-Entwurf in Verbindung mit Anhang III Nr. 3 a) EU-AI-Act-Entwurf auch solche KI-Systeme als Hochrisiko-KI-Systeme, die über die Zulassung zu beruflichen Fortbildungen entscheiden.

Als Folge der Einordnung als Hochrisiko-KI-Systeme werden bei ihrem Einsatz eine Vielzahl von Regelungen zu beachten sein. Unter anderem wird ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten werden müssen (Art. 9 EU-AI-Act-Entwurf) und es werden besondere Qualitätskriterien für die Daten gelten, mit denen die KI trainiert werden darf (Art. 10 EU-AI-Act-Entwurf). Auch wird eine menschliche Aufsicht über das KI-System erforderlich werden (Art. 29 Abs. 1a EU-AI-Act-Entwurf) und vom KI-System automatisch erstellte Protokolle über Vorgänge und Ereignisse während des Lebenszyklus des KI-Systems werden aufbewahrt werden müssen (Art. 29 Abs. 5 EU-AI-Act-Entwurf).

Verstöße gegen die Pflichten des EU-AI-Act sollen zudem mit empfindlichen Geldbußen in Abhängigkeit vom weltweiten Jahresumsatz des zuwiderhandelnden Unternehmens geahndet werden können. Unternehmen sollten daher vorausschauend die Einhaltung des EU-AI-Act prüfen und sicherstellen.

Neues Beschäftigtendatenschutzgesetz soll auch KI-Einsatz regeln

Im aktuellen Koalitionsvertrag der Bundesregierung ist vorgesehen, neue Regelungen zum Beschäftigtendatenschutz zu schaffen. Ein konkreter Gesetzesvorschlag liegt noch nicht vor. Das Bundesministerium des Inneren und für Heimat (BMI) sowie das Bundesministerium für Arbeit und Soziales (BMAS) haben jedoch ein gemeinsames Eckpunktepapier veröffentlicht. Danach soll ein eigenständiges Beschäftigtendatenschutzgesetz geschaffen werden. Dieses soll auch den Einsatz von KI regulieren und den Spielraum, der nach dem EU-AI-Act für den nationalen Gesetzgeber verbleibt, nutzen. Vorgesehen werden sollen Regelungen für typische Datenverarbeitungsvorgänge im Beschäftigungskontext, die auf KI beruhen. Ziel der Bundesregierung ist es, hier für die Beschäftigten mehr Transparenz beim Einsatz von KI zu schaffen. Auch insoweit gilt es daher, die weitere Entwicklung genau zu beobachten und im Betrieb eingesetzte KI-Anwendungen rechtzeitig auf ihre Vereinbarkeit mit dem zukünftigen Beschäftigungsdatenschutzgesetz zu überprüfen beziehungsweise sie anzupassen.

Interne Richtlinien zum Einsatz von KI sorgen für Transparenz

Schon heute unterliegt der Einsatz von KI-Anwendungen im Personalbereich komplexen Regelungen und sich daraus ergebenden Grenzen. Die bisher eingesetzten KI-Anwendungen sollten daher einer kritischen Risikobewertung unterzogen werden; sie sollte auch bei der Beschaffung und dem Einsatz neuer KI-Anwendungen als Standardprozess etabliert werden. Mit Blick auf die Beteiligungsrechte des Betriebsrats sollte über eine Rahmenbetriebsvereinbarung über den Einsatz von KI-Anwendungen nachgedacht werden.

Die weitere Regulierung des Einsatzes von KI-Anwendungen steht bereits in den Startlöchern. Auch wenn der EU-AI-Act noch nicht gilt, sollten seine Vorgaben bereits jetzt in den Prozess der Risikobewertung einbezogen und eingesetzte Anwendungen frühzeitig angepasst werden, um die Compliance von KI-Anwendungen in der Personalpraxis sicherzustellen. Gleiches wird für das noch zu schaffende Beschäftigtendatenschutzgesetz gelten.

Zudem wird es immer wichtiger werden, eigene unternehmensinterne Richtlinien zum Einsatz von KI aufzustellen. Das hilft nicht nur, die Unternehmenskultur zu wahren und verschiedene Stakeholder abzuholen. Ein transparenter und risikoarmer Einsatz von KI kann zukünftig auch ein wichtiger Attraktivitätsfaktor für Arbeitgeber sein.

Dieser Beitrag ist erschienen in Personalmagazin 3/2024. Als Abonnent haben Sie Zugang zu diesem Beitrag und allen Artikeln dieser Ausgabe in unserem Digitalmagazin als Desktop-Applikation oder in der Personalmagazin-App.

Das könnte Sie auch interessieren:

Welche Chancen Künstliche Intelligenz für HR bietet

Trendanalyse: Wie KI den Arbeitsalltag von HR in Zukunft prägt

Ethikbeirat HR Tech: Ethikrichtlinien zu Künstlicher Intelligenz