Künstliche Intelligenz

Die europäische Verordnung über Künstliche Intelligenz (KI-VO) legt fest, wie KI-Systeme und -Modelle innerhalb der Europäischen Union verantwortungsvoll entwickelt und genutzt werden sollen. Ziel der Regulierung ist es, die Nutzung von KI so zu gestalten, dass sowohl der Grundrechtschutz gewährleistet ist als auch vertrauenswürdige und menschenzentrierte KI-Modelle und -Systeme gefördert werden.

Der Schutz personenbezogener Daten ist in der KI-VO nur in Artikel 10 Absatz 5 und Artikel 59 geregelt. Für alle anderen Fälle, in denen personenbezogene Daten bei der Entwicklung oder Nutzung von KI-Systemen verarbeitet werden, gelten die Datenschutz-Grundverordnung (DSGVO), die JI-Richtlinie, die ePrivacy-Richtlinie sowie die entsprechenden nationalen Regelungen, zum Beispiel das Bundesdatenschutzgesetz und das Telekommunikation-Digitale-Dienste-Datenschutz-Gesetz (Artikel 2 Absatz 7 KI-VO).

Die KI-VO trat am 1. August 2024 in Kraft und ist als europäische Verordnung unmittelbar anwendbar. Allerdings wird sie schrittweise wirksam:

2. Februar 2025: Inkrafttreten der allgemeinen Bestimmungen, etwa zur KI-Kompetenz (Artikel 4 KI-VO) und zu verbotenen KI-Praktiken (Artikel 5 KI-VO)

2. August 2025: Beginn der Notifizierung von Hochrisiko-KI-Systemen, Regeln für KI-Modelle mit allgemeinem Verwendungszweck, KI-Governance, Sanktionen, Vertraulichkeitspflicht zuständiger Behörden

2. August 2026: Die Transparenzpflichten nach Artikel 50 KI-VO sind zu erfüllen (vgl. Artikel 113 KI-VO). Zudem sind alle weiteren Vorschriften einzuhalten, ausgenommen die Einstufung und Pflichten von Hochrisiko-KI-Systemen (Artikel 6 Absatz 1 KI-VO, Termin wird voraussichtlich durch den digitalen Omnibus verschoben).

2. August 2027: Vollständige Wirksamkeit aller Bestimmungen

Die KI-VO richtet sich primär an Entwicklerinnen und Entwickler sowie an Betreiber von KI-Systemen, die in der EU eingesetzt werden. Außerdem betrifft sie Anbieter, Einführer sowie Händler von KI-Systemen. Ebenso gilt die KI-Verordnung für Hersteller, die KI in ihre Produkte integrieren unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen. Auch Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind, müssen die KI-Verordnung einhalten (Artikel 2 Absatz 1 KI-VO) Natürliche Personen, die KI lediglich für persönliche und nicht berufliche Zwecke verwenden, fallen nicht unter die Verordnung (Artikel 2 Absatz 10 KI-VO). Eine vergleichbare Ausnahmeregelung gibt es auch in der DSGVO: Personenbezogene Daten, die ausschließlich zu persönlichen oder familiären Zwecken verarbeitet werden, unterliegen nicht der DSGVO (Artikel 2 Absatz 2 Buchstabe c DSGVO).

In der KI-VO wird ein risikobasierter Ansatz verfolgt – je höher das Risiko, desto strenger die Anforderungen. Dabei bemisst sich das Risiko eines KI-Systems nach der Wahrscheinlichkeit eines Schadenseintritts und der möglichen Schwere des Schadens (Artikel 3 Nr. 2 KI-VO).

• Verbotene Praktiken: Manche KI-Praktiken sind so risikobehaftet, dass sie unzulässig sind (Artikel 5 KI-VO), da sie ein zu hohes Risiko für die betroffenen Personen bergen. Dazu gehört zum Beispiel die gezielte manipulative Beeinflussung von Verhalten durch KI oder der Aufbau von Datenbanken zur Gesichtserkennung durch das massenhafte Sammeln von Bildern aus dem Internet oder Überwachungskameras. Die Europäische Kommission hat dazu Leitlinien veröffentlicht, die weitere Details und konkrete Beispiele liefern.
• Hochrisiko-KI-Systeme: Dazu gehören solche, bei denen ein besonders hohes Risiko für Einzelpersonen oder die Gesellschaft besteht. Laut Artikel 6 KI-VO zählen dazu KI-Systeme, die unter das Produktsicherheitsrecht fallen, sowie Systeme, die im Anhang III der Verordnung aufgelistet sind. Beispiele hierfür sind biometrische Fernidentifizierungssysteme oder KI-Anwendungen, die für die Kreditwürdigkeitsprüfung oder Bonitätsbewertung von Personen genutzt werden. Für Entwicklung und Betrieb dieser Systeme gelten besondere Anforderungen, die von Artikel 6 bis Artikel 49 KI-VO geregelt sind, u. a. besteht die Pflicht ein Konformitätsbewertungsverfahren vor Inbetriebnahme durchzuführen (Artikel 6, Artikel 43 KI-VO).
• Begrenztes Risiko: KI-Systeme, die direkt mit Menschen interagieren (z. B. Chatbots), müssen bestimmte Transparenzanforderungen, das heißt klare Informationen über ihre Funktionsweise bereitstellen (Artikel 50 KI-VO).
• KI-Modelle mit allgemeinem Verwendungszweck: Diese unterliegen gesonderten Anforderungen (Artikel 53 KI-VO), unabhängig davon, ob sie als Hochrisiko oder transparenzpflichtig eingestuft werden.

Für Systeme, die keiner der genannten Risikoklassen zugeordnet sind bzw. für die ein geringes Risiko besteht, gibt es keine speziellen Pflichten.

Anbieter: eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System oder ein KI‑Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI‑System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich (Artikel 3 Nr. 3 KI-VO). Anbieter haben umfangreiche Pflichten gemäß der KI-VO.

Betreiber: Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System in eigener Verantwortung verwendet, es sei denn, das KI‑System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet (Artikel 3 Nr. 4 KI-VO). Dies gilt zum Beispiel, wenn ein Unternehmen einen KI-Chatbot für Kundeninteraktionen einsetzt. Ob der Betreiber das System selbst entwickelt hat, spielt keine Rolle.

Bestimmte Betreiber von Hochrisiko-KI-Systemen müssen eine Grundrechte-Folgenabschätzung durchführen (Artikel 27 KI-VO). Ziel ist es, mögliche Risiken für die Rechte von Einzelpersonen oder Gruppen zu erkennen (Erwägungsgrund 96) und geeignete Maßnahmen zu ermitteln, die im Falle eines Eintretens dieser Risiken zu ergreifen sind.

Die Grundrechte-Folgenabschätzung ergänzt die Datenschutz-Folgenabschätzung nach Artikel 35 DSGVO. Praktisch bedeutet dies:

• Sie ist zusätzlich zur Datenschutz-Folgenabschätzung erforderlich, soweit die erforderlichen Prüfungen nicht bereits durchgeführt wurden.
• Methoden und Schritte aus der Datenschutz-Folgenabschätzung können weitgehend übernommen werden.

»KI-Kompetenz« beschreibt die Fähigkeiten »die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI‑Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden« (Artikel 3 Nr. 56 KI-VO).

Anbieter und Betreiber sind verpflichtet, »sicherzustellen, dass ihr Personal und von ihnen beauftragte Personen, die mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ausreichende KI-Kompetenzen verfügen« (Artikel 4 KI-VO).

Praktisch bedeutet das:

• Auswahl von Beschäftigten mit geeigneten technischer und rechtlicher Qualifikation
• Durchführung von Schulungen und Fortbildungen (Informationen der Bundesnetzagentur)
• Bei KI-Systemen, die personenbezogene Daten verarbeiten, sind Mitarbeitende auch in datenschutzrechtlichen Risiken zu schulen. Dazu gehören unter anderem:
  • Risiko der Ausgabe falscher personenbezogener Daten
  • Verzerrungen (Bias) in den Trainings- oder Ausgabedaten
  • Halluzinationen in den Ausgabedaten
  • Einhaltung des Verbots automatisierter Entscheidungen

Bevor LLM in der täglichen Arbeit eingesetzt werden, sollten verschiedene technische und organisatorische Maßnahmen (toM) ergriffen werden, um Sicherheit, Rechtskonformität und verantwortungsvollen Umgang zu gewährleisten:

1. Risikoeinstufung

Zunächst muss das KI-System nach den Vorgaben der KI-Verordnung hinsichtlich seines Risikoprofils bewertet werden. Darauf basierend sind die resultierenden rechtlichen Anforderungen umzusetzen.

2. Definition von Einsatzbereichen

Es sollte klar festgelegt werden, für welche Zwecke das KI-System genutzt werden darf, welche Aufgaben es übernimmt und auf welche Weise es eingesetzt wird.

3. Datenschutz

Bei der Verarbeitung personenbezogener Daten sind folgende Punkte zu beachten:

• Prüfen, ob eine geeignete Rechtsgrundlage für die Verarbeitung personenbezogener Daten vorhanden ist. Geeignete technische und organisatorische Maßnahmen identifizieren und implementieren
• Einhaltung der Datenschutz-Grundsätze gewährleisten (z. B. Datenminimierung, Zweckbindung)
• Sicherstellen, dass Betroffenenrechte gewährt werden können (z. B. Auskunft, Löschung)
• Schwellwertprüfung für Datenschutz-Folgenabschätzung (DSFA), und falls erforderlich, eine DSFA durchführen

4. Grundrechte-Folgenabschätzung durchführen

5. KI-Kompetenz sicherstellen

• z. B. durch Schulungen von Beschäftigten

6. Dienstanweisung oder Betriebsanweisung erstellen

Eine interne Richtlinie oder Dienstanweisung sollte die Bedingungen und Vorgaben für den sicheren und rechtskonformen Einsatz des LLM festlegen.

Folgende Vorgaben sind zu berücksichtigen:

1. Die Datenschutz-Grundverordnung (DSGVO) ist einzuhalten, insbesondere die Grundsätze der Datenverarbeitung gemäß Artikel 5 DSGVO müssen beachtet werden. Dazu zählen unter anderem Rechtmäßigkeit, Zweckbindung, Verarbeitung nach Treu und Glauben sowie Transparenz, Datenminimierung und Richtigkeit.
2. Abhängig vom Einsatzgebiet können zusätzliche Datenschutzgesetze relevant sein, beispielsweise das Bundesdatenschutzgesetz (BDSG) oder das Telekommunikation-Digitale-Dienste-Datenschutz-Gesetz (TDDDG)
3. Die Rechte der betroffenen Personen müssen gewahrt werden, darunter das Auskunftsrecht, Berichtigungsrecht, das Recht auf Löschung und das Widerspruchsrecht.

Für Landesbehörden in Sachsen gibt es Leitlinien für die Anwendung von im Internet zugänglichen KI-Systemen im Dienstgebrauch der Sächsischen Staatsverwaltung. Bei im Internet verfügbaren Produkte gilt, dass nur die KI-Modelle, welche von der Behördenleitung freigegeben wurden, verwendet werden dürfen. Es dürfen keine personenbezogenen Daten eingegeben werden und die Registrierung bei den Anbietern sollte mit einer pseudonymen oder anonymen E-Mail-Adresse erfolgen.

Wenn KI-Systemen unautorisiert genutzt werden, um berufliche Aufgaben zu erledigen, wird dies als »Schatten-KI« bezeichnet. Dies geschieht, wenn Mitarbeiterinnen und Mitarbeiter webbasierte KI-Systeme wie Gemini, Claude oder ChatGPT einsetzen, ohne dass diese offiziell in die IT-Infrastruktur des Unternehmens oder der Behörde integriert sind bzw. die Nutzung genehmigt ist.

Die Verwendung von Schatten-KI kann verschiedene Risiken bergen:

• Es besteht die Gefahr, dass Vorschriften der KI-Verordnung oder der DSGVO verletzt werden. Die Risikohöhe hängt dabei von der Einstufung der eingesetzten KI ab.
• Personenbezogene Daten könnten unkontrolliert und ohne Rechtsgrundlage verarbeitet werden, was zu Verstößen gegen die DSGVO führt.
• Fehlende Kompetenznachweise: Verstöße gegen die Pflicht zur Sicherstellung von KI-Kompetenz im Unternehmen sind möglich.

Um solche Risiken zu vermeiden, sollten Verantwortliche die Nutzung von Schatten-KI untersagen. Dies kann zum Beispiel durch eine Dienstanweisung oder interne Richtlinien erfolgen. Gleichzeitig ist es empfehlenswert, dass Organisationen bewusst festlegen, welche KI-Systeme unter welchen Bedingungen innerhalb der Organisation verwendet werden dürfen.

Artikel 22 DSGVO gibt der betroffenen Person das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Dazu zählen beispielsweise Entscheidungen über die Vergabe von Krediten, Personalentscheidungen wie Einstellungen oder Beförderungen sowie Entscheidungen über den Erlass eines Verwaltungsakts. Hierbei darf ein KI-System lediglich Empfehlungen oder Vorschläge machen, die endgültige Entscheidung muss jedoch eine natürliche Person fällen. Diese hat eine substanzielle Prüfung vorzunehmen. Das heißt, eine rein formale Bestätigung der von der KI vorgeschlagenen Empfehlung genügt nicht.

Wer eine Website betreibt, muss damit rechnen, dass öffentlich zugängliche Inhalte durch automatisierte Verfahren wie Web-Scraping erfasst und möglicherweise für das Training von KI-Modellen genutzt werden. Dies gilt insbesondere auch für veröffentlichte personenbezogene Daten.
Um dies erforderlichenfalls zu verhindern, sollten verschiedene technische und organisatorische Maßnahmen ergriffen werden. So empfiehlt es sich, personenbezogene Informationen nicht unnötig in frei zugänglichen Bereichen bereitzustellen. Soweit möglich, sollten diese Daten in geschützten Bereichen veröffentlicht werden, die nur einem festgelegten Nutzerkreis zugänglich sind.
Darüber hinaus kann die Datei »robots.txt« eingesetzt werden, um automatisierten Programmen mitzuteilen, dass bestimmte Bereiche einer Website nicht durchsucht oder ausgelesen werden sollen. Auch wenn eine solche Anweisung technisch nicht in jedem Fall verbindlich durchgesetzt werden kann, stellt sie eine wichtige Maßnahme dar, um die unerwünschte Nutzung von Webinhalten für Scraping- oder Trainingszwecke einzuschränken.