DSGVO und generative KI: eine Checkliste für Entwickler

Zum Thema DSGVO und generative KI gibt es inzwischen viele juristische Beiträge. In diesem Artikel möchte ich etwas anderes tun: die Anforderungen in das übersetzen, was ein Softwareteam, das eine KI-Funktion baut, konkret tun muss.

Die Checkliste ist ursprünglich bei der Arbeit mit einem türkischen Dokument entstanden: Im November 2025 hat die türkische Datenschutzbehörde KVKK einen Leitfaden zu generativer KI und dem Schutz personenbezogener Daten veröffentlicht, aufgebaut als 15 Fragen. Da das türkische Datenschutzgesetz auf der früheren EU-Datenschutzrichtlinie beruht, sind die Grundgedanken denen der DSGVO sehr ähnlich. Für diese Fassung habe ich jeden Punkt am europäischen Rahmen gespiegelt: an der DSGVO, der Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ der Datenschutzkonferenz (DSK) vom Mai 2024 und der Stellungnahme 28/2024 des Europäischen Datenschutzausschusses (EDSA) zu KI-Modellen.

Vorab ganz klar: Dieser Artikel ist keine Rechtsberatung. Auch die genannten Papiere der Aufsichtsbehörden sind nicht rechtsverbindlich, sondern Auslegungshilfen; maßgeblich sind die DSGVO, das nationale Recht und die Rechtsprechung. Bevor Sie ein Projekt starten, sollten Sie es unbedingt gemeinsam mit Ihrer Rechtsabteilung oder Ihrem Datenschutzbeauftragten bewerten.

Was die Aufsichtsbehörden kurz gesagt erwarten

Für ein Entwicklungsteam sind diese Punkte am wichtigsten:

• Personenbezogene Daten können in jeder Phase eines KI-Systems verarbeitet werden: beim Training, bei der Nutzung und bei der Erzeugung von Ausgaben.
• Wer ein fertiges Modell für eigene Zwecke einsetzt, ist für diese Verarbeitung in der Regel Verantwortlicher im Sinne der DSGVO. Die Rollen ergeben sich aus der tatsächlichen Entscheidung über Zwecke und Mittel, nicht aus der Bezeichnung im Vertrag. Die DSK verlangt, die Verantwortlichkeit vor dem Einsatz festzulegen und verbindlich zu regeln.
• Für jede Verarbeitungstätigkeit braucht es eine eigene Rechtsgrundlage nach Art. 6 DSGVO. Laut EDSA kann das berechtigte Interesse in Frage kommen, aber nur nach einer sorgfältigen Abwägung, nicht als Automatismus.
• Bei einer Übermittlung in Drittländer gilt Kapitel V der DSGVO: zuerst ein Angemessenheitsbeschluss, andernfalls geeignete Garantien wie Standardvertragsklauseln.
• Nutzer müssen erfahren, dass sie mit einer KI interagieren, und die Datenschutzinformationen müssen in der Oberfläche erreichbar sein.
• Ergebnisse sind nicht immer richtig. Menschliche Kontrolle ist nötig, und Entscheidungen mit Rechtswirkung dürfen nach Art. 22 DSGVO grundsätzlich nicht allein automatisiert getroffen werden.
• Für die Sicherheit werden eine Datenschutz-Folgenabschätzung, datenschutzfreundliche Technikgestaltung und Tests gegen KI-spezifische Angriffe wie Prompt Injection empfohlen.

Übersetzen wir das in technische Schritte.

1. Den Datenfluss kartieren

Alles beginnt damit, zu wissen, wo personenbezogene Daten ins System gelangen und wohin sie fließen. In einer KI-Funktion liegen Daten meist an fünf Stellen:

1. Prompt: der Text, den der Nutzer eingibt, oder das Dokument, das er hochlädt.
2. Kontext: Daten, die das System dem Modell mitgibt, etwa ein Kundendatensatz, frühere Anfragen oder per RAG gefundene Dokumente.
3. Ausgabe: der vom Modell erzeugte Text. Er kann personenbezogene Daten enthalten und sogar falsche personenbezogene Daten erzeugen.
4. Logs: Anfragen und Antworten, die zur Fehlersuche oder Prüfung gespeichert werden.
5. Training und Verbesserung: Daten, mit denen das Modell trainiert oder feinjustiert wird.

Beantworten Sie für jede Stelle schriftlich drei Fragen: Welche personenbezogenen Daten liegen dort? Wohin gehen sie (welches Land, welcher Anbieter)? Wie lange werden sie gespeichert? Das Ergebnis ist zugleich eine gute Grundlage für das Verzeichnis von Verarbeitungstätigkeiten.

2. Was das Modell nicht sieht, kann nicht abfließen

Der Grundsatz der Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO) wird in der Architektur zur wirksamsten Maßnahme: Personenbezogene Daten gelangen gar nicht erst zum Modell. Das ist auch der Kern von Datenschutz durch Technikgestaltung nach Art. 25 DSGVO.

• Fragen Sie, ob die Daten nötig sind. Um einen Bericht zusammenzufassen, einen Text zu vereinfachen oder eine Anfrage einzuordnen, braucht es selten Name, Steuer-ID oder Telefonnummer einer Person.
• Maskieren Sie vor dem Versand. Ersetzen Sie Kennnummern, Telefonnummern, E-Mail-Adressen und Namen vor dem Senden durch Pseudonyme und übersetzen Sie sie bei Bedarf zurück, wenn die Antwort eintrifft.
• Schränken Sie den Kontext ein. Geben Sie dem Modell nur die Felder, die für die Aufgabe nötig sind, nicht den gesamten Kundendatensatz.
• Setzen Sie Berechtigungen auch im Kontext durch. Wenn Sie RAG nutzen, darf kein Dokument in den Kontext gelangen, das der Nutzer ohnehin nicht sehen dürfte.

3. Die Rechtsgrundlage je Tätigkeit festlegen

Training, Nutzung, Ausgabeerzeugung und Weiterentwicklung sind getrennte Tätigkeiten, und jede braucht ihre eigene Rechtsgrundlage. In der Software bedeutet das:

• Nutzerdaten zur Verbesserung des Modells zu verwenden, ist ein anderer Zweck, als dieselben Daten für den Dienst am Nutzer zu verarbeiten. Halten Sie beides getrennt und verwenden Sie Dienstdaten standardmäßig nicht für das Training.
• Öffentlich im Internet zugängliche Daten bleiben personenbezogene Daten und sind nicht automatisch frei verwendbar. Der EDSA betont in seiner Stellungnahme die vernünftigen Erwartungen der Betroffenen und stellt klar, dass ein mit personenbezogenen Daten trainiertes Modell nicht ohne Weiteres als anonym gilt. Wer mit Daten aus dem Web trainieren will, braucht eine gesonderte Prüfung.
• Die Einwilligung ist kein Knopf, der alles löst. Sie ist in der DSGVO zwar eine gleichrangige Rechtsgrundlage, muss aber freiwillig sein und kann jederzeit widerrufen werden (Art. 7 Abs. 3 DSGVO); im Beschäftigtenverhältnis ist die Freiwilligkeit zudem oft fraglich. Legen Sie die Rechtsgrundlage mit Ihrer Rechtsabteilung fest und betrachten Sie eine Einwilligungs-Checkbox nicht als Standardlösung.

4. Den Drittlandtransfer bei der Anbieterwahl lösen

Viele verbreitete große Sprachmodelle werden von Anbietern außerhalb der EU betrieben. Die Wahl des Modellanbieters ist deshalb auch eine Entscheidung über Datenübermittlungen.

• Klären Sie, in welcher Region der Anbieter die Daten verarbeitet und speichert. Viele Anbieter bieten inzwischen eine Verarbeitung in der EU an.
• Prüfen Sie in Vertrag und Einstellungen, ob über die API gesendete Daten für das Modelltraining verwendet werden und wie lange sie gespeichert bleiben. Die Bedingungen für Unternehmens-APIs und Chat-Apps für Verbraucher unterscheiden sich meist deutlich.
• Setzt der Anbieter die Daten nur in Ihrem Auftrag ein, brauchen Sie einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO.
• Für die USA gibt es seit Juli 2023 einen Angemessenheitsbeschluss zum EU-U.S. Data Privacy Framework, der für zertifizierte Unternehmen gilt. Ansonsten sind geeignete Garantien nach Art. 46 DSGVO nötig, typischerweise Standardvertragsklauseln. Das ist Sache Ihrer Rechtsabteilung, aber bei der technischen Auswahl zu fragen, ob der Anbieter diese Unterlagen liefern kann, ist Ihre Aufgabe.
• Für Aufgaben, die wirklich personenbezogene Daten brauchen, lohnt sich ein Modell, das in der EU oder auf Ihren eigenen Servern läuft.

5. Transparenz in die Oberfläche bringen

• Zeigen Sie deutlich, dass Nutzer mit einer KI sprechen oder dass ein Inhalt mit KI erzeugt wurde. Seit dem 2. August 2026 verlangt das auch Art. 50 der KI-Verordnung: KI-Systeme, die mit Menschen interagieren, müssen so gestaltet sein, dass die Personen dies erfahren, sofern es nicht offensichtlich ist.
• Beschreiben Sie den KI-Einsatz gesondert in den Datenschutzinformationen nach Art. 13 und 14 DSGVO: welche Daten zu welchem Zweck an welchen Anbieter gehen.
• Machen Sie die Datenschutzinformationen mit einem Klick von dem Bildschirm aus erreichbar, auf dem die KI-Funktion sitzt.

6. Betroffenenrechte technisch ermöglichen

Betroffene haben das Recht auf Auskunft, Berichtigung und Löschung (Art. 15 bis 17 DSGVO), und diese Rechte gelten in jeder Phase eines KI-Systems. Für die Architektur heißt das, Sie brauchen Antworten auf diese Fragen:

• Können Sie die Daten einer Person in Logs, im Cache und in der für RAG aufgebauten Vektordatenbank finden?
• Können Sie bei einem Löschantrag alle diese Kopien löschen?
• Wenn eine KI-Analyse zu einem Ergebnis zulasten einer Person führt: Gibt es einen Ablauf, in dem ein Mensch die Entscheidung prüft und die Person widersprechen kann? Die DSK weist darauf hin, dass eine nur formale Beteiligung eines Menschen nicht ausreicht.

Diese Antworten lassen sich nicht nachträglich einbauen; sie müssen beim Entwurf des Datenmodells mitgedacht werden.

7. Ausgaben prüfen

Generative Modelle können überzeugend klingende, aber falsche Informationen erzeugen. Bei personenbezogenen Daten bedeutet das: falsche Angaben über eine Person, was mit dem Grundsatz der Richtigkeit (Art. 5 Abs. 1 lit. d DSGVO) kollidiert.

• Ausgaben, die zu Entscheidungen über Menschen führen, brauchen immer eine menschliche Freigabe.
• Wenn Sie RAG nutzen, zeigen Sie an, auf welcher Quelle die Antwort beruht.
• Bauen Sie einen Testsatz aus echten Beispielen auf und führen Sie ihn jedes Mal erneut aus, wenn sich Modell oder Prompt ändern.

8. KI-spezifische Schwachstellen testen

Die klassischen Maßnahmen nach Art. 32 DSGVO (Berechtigungskonzept, Mehr-Faktor-Authentifizierung, sicheres Logging, Patch-Management) gelten auch hier. Hinzu kommen:

• Prompt Injection: Liest das Modell externe Inhalte (eine E-Mail, ein Dokument, eine Webseite), lässt es sich durch darin versteckte Anweisungen steuern. Beschränken Sie die Werkzeuge und Daten, auf die das Modell zugreifen kann, auf das Nötigste.
• Jailbreaks: Testen Sie gegen Prompts, mit denen Nutzer die Regeln des Modells zu umgehen versuchen.
• Schlüsselsicherheit: API-Schlüssel für das Modell dürfen nie auf der Client-Seite liegen (Mobile App, Browser). In der App Lullai laufen zum Beispiel alle KI-Aufrufe auf dem Server; in der App selbst steckt kein Schlüssel.
• Datenschutz-Folgenabschätzung: Bei Verarbeitungen mit hohem Risiko ist vor dem Livegang eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO durchzuführen. Die DSK verweist dafür auf ihre „Muss-Liste“.

9. Die Nutzung durch Beschäftigte nicht vergessen

In den meisten Organisationen entsteht das erste Datenschutzrisiko nicht durch ein selbst entwickeltes KI-Produkt, sondern dadurch, dass Beschäftigte Kundendaten in Chat-Apps für Verbraucher kopieren. Ein Verbot hilft meist wenig. Wirksamer sind:

• Eine kurze interne Richtlinie, die erklärt, welche Werkzeuge mit welchen Daten genutzt werden dürfen.
• Ein Unternehmenswerkzeug mit geklärten Datenbedingungen. Auch die DSK empfiehlt, Beschäftigten betriebliche Geräte und Accounts bereitzustellen, statt sie mit privaten Accounts arbeiten zu lassen.
• Einfache Beispiele dafür, wie man personenbezogene Daten maskiert.
• Die frühe Einbindung von Datenschutzbeauftragten und, wo vorhanden, Betriebs- oder Personalrat.

Die Checkliste

1. Eine Datenflusskarte liegt vor: Prompt, Kontext, Ausgabe, Logs, Training.
2. Die an das Modell gesendeten personenbezogenen Daten sind minimiert; nicht benötigte Felder werden maskiert.
3. Die Rechtsgrundlage für jede Tätigkeit ist mit der Rechtsabteilung festgelegt.
4. Verarbeitungsort, Speicherdauer und Trainingsbedingungen des Modellanbieters sind bekannt; Auftragsverarbeitungsvertrag und Garantien für Drittlandtransfers liegen vor.
5. Der KI-Einsatz ist in der Oberfläche gekennzeichnet, die Datenschutzinformationen sind erreichbar.
6. Es ist geprüft, dass sich Daten finden und löschen lassen, auch in Logs, Cache und Vektordatenbank.
7. Ausgaben mit Folgen für Menschen erfordern eine echte menschliche Freigabe.
8. Tests auf Prompt Injection und Jailbreaks sind durchgeführt; API-Schlüssel liegen auf dem Server.
9. Wo nötig, ist eine Datenschutz-Folgenabschätzung durchgeführt.
10. Eine Richtlinie zur KI-Nutzung für Beschäftigte ist veröffentlicht.

Häufige Fragen

Dürfen Beschäftigte Kundendaten in ChatGPT eingeben?

Das hängt von einer Bewertung ab, die das Unternehmen als Verantwortlicher treffen muss, und berührt in vielen Fällen die Frage des Drittlandtransfers und der Auftragsverarbeitung. In der Praxis ist der sicherste Weg, unmaskierte personenbezogene Daten nicht in Verbraucher-Werkzeuge einzugeben und Beschäftigten ein Unternehmenswerkzeug mit geklärten Bedingungen bereitzustellen.

Reicht eine Einwilligung der Nutzer aus?

Nicht automatisch. Die Einwilligung muss freiwillig, informiert und jederzeit widerrufbar sein, und ein Widerruf muss technisch umsetzbar sein. Sie ersetzt nicht die Prüfung, welche Rechtsgrundlage tatsächlich passt; legen Sie das gemeinsam mit Ihrer Rechtsabteilung fest.

Braucht jedes KI-Projekt mit personenbezogenen Daten ein Modell in der EU?

Nein, aber es kann die einfachste Lösung sein. Ein Entwurf, bei dem personenbezogene Daten gar nicht zum Modell gelangen, erlaubt den Einsatz leistungsfähiger Modelle auch außerhalb der EU. Für Aufgaben, die wirklich personenbezogene Daten benötigen, lohnt sich ein Modell, das in der EU oder auf den eigenen Servern läuft.

Warum eine Checkliste, die auf einem türkischen Leitfaden beruht?

Weil die technischen Fragen dieselben sind. Der Leitfaden der KVKK war für mich der Anlass, die Anforderungen einmal systematisch in Entwicklungsschritte zu übersetzen. Die rechtliche Einordnung in diesem Artikel folgt aber der DSGVO und den Papieren von DSK und EDSA, nicht dem türkischen Recht.

Fazit

Die Leitlinien der Aufsichtsbehörden sollen KI-Projekte nicht verhindern, sondern dafür sorgen, dass sie richtig aufgebaut werden. Aus Architektursicht beruhen die meisten Maßnahmen auf derselben Idee: Kennen Sie Ihre Daten, senden Sie nicht mehr als nötig, protokollieren Sie jeden Schritt und überlassen Sie die letzte Entscheidung über Menschen einem Menschen.

Wie sich diese Grundsätze in der Verwaltung umsetzen lassen, habe ich im Artikel über KI in Kommunen beschrieben, welche zusätzlichen Risiken Agenten mit sich bringen, im Artikel über KI-Agenten. Wenn Sie den Datenfluss Ihres eigenen Projekts gemeinsam durchgehen möchten, finden Sie mehr unter KI und Automatisierung oder Sie schreiben mir.