Abstract
Aktuell dürfen oder sollen die meisten KI-Systeme keine personenbezogenen Daten aus dem Schulalltag verarbeiten. Technische Lösungen zur automatischen Entfernung solcher Daten aus Prompts (PII Redaction) versprechen hier Abhilfe. Der Beitrag erläutert, wie diese Verfahren funktionieren, welche Grenzen sie haben und warum sie die menschliche Kontrolle nicht ersetzen können. Am Beispiel schulischer Anwendungsfälle und der Landeslösung AIS.chat wird deutlich, weshalb Lehrkräfte auch beim Einsatz solcher Werkzeuge Prompts weiterhin sorgfältig auf personenbezogene Daten prüfen und diese gegebenenfalls selbst entfernen müssen.
Es gibt verschiedene Gründe, warum keine personenbezogenen Daten über Prompts an KI-Systeme übergeben werden sollen oder dürfen. In vielen Fällen ist es eine fehlende Freigabe der KI oder der KI-gestützten Anwendung für die Verarbeitung von personenbezogenen Daten. Ein gutes Beispiel hierfür ist die NRW “Assistenz „Lehrkräfte: Situationen einordnen, Kommunikation gestalten“ des Ministeriums für Schule und Bildung (MSB) für die Landes KI-Lösung AIS.chat. Sie unterstützt Lehrkräfte bei der rechtlichen Einordnung von Situationen im schulischen Alltag sowie bei der Formulierung von Schreiben und der Kommunikation mit Eltern und Erziehungsberechtigten und verspricht damit Erleichterung im schulischen Alltag. Besonders groß wäre die Entlastung, wenn eingehende Schreiben von Eltern, Gesprächsnotizen oder Dokumentationen zum Verhalten einer Schülerin oder eines Schülers unmittelbar in die KI eingegeben werden könnten, damit diese den Sachverhalt rechtlich einordnet und einen geeigneten Antwortentwurf erstellt. Da diese Unterlagen regelmäßig personenbezogene und mitunter auch besonders schützenswerte personenbezogene Daten enthalten, ist ihre Übermittlung an AIS.chat datenschutzrechtlich nicht zulässig.
Mitunter nutzen Lehrkräfte auch private KI-Konten bei großen Anbietern, unabhängig davon, ob diese kostenlos oder kostenpflichtig sind, um schulische Inhalte zu bearbeiten, etwa Leistungsüberprüfungen, Feedback zu Schülerarbeiten oder Elternschreiben. Den meisten dürfte bewusst sein, dass die Verarbeitung personenbezogener Daten datenschutzrechtliche Probleme aufwirft. Unabhängig davon, dass die Nutzung privater „Schatten-KI“ zur Verarbeitung personenbezogener Daten aus der Schule regelmäßig unzulässig ist, stellt sich für diese Nutzer dasselbe Problem wie im zuvor beschriebenen Beispiel. Wie lassen sich personenbezogene Daten vermeiden oder mit wenig Aufwand entfernen?
Soll ein KI-System zur Erstellung beispielsweise eines Elternschreibens genutzt werden, das nicht für die Verarbeitung personenbezogener Daten freigegeben ist, gibt es grundsätzlich zwei Möglichkeiten. Entweder wird der zugrunde liegende Sachverhalt für den Prompt so formuliert, dass er keine personenbezogenen Daten und auch keine Informationen mehr enthält, die allein oder in Kombination Rückschlüsse auf eine identifizierbare Person zulassen. Oder aus einem Elternschreiben, das als Grundlage für einen Prompt dienen soll, werden sämtliche identifizierenden Angaben entfernt oder durch Platzhalter ersetzt. Nach der Bearbeitung durch die KI wird das Ergebnis anschließend in einer Textverarbeitung oder einem E-Mail-Programm übernommen, inhaltlich überprüft und erst dort wieder mit den erforderlichen personenbezogenen Angaben ergänzt. Dieser zusätzliche Arbeitsschritt schmälert, neben der ohnehin erforderlichen fachlichen Kontrolle der KI-Antwort, einen erheblichen Teil der erhofften Arbeitserleichterung.
PII Redaction
Wo es Probleme gibt, entstehen häufig auch passende Lösungen. Für das zuvor beschriebene Problem finden sich Begriffe wie PII Redaction, PII Masking, Per-Prompt-Masking oder Data Masking. Die Bezeichnungen unterscheiden sich zwar, das Grundprinzip der Prompt-Anonymisierung ist stets dasselbe.
Allen Verfahren ist gemeinsam, dass sie einen Prompt vor der Übermittlung an das KI-System automatisiert auf personenbezogene Daten untersuchen. Erkannte Informationen wie Namen, Geburtsdaten, E-Mail-Adressen, Anschriften oder andere identifizierende Angaben werden durch Platzhalter ersetzt, beispielsweise „Name 23“, „Geburtsdatum 23“, „E-Mail 23“ oder „Adresse 23“. Erst der so bereinigte Prompt wird an das KI-System übermittelt. Nach der Verarbeitung ersetzt die auf Prompt-Anonymisierung spezialisierte Anwendung die Platzhalter im Ergebnis wieder durch die ursprünglichen Angaben.
Entsprechende Lösungen gibt es in unterschiedlichen Ausprägungen. Einige werden als Browser-Erweiterungen bereitgestellt, andere als eigenständige Anwendungen oder als Bestandteil von KI-Plattformen. Teilweise kommen zusätzlich lokal ausgeführte KI-Modelle zum Einsatz, um personenbezogene Daten zuverlässiger zu erkennen. Viele dieser Lösungen sind jedoch nicht universell einsetzbar, sondern speziell auf die Zusammenarbeit mit einzelnen KI-Systemen oder den Angeboten bestimmter Anbieter, insbesondere der großen US-amerikanischen KI-Dienste, ausgelegt.
Die Grenzen der PII Redaction
Auf den ersten Blick erscheint der automatisierte Austausch personenbezogener Daten gegen Platzhalter mit anschließendem Wiedereinsetzen der Originaldaten als elegante Lösung. Er verspricht, die Arbeit mit KI-Systemen erheblich zu erleichtern und gleichzeitig datenschutzrechtliche Risiken zu reduzieren.
In der Praxis stößt dieses Verfahren jedoch an Grenzen. Wie bereits beschrieben, sind viele dieser Lösungen auf die Zusammenarbeit mit einzelnen, meist großen KI-Systemen ausgelegt und können daher nicht ohne Weiteres mit anderen Plattformen oder den Assistenzen der Landeslösung AIS.chat genutzt werden. Hinzu kommt ein weiteres, grundsätzliches Problem: Die automatische Erkennung personenbezogener Daten arbeitet nicht zuverlässig. Werden personenbezogene Daten nicht erkannt (False Negatives), gelangen sie ohne eine weitere Kontrolle unverändert an das KI-System. Umgekehrt können auch Informationen als personenbezogene Daten eingestuft und ersetzt werden, obwohl dies im konkreten Zusammenhang gar nicht erforderlich wäre (False Positives).
Auf diese Grenzen weisen auch die Entwickler von Privacy Guardrail hin. Dabei handelt es sich um eine vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) entwickelte Open-Source-Erweiterung für Google Chrome auf Desktop-Geräten. Die Anwendung verarbeitet die eingegebenen Inhalte vollständig lokal im Browser. Sie soll personenbezogene und andere sensible Informationen erkennen, durch Platzhalter ersetzen und nach Eingang der Antwort des KI-Systems wiederherstellen.
Die derzeit als Public Beta verfügbare Anwendung arbeitet mit zwei lokalen Erkennungsebenen. Deterministische Erkennungsregeln identifizieren strukturierte Angaben anhand ihres Formats, etwa „E-Mail-Adressen, Kreditkartennummern, IBANs oder IP-Adressen“. Ergänzend nutzt die Erweiterung eine lokale KI-Komponente, um personenbezogene und andere sensible Informationen anhand ihres jeweiligen Kontextes zu erkennen. Vor der Übermittlung können Nutzerinnen und Nutzer die erkannten Inhalte überprüfen, Markierungen anpassen oder einzelne Treffer aufheben.
Das DFKI ist sich der Grenzen des Systems bewusst und kommuniziert diese offen:
„Sensible Inhalte können übersehen, harmlose Inhalte fälschlich markiert und ungewöhnlich formatierte Texte schlechter erkannt werden.“
Privacy Guardrail versteht sich deshalb lediglich als unterstützende Schutzschicht. Die Anwendung bietet weder eine Garantie für eine vollständige Anonymisierung noch für die sichere Verhinderung einer Offenlegung personenbezogener Daten. Auch die Einhaltung datenschutzrechtlicher Vorgaben kann durch ihren Einsatz allein nicht gewährleistet werden.
Es ist davon auszugehen, dass vergleichbare Grenzen grundsätzlich auch bei anderen Lösungen bestehen, die eine automatische Anonymisierung oder Maskierung von Prompteingaben versprechen. Nicht alle Anbieter weisen jedoch ebenso deutlich darauf hin. Einheitliche und aussagekräftige Benchmarks zu den Fehlerquoten von PII-Redaction-Lösungen sind kaum zu finden. Dies dürfte auch daran liegen, dass ihre Erkennungsleistung stark von der Sprache, der Textart, dem Kontext und der Formatierung der eingegebenen Inhalte abhängt.
Für schulische Anwendungsfälle lassen sich aus allgemeinen Benchmarks (Tests zur Überprüfung der Leistungsfähigkeit dieser Lösungen) zudem nur begrenzt Rückschlüsse ziehen. Elternschreiben, Gesprächsnotizen, Förderinformationen oder Dokumentationen zum Verhalten von Schülerinnen und Schülern können komplexe Zusammenhänge enthalten, aus denen sich eine Person auch ohne unmittelbare Nennung ihres Namens identifizieren lässt. Gerade solche indirekten Identifikationsmöglichkeiten sind für automatisierte Systeme nur schwer zuverlässig zu erkennen. Hinzu kommt, dass diese Systeme in der Regel für Anwendungsfälle in Unternehmen entwickelt wurden. Die dort typischerweise verarbeiteten personenbezogenen Daten und die zugrunde liegenden Kontexte unterscheiden sich deutlich von den Besonderheiten des schulischen Umfelds.
Mit der zunehmenden Verbreitung agentischer KI stellt sich darüber hinaus ein weiteres Problem. Eine Filterung der ursprünglichen Prompteingabe reicht bei solchen Systemen unter Umständen nicht aus. Personenbezogene Daten können im Verlauf mehrstufiger Verarbeitungsprozesse erneut auftreten oder über Speicherfunktionen, Datenbankzugriffe, Unteragenten, Werkzeuge und externe Schnittstellen weitergegeben werden. Ein Beitrag über den Schutz personenbezogener Daten in agentischen KI-Systemen weist deshalb darauf hin, dass der Schutz nicht auf die Erkennung und Bereinigung des ersten Prompts beschränkt bleiben darf. Vielmehr muss der gesamte Datenfluss betrachtet und technisch abgesichert werden.
Fazit für Schulen
Die über AIS.chat bereitgestellten Assistenzen für Schulleitungen und Lehrkräfte sind derzeit noch keine agentischen KI-Systeme. Dennoch besteht auch bei diesen vergleichsweise einfachen Anwendungen die Herausforderung, personenbezogene Daten vor der Übermittlung an das KI-System zuverlässig aus Prompts zu entfernen.
Wie dieser Beitrag hoffentlich gezeigt hat, bleibt die menschliche Kontrolle dabei unersetzlich. Unabhängig davon, wie leistungsfähig ein System zur PII Redaction ist oder wie komplex der zugrunde liegende Sachverhalt ausfällt, muss der Nutzer den bereinigten Prompt sorgfältig prüfen und gegebenenfalls korrigieren, bevor er an das KI-System übermittelt wird. Nur so lässt sich mit hinreichender Sicherheit ausschließen, dass personenbezogene oder andere schützenswerte Informationen unbeabsichtigt an das KI-System weitergegeben werden.