Im November 2022 ging OpenAI mit seinem generativen Sprachmodell ChatGPT an die Öffentlichkeit. Mehr als ein Jahr ist seither vergangen und die Entwicklung der “KI Plattformen” ist rasant fortgeschritten. ChatGPT und vergleichbare Plattformen wie Google Bard oder Claude von Anthropic haben sich weiterentwickelt, sind leistungsstärker geworden und haben neue Funktionen erhalten. Neben den großen Sprachmodellen (LLM), den textgenerierenden KI, entstanden auch bildgenerierende KI wie DALL-E von OpenAI oder Midjouney und Stable Diffusion. Aus einigen textgenerierenden KI wurden im Laufe der Monate so multimodale KI, Plattformen, die nicht nur textbasierte Inhalte erstellen können, sondern auch Bilder, Videos, Musik und Sprache, und neben Prompts im Textformat, auch Eingaben in Form von Bildern, Sprache, Ton und Video verarbeiten. Ergänzend zu API Schnittstellen haben Anbieter wie OpenAI neue Möglichkeiten geschaffen, die Funktionen ihrer Plattformen zu nutzen. Bei OpenAI ist das beispielsweise die Möglichkeit, eigene GPTs zu erstellen und anderen Nutzern zur Verfügung zu stellen. Einige dieser GPT integrieren dazu externe Dienste anderer Anbieter. Schon bevor es diese Möglichkeit gab nutzten zahlreiche Drittanbieter die API Schnittstellen der großen Anbieter, um darauf aufbauend eigene Produkte zu entwickeln. Die Palette reicht hier von Microsoft, wo ChatGPT und andere OpenAI KI Plattformen in eigene Produkte wie Microsoft 365 und Bing integriert wurden, über Apps für Mobilgeräte mit KI Funktionen bis zu Anbietern im Bildungsbereich, welche KI Funktionalitäten für Lehrkräfte und Schüler entwickelten Plattformen bereitstellen. Neben Anbietern, die auf die großen KI Plattformen der großen Anbieter setzen, kommen auch immer mehr Angebote auf den Markt, welche auf eigene KI Plattformen oder die Open Source Plattformen anderer Akteure setzen. Ergänzt werden diese Entwicklungen durch Anwendungen und spezialisierte Chips, die es ermöglichen, KI Plattformen jeglicher Art lokal auf Computern und digitalen Endgeräten wie Smartphones laufen zu lassen.
Schüler wie auch Lehrkräfte erkannten schon im November 2022 die Möglichkeiten, welche eine KI Plattform für die eigene Arbeit bringen kann, sei es für die Anfertigung von Hausaufgaben oder die Vorbereitung von Unterricht. Schnell war den am Bildungsprozess beteiligten Akteuren klar, dass Schule sich vor KI Plattformen nicht verschließen kann, sowohl mit Blick auf Medienerziehung wie auch als Werkzeug im Unterricht. Das Ministerium für Schule und Bildung (MSB) veröffentlichte nur drei Monate später im Februar 2023 seinen Handungsleitfaden Umgang mit textgenerierenden KI-Systemen. Andere Bundesländer folgten. Neben den Möglichkeiten zur unterrichtlichen Nutzung standen und stehen bei allen Handreichungen immer auch zwei rechtliche Aspekte im Fokus, Urheberrecht und Datenschutz.
ChatGPT, momentan im Zentrum aller Aufmerksamkeit und vermutlich der bislang meistgenutzte Anbieter, stand eine Zeit lang im Fokus der Aufsichtsbehörden. Italien verbot OpenAI gar die Bereitstellung seines Dienstes für Nutzer in Italien, bevor nicht einige Mängel abgestellt worden sind. Es ging u.a. um die Aufklärung italienischer Nutzer, dass ihre Daten möglicherweise zu Trainingszwecken verwendet und sachlich falsch von ChatGPT wiedergegeben werden könnten. Auch deutsche Aufsichtsbehörden wandten sich wiederholt mit Fragenkatalogen an den US Anbieter. ChatGPT ist in Italien wieder verfügbar und deutsche Aufsichtsbehörden kamen bisher nicht zu dem Schluss, zu vergleichbaren drastischen Maßnahmen greifen zu müssen. Auf Schulen hatte all das ohnehin keine Auswirkung. Auch eine Änderung der Geschäftsbedingungen von OpenAI bezüglich der Nutzung der KI Dienste via API im Januar wirkte sich nicht auf die Nutzung in Schulen aus. Der Anbieter hatte seine Nutzungsbedingungen im November 2023 um eine Passage ergänzt, die Drittanbieter verpflichten soll, von den Eltern von Schülerinnen und Schülern unter 16 Jahren vor Nutzung eine Einwilligung einzuholen. Vom Landesdatenschutzbeauftragte von Rheinland-Pfalz, Dieter Kugelmann, kam hier Entwarnung. Nach seiner Einschätzung ist eine Zustimmung von Eltern minderjähriger Schülerinnen und Schülern nicht erforderlich.
Mit der Entwicklung der textgenerierenden KI hin zu multimodalen KI mit neuen Ein- und Ausgabeformaten haben sich auch neue datenschutzrechtliche Herausforderungen ergeben. Wie sich im Verlauf der weiteren Betrachtungen zeigen wird, hat sich an den bisherigen Empfehlungen zu einer datenschutzfreundlichen schulischen Nutzung von KI Plattformen nichts wesentlich verändert. Ergänzt werden müssen die Empfehlungen jedoch vor allem mit Blick auf neue Eingabeformate, das meint hier vor allem Prompts in Form von Bild und Ton, also Spracheingaben sowie Fotos und Videos als Eingaben.
Beschränkt auf textgenerierende KI wie ChatGPT und die Eingabe von Prompts ausschließlich in Form von digitalem Text, konnten bisher als datenschutzfreundlich folgende Nutzungsszenarien empfohlen werden:
- Die Lehrkraft hat einen privaten Zugang, kostenlos oder kostenpflichtig, und nimmt die Prompts der Lerngruppe an, gibt sie selbst ein und teilt die Ergebnisse mit der Lerngruppe. Für Schülerinnen und Schüler bestehen keine Risiken, da sie nicht direkt mit der Plattform interagieren.
- Die Lehrkraft verfügt über einen Drittanbieterzugang, der von der Schule/ dem Träger/ Bundesland/ Medienzentrum bereitgestellt wird, und die Schule hat einen Vertrag zur Auftragsverarbeitung (AVV) mit dem Anbieter abgeschlossen. Über den Drittanbieterzugang kann die Lehrkraft anonyme Schülerzugänge erstellen. Für Schülerinnen und Schüler entstehen bei Einhaltung zuvor festgelegter Spielregeln keine Risiken bei einer Interaktion mit der Plattform.
- Die Schule hat einen eigenen Zugang, API Schlüssel und AVV mit dem Anbieter abgeschlossen und erstellt mit Oberstufenschülern eine eigene Plattform zur Nutzung der KI via API. Sind die Spielregeln klar, ist eine Nutzung mit älteren Schülerinnen und Schülern ab 16 Jahren möglich. Die Risiken sind begrenzt.
- Die Schule hat lokal als App auf Computern oder Tablets laufende KI Anwendungen. Eine Nutzung ist für Schülerinnen und Schüler ohne Risiken möglich, da keine Daten an Dritte abfließen. Trotzdem sollte es zuvor abgesprochene Spielregeln geben.
Risiken für Nutzer von KI Plattformen von Anbietern wie OpenAI, Microsoft, Google, Anthropic usw. ergeben sich vor allem aus den Inhalten von Prompts, wenn diese einen Personenbezug herstellen lassen. In Kombination mit einem individuellen Nutzerkonto beim KI Anbieter nehmen die Risiken noch einmal deutlich zu. Weitere Risiken können sich prinzipiell aus den Metadaten wie Gerätekennungen, Standortdaten, Cookies und Trackern ergeben, die es erlauben, einen Nutzer zu identifizieren. Werden Dateien wie Bild- und Tonaufnahmen zu Bestandteilen von Prompts, können mit diesen zusätzliche Metadaten übermittelt werden. Fotos und Videos, die Personen abbilden oder Spracheingaben enthalten weitere Daten, die einen Personenbezug herstellen lassen, wenn sie an die Anbieter der KI Plattformen übermittelt werden.
Auch wenn die großen US Anbieter in ihren Datenschutzerklärungen, Geschäftsbedingungen und Verträgen zur Auftragsverarbeitung mittlerweile ausschließen, von Nutzern eingegebene Prompts und andere Daten zu Trainingszwecken zu verwenden, bleibt die Übermittlung von personenbezogenen oder -beziehbaren Daten auf die Server von US Anbietern problematisch und ist im Rahmen unterrichtlichen Nutzung von KI Plattformen zur Erfüllung des Bildungs- und Erziehungsauftrags von Schulen nicht vertretbar.
Bei einer Nutzung via API über einen Drittanbieter reduzieren sich mögliche Risiken aus der Interaktion von Nutzer mit einer KI Plattform deutlich. Das individuelle Nutzerkonto und Metadaten der Geräte, mit welchen der Zugriff erfolgt, entfallen und erlauben es den KI Anbietern nicht, darüber den Bezug zu einer identifizierbaren Person herzustellen. Risiken könnten jetzt nur noch entstehen, wenn Prompts persönliche oder auf eine Person beziehbare Informationen enthalten. Diese Informationen können Teil von eingegebenen Texten wie auch von Bild- und Tondaten sein, bei Stimmeingaben die Stimme selbst und bei Prompts in Form von Bild- und Tonmedien die mit ihnen verbundenen Metadaten. Welche Risiken sich im Einzelnen ergeben können, hängt jeweils vom KI Plattform Anbieter ab, der Ausgestaltung der API und der Art und Weise, wie bzw. in welcher Form der Drittanbieter die Daten der Prompts an den Plattformanbieter übermittelt. Werden die Daten beim Drittanbieter bereits aufbereitet, wie dieses bei Prompts in Form von Texteingaben in der Regel der Fall ist, oder werden die Inhalte der Prompts wie im Fall von Bilddateien weitestgehend unverändert auf die Server des Plattformanbieters übertragen, wo dann die KI Anwendung mit ihnen interagiert?
Im Tätigkeitsbericht der Aufsichtsbehörde Baden Württemberg für 2023 findet sich auch ein kurzer Bericht zu einer Beratungstätigkeit, deren Gegenstand ein in der Entwicklung befindliches Moodle-Modul fAIrchat war. Dieses Modul nutzt ChatGPT von OpenAI über die vom Anbieter bereitgestellte API und zu den dazu gehörenden Terms of Use, die zusichern, dass Nutzerdaten nicht zu Weiterentwicklung oder Verbesserung von ChatGPT verwendet werden. Metadaten der einzelnen Nutzer werden durch den Zugriff auf ChatGPT über die API nicht an den Anbieter übermittelt. Eine Nutzungsordnung für fAIrchat untersagt Nutzern die Eingabe von personenbezogenen Daten. Ein individuelles Konto beim KI Anbieter gibt es nicht. Außerdem gibt fAIrchat Lehrkräften die Möglichkeit, Eingaben der Lernenden nachträglich einzusehen. Die Aufsichtsbehörde kommt zu dem Schluss „Sofern zusätzlich die jeweilige Lehrkraft die Schüler_innen auch ausdrücklich und für sie verständlich darüber aufklärt, dass sie keine personenbezogenen Daten in das System eingeben dürfen, und die Lehrkraft die Eingaben der Schüler_innen nachträglich überprüfen kann, die nachträgliche Kontrolle durch die Lehrkraft auch tatsächlich risikoangemessen zumindest stichprobenhaft erfolgt, scheint uns unter diesen Voraussetzungen eine Verwendung dieser KI im Rahmen des Unterrichts datenschutzrechtlich vertretbar.”
Das bedeutet, sind die folgende Bedingungen erfüllt:
- Nutzung durch Schülerinnen und Schülern via API entsprechend den Terms of Use,
- Nutzungsordnung, welche die Verwendung von personenbezogenen Daten untersagt,
- Aufklärung der Schülerinnen und Schülern über die Nutzungsregel – keine Eingabe von personenbezogenen Daten,
- Möglichkeit der stichprobenhaften nachträglichen Kontrolle von Eingaben durch die Lehrkraft und tatsächliche Umsetzung dieser Maßnahme durch die Lehrkräfte,
sieht man von Seiten der Aufsichtsbehörde keine datenschutzrechtlichen Probleme bei einer unterrichtlichen Nutzung.
Das lässt sich auch auf die unterrichtliche Nutzung multimodaler KI Plattformen via API und Drittanbieter übertragen. Es müssen hierzu allerdings vergleichbare Bedingungen hergestellt werden.
Fotos und Bilder als Bestandteile von Prompts
- Selbst angefertigten Fotos hängen in der Regel neben GPS Daten auch Gerätedaten als Metadaten an, über die Nutzer potentiell immer identifizierbar sind, sofern es sich dabei um private Endgeräte handelt. Um die Übertragung dieser Daten zu vermeiden, sollten selbst angefertigte Fotos für Prompts immer nur mit schulischen Endgeräten aufgenommen werden. Gleiches gilt, wenn Zeichnungen angefertigt werden, die einer bildgenerierenden KI Plattform als Vorlage für eine Ausarbeitung dienen sollen.
- Soll ein auf einem privaten Endgerät angefertigtes Foto oder Bild für einen Prompt genutzt werden, muss es über eine entsprechende Software/ App von den Metadaten befreit werden. Ist dies nicht möglich, ist eine Verwendung für einen Prompt nicht zu empfehlen.
- Analog zu Texteingaben dürfen Prompts in Form von Fotos oder Zeichnungen und ähnlich keine Personen aus der Schule oder dem Umfeld der Schüler erkennbar abbilden. Dabei ist es unerheblich, ob diese Fotos oder Zeichnungen speziell für einen Prompt angefertigt werden oder aus anderen Quellen stammen.
- Die Eingabe von Fotos mit handschriftlich bearbeiteten Aufgaben, etwa Aufsätzen oder Rechenaufgaben, sollte keine Risiken für Schülerinnen und Schüler erzeugen, solange die abfotografierten Blätter keine Daten wie Namen und Klasse enthalten, welche, eine Identifizierung ermöglichen. Die Identifizierung einer Person über ihre Handschrift setzt voraus, dass andere Handschriftproben öffentlich abrufbar online vorliegen und dort mit weiteren die Person identifizierenden Daten verknüpft ist. Bei Kindern und Jugendlichen ist das sehr unwahrscheinlich.
Videos als Bestandteile von Prompts
- Werden Videos auf privaten Endgeräten angefertigt, bestehen durch die mit ihnen verbundenen Metadaten bei einer Nutzung für Prompts die gleichen Probleme wie bei Fotos und Bildern. Entsprechend sollten auch hier neutrale Schulgeräte für die Anfertigung genutzt werden.
- Für die Inhalte von Videos gelten die gleichen Vorgaben wie für Fotos und Bilder. Sie dürfen keine Personen aus der Schule oder dem Umfeld der Schüler erkennbar abbilden, egal ob sie speziell für einen Prompt angefertigt wurden oder aus einer anderen Quelle stammen. Videos dürfen auch keine Inhalte zum Gegenstand haben, welche es ermöglichen, die genannten Personen zu identifizieren.
Tonaufnahmen als Bestandteile von Prompts
- Bei Tonaufnahmen über private Endgeräte besteht unabhängig vom Inhalt der Aufnahme auch hier das Problem der Metadaten. Welche dieses sind, hängt vom Endgerät, der genutzten App und vom Betriebssystem ab. Um Risiken zu vermeiden, sollten auch sie nicht über Prompts übermittelt werden.
- Enthalten die Tonaufnahmen Stimmen, so lassen sich darüber Personen potentiell identifizieren. Wie bei Fotos, Bildern und Videos dürfen Tonaufnahmen keine Personen aus der Schule oder dem Umfeld der Schüler erkennbar abbilden und auch keine Inhalte haben, welche es erlauben, diese Personen zu identifizieren, egal ob sie speziell für einen Prompt angefertigt wurden oder aus einer anderen Quelle stammen.
- Direkte Spracheingaben von Prompts durch Nutzer sollten nur dann erfolgen, wenn der Drittanbieter die Umwandlung von Sprache zu Text auf eigenen Servern vornimmt. Das ist möglich, da Whisper AI, die Plattform von OpenAI, als Open Source Lösung auch selbst betrieben werden kann. Da die Anwendung sehr rechenintensiv ist, nutzen nicht alle Drittanbieter diese Möglichkeit. Es reicht nicht, wenn Drittanbieter die Sprachaufnahmen auf eigenen Servern speichern und dann zur Transkription an den KI Plattformanbieter übermitteln. Schülerinnen und Schüler, welche die Spracheingabe nutzen wollen oder müssen, sollten stattdessen die Diktierfunktion des Endgerätes nutzen.
Die Regeln für die Eingabe von Prompts in Form von Fotos, Bildern, Videos und Ton sollten in einer Nutzungsordnung festgehalten werden und Schülerinnen und Schüler müssen darüber aufgeklärt sein. Lehrkräfte sollten die Möglichkeit haben, die Prompts ihrer Schülerinnen und Schüler stichprobenhaft zu kontrollieren und diese Möglichkeit auch nutzen. Für Drittanbieter aus Deutschland, welche die beschriebenen Voraussetzungen erfüllen, sind beispielhaft Fobizz und SchulKI zu nennen. Beide lassen sich entsprechend datenschutzfreundlich nutzen und bieten die für Schulen wichtigen Verträge zur Auftragsverarbeitung an. Bei Fobizz ist es zusätzlich möglich, in den Einstellungen zwischen verschiedenen KI Plattformanbietern zu wählen. Das heißt, wer ChatGPT nicht nutzen möchte, kann auf Alternativen wechseln, darunter auch EU Anbieter. Einige Bundesländer haben bei den Anbietern Landeslizenzen erworben.
Schulen in NRW sollte außerdem beachten, dass die Verarbeitung von Bild- und Tonaufnahmen durch die Schule nach der aktuellen Rechtslage einer Einwilligung bedarf. Sollen sie als Prompts verwendet werden (100% EU Anbieter, lokal laufende KI App), ist ein entsprechender Verarbeitungszweck in der Einwilligung anzugeben.
Nutzung durch Lehrkräfte
KI Plattformen sind nicht nur für den Unterricht von Interesse, sondern auch für die Vor- und Nachbereitung von Unterricht. Während die Erstellung von Unterrichtsmaterialien mittels KI in der Regel unproblematisch ist, da es hier zumeist nicht um personenbezogene Daten geht, können diese bei der Nachbereitung von Unterricht durchaus relevant sein.
Soll eine KI Plattform genutzt werden, um individuelles Feedback zu Schülerarbeiten zu erstellen oder um sie für eine Bewertung analysieren zu lassen, ist es erforderlich, die Schülerarbeiten als Prompt in die Anwendung zu laden. Es gelten hier für Lehrkräfte letztlich die gleichen Spielregeln, die auch für Schülerinnen und Schüler gelten. Solange die Prompts keine personenbezogenen oder -beziehbaren Daten enthalten, ob direkt als Inhalt oder in Form von Metadaten, entstehen bei einer Nutzung als Bestandteile von Prompts keine Risiken für Betroffene. Für die Eingabe von Sprachaufnahmen, etwa zur Auswertung von durch Schülerinnen und Schüler erstellte Podasts oder anderen gesprochenen Lernprodukten, gelten die bereits beschriebenen Einschränkungen. Auch die Erstellung von auf einzelne Lernende zugeschnittenen individuellen Unterrichtsmaterialien ist unproblematisch, solange dazu keine personenbezogenen Daten in Prompts eingegeben werden. Hier reicht in der Regel der Verzicht auf Namen und weitere biographische Daten, um mögliche Risiken auszuschließen.
Perspektiven schulischer KI Nutzung
Verglichen mit den ersten Monaten nachdem OpenAI mit ChatGPT die KI Welle losgetreten hatte, haben sich die Bedingungen für eine schulische Nutzung eindeutig verbessert und tendenziell werden die Bedingungen mit den ersten sich am Markt etablierenden ernstzunehmenden europäischen Anbietern mit eigenen KI Modellen und Plattformen sogar noch besser. Auch wenn die KI Plattformen von US Anbietern durch die vermittelnden Dienste von Drittanbietern mittlerweile datenschutzfreundlich nutzbar sind, ist die unterrichtliche Nutzung mit deutlichen Einschränkungen verbunden. Persönliche Inhalte müssen außen vor bleiben. Die Optimierung eines Lebenslaufes oder das Verfremden eines Portraits ist so unter keinen Umständen möglich. Schülerinnen und Schüler müssen wissen, warum das so ist, die Risiken kennen und sich an die vereinbarten Spielregeln halten. Mit europäischen Anbietern, die einen Vertrag zur Auftragsverarbeitung anbieten und bezüglich ihres Modells ausreichende Transparenz herstellen, sollten diese Grenzen in Zukunft fallen. Perspektivisch werden es auch die Plattformen dieser Anbieter sein, welche dauerhafter Bestandteil von schulischen Landesplattformen sind. Die voranschreitende Optimierung von KI Anwendungen und die gleichzeitige Entwicklung von immer leistungsfähigeren Prozessoren sowohl für stationäre wie auch mobile Endgeräte erlaubt es zunehmend, diese KI Anwendungen als Apps lokal laufen zu lassen. Auch das wird für Schulen neue Möglichkeiten bieten, da in Prompts eingegebene Daten dann die Schule nie verlassen, sondern auf den Endgeräten gespeichert werden.
