KI Plattformen – datenschutz-schule.info

Mai 7, 2025

KI-Plattformen – DS-GVO und KI Verordnung

Lesezeit: 14 Minuten

Seit nunmehr zwei Jahren stellen KI-Plattformen unsere Welt auf den Kopf. Nicht nur in der Wirtschaft und Behörden treiben die auf großen Sprachmodelle (Large Language Model (LLM)) basierenden Plattformen umwälzende Veränderungen an, auch in der Schule bestimmen sie den Diskurs, egal ob es um das Lernen mit und über KI geht, eine veränderte Prüfungskultur, Intelligente Tutorielle Systeme, Learning Analytics, Diagnoseverfahren, die automatisierte Auswertung von Leistungsüberprüfungen und -nachweisen, Laufbahnprognosen, das Verfassen von Gutachten und die Erstellung von Förderempfehlungen. Das Potential von KI-Plattformen erscheint gerade in Schulen unbegrenzt. Welche Nutzungsmöglichkeiten sich im schulischen Alltag jedoch tatsächlich ergeben, hängt maßgeblich von zwei Faktoren ab: den rechtlichen Vorgaben sowie der Verfügbarkeit geeigneter Plattformen. Rechtliche Vorgaben und die sich daraus ergebenden Grenzen der Nutzung, im Datenschutz oft als Schranken bezeichnet, bestimmte bisher soweit es eine schulische Nutzung betrifft, das Datenschutzrecht und hier dann die DS-GVO und die aus ihr abgeleiteten spezialrechtlichen Regelungen der Schulgesetze- und Verordnungen der Bundesländer.

Die DS-GVO trat 2016 in Kraft und wird seit 2018 umgesetzt. Als sie in einem mehrjährigen Prozess erarbeitet wurde, konnte niemand damit rechnen, dass es gerade einmal vier Jahre nach Beginn der Umsetzung des Regelwerkes Plattformen geben könnte, die in der Lage sind zu tun, was die sogenannten KI-Plattformen heute leisten. Es gab durchaus eine Vorstellung von Computerprogrammen, in denen komplexe Algorithmen personenbezogene Daten auswerten und daraus resultierende Entscheidungen treffen. Um EU-Bürger vor Profiling und Entscheidungen zu schützen, die ausschließlich auf automatisierten Entscheidungen beruhen, entstand Art. 22 der DS-GVO. Europäischen Gesetzgebern wurde angesichts der rasanten Entwicklung und Verbreitung von KI-Plattformen seit November 2022 und den damit verbundenen Herausforderungen schnell klar, dass die DS-GVO diese nicht ausreichend abdecken kann. Die DS-GVO regelt den Schutz personenbezogener Daten, adressiert damit jedoch längst nicht alle Risiken, die mit dem Einsatz von KI verbunden sind. Mit der KI-Verordnung der EU (AI Act) versucht man nun, die neuen technologischen, ethischen und sicherheitsrelevanten Herausforderungen zu regulieren. Anders als die DS-GVO reguliert die KI-Verordnung in Abhängigkeit vom Risiko, welches von einer KI Anwendung ausgeht, und reguliert auch, wenn keine personenbezogenen Daten verarbeitet werden. Die KI-Verordnung ist so als Ergänzung zur DS-GVO zu sehen, welche durch einen neuen, spezifischen Rechtsrahmen einen sicheren und ethischen Einsatz von KI in der EU gewährleisten soll. Auch Schule ist von der KI-Verordnung betroffen, wenngleich ihre unmittelbaren Auswirkungen deutlich geringer sind als die, welche aus der DS-GVO resultieren. Inhaltlich knüpft die KI-Verordnung ein Stück weit an die in Art. 22 DS-GVO gesetzten Grenzen an, erweitert diese jedoch und erlegt Schulen neue Pflichten auf, die über den reinen Schutz der personenbezogenen Daten hinausreichen.

KI-Plattformen im Unterricht

Unabhängig von der KI-Verordnung gelten für die schulische Nutzung von KI-Plattformen, sofern personenbezogene Daten davon betroffen sind, weiterhin die bisherigen Regeln. Da diese im vorherigen Beitrag ausführlich beschrieben wurden, sind sie hier nur auf die wichtigsten Punkte reduziert wiedergegeben.

Die wichtigsten Grundregeln, welche mit Blick auf Datenschutz zu beachten sind, wenn KI-Plattformen mit Schülerinnen und Schülern im Unterricht genutzt werden, sind:

Eine direkte, unvermittelte Interaktion von Schülerinnen und Schülern mit den KI-Plattformen von US Anbietern wie OpenAI (ChatGPT), Anthropic (Claude), Meta (KI in Messengern wie WhatsApp und FB Messenger), Google (Gemini) usw. Oder oder auch von chinesischen Anbietern wie Hangzhou DeepSeek Artificial Intelligence Basic Technology Research Co., Ltd. (DeepSeek) ist mit unkalkulierbaren hohen Risiken verbunden und von daher mit Blick auf Datenschutz für Schulen auf keinen Fall zu empfehlen. Hintergrund: Die Anbieter haben nicht nur auf die Inhalte der Interaktion zwischen Schülerinnen und Schülern und der KI Zugriff, sondern auch auf alle mit der Interaktion verbundenen Metadaten wie Endgeräte-Kennungen, Standort, Spuren von anderen genutzten Plattformen usw.. Sie können alle diese Daten für eigene Zwecke wie zum Training ihrer Plattformen oder andere wirtschaftliche Interessen verwenden.
Wenn Schülerinnen und Schüler mit KI-Plattformen arbeiten, egal wie sie darauf zugreifen, dürfen die im Hintergrund laufenden LLM die in Prompts eingegeben Daten niemals für Trainingszwecke verwenden.
Schülerinnen und Schüler dürfen bei der Interaktion mit KI-Plattformen, egal wie sie darauf zugreifen, niemals persönliche Informationen von sich selbst oder anderen ihnen bekannten Personen als Bestandteil von Prompts eingeben.
- Bei multimodalen KI-Plattformen, das meint Plattformen, die in der Lage sind, Fotos, Videos und Audiodateien als Bestandteil von Prompts zu verarbeiten, muss darauf geachtet werden, dass diese Medien keine personenbezogenen oder -beziehbaren Daten enthalten, welche es ermöglichen die Daten auf eine identifizierbare Person zurückzuführen. Personenbezogene oder -beziehbare Daten können in Medien sowohl als Inhalt wie die Abbildung der Person oder ihre Stimme enthalten sein, als auch in Metadaten wie Standortdaten, Geräte-Kennungen usw..
Lehrkräfte sollten eine Möglichkeit haben, die Interaktion ihrer Schülerinnen und Schüler nachträglich stichprobenartig kontrollieren zu können, um eine riskante Nutzung sowie Missbrauch zu verhindern.
Schulen sollten in ihrer Nutzungsordnung für digitale Endgeräte, Apps und Online Plattformen auch die Nutzung von KI-Plattformen ausdrücklich berücksichtigen und entsprechende Nutzungsregeln darin festlegen.
Schülerinnen und Schüler sollten über die Funktionsweise von KI-Plattformen und mögliche Risiken für ihr Recht auf informationelle Selbstbestimmung aufgeklärt werden, bevor sie mit derartigen Plattformen im Unterricht arbeiten.

Es sollte klar geworden sein, dass eine unterrichtliche Nutzung von ChatGPT, Gemini, Claude, DeepSeek u. Ä. direkt über die Websites oder Apps der Anbieter durch Schülerinnen und Schülern für Schulen zu Konflikten mit den datenschutzrechtlichen Vorgaben führt, welchen sie unterliegen, und von daher nicht vertretbar ist.

Mittlerweile sind ausreichend viele alternative Möglichkeiten entstanden, die es erlauben, mit den genannten US-amerikanischen und chinesischen KI-Plattformen datenschutzfreundlich(er) zu interagieren. Darüber hinaus wächst die Zahl von Angeboten aus dem EU Raum wie auch direkt aus Deutschland, welche eigene, zumeist auf Open Source LLM aufsetzende KI-Plattformen bereitstellen.

Zu den Anbietern, welche alternative Zugriffsmöglichkeiten auf US-amerikanische KI-Plattformen anbieten, gehören aktuell bekanntere Namen wie fobizz, schulKI und FelloFish (Fiete.ai). Sie “entschärfen” die mit einer direkten Nutzung der US-amerikanischen KI-Plattformen verbundenen Risiken, indem sie über die von diesen Anbietern bereitgestellten API (Programmschnittstellen zu den LLM) als Vermittler auf personalisierte Zugänge für Schülerinnen und Schüler verzichten, die Nutzer anonymisieren und so eine mögliche Identifizierung anhand von Zugangs- und/oder Metadaten verhindern. Ergänzend stellen einige Anbieter in ihren Plattformen zusätzliche datenschutzfreundliche LLM zur Auswahl bereit. Dabei kann es sich um Open Source Modelle handeln oder Eigenentwicklungen von im DS-GVO Raum ansässigen Drittanbietern.

Verschiedene Bundesländer haben bei den genannten bekannteren Anbietern Landeslizenzen erworben, während andere Bundesländer eigene Lösungen in Auftrag gegeben haben. Aktuell entsteht im Auftrag der KMK eine weitere KI-Plattform, die unter Federführung des FWU entwickelt wird und dann durch die Bundesländer als Landesplattform den Schulen zur Verfügung gestellt werden kann.

Zu beachten ist, dass die oben aufgeführten Grundregeln aktuell auch bei der vermittelten Nutzung von US-amerikanischen und chinesischen KI-Plattformen gilt wie auch bei den von den Ländern bereitgestellten Plattformen, sofern diese keine abweichenden Vorgaben machen.

KI-Plattformen als Werkzeuge für Lehrkräfte

KI-Plattform sind nicht nur in der Lage, Texte zu verarbeiten, um Anweisungen zu folgen, sondern sie können Texte sowohl inhaltlich wie auch sprachlich analysieren. Das eröffnet nicht nur für Schülerinnen und Schüler neue Möglichkeiten. Während diese sich Feedback geben lassen können, um bessere Texte zu schreiben, können Lehrkräfte KI-Plattformen didaktische Kriterien bezüglich Sprache, Inhalt, Struktur, erwarteten Kompetenzen und ähnlich vorgeben mit dem Ziel, Schülertexte entsprechend auswerten zu lassen.

Einige Anbieter von KI-Plattformen wie auch beispielsweise Cornelsen mit der KI-Toolbox cornelsen.ai haben bereits spezialisierte Module in ihre Angebote integriert oder sich sogar darauf spezialisiert, Textprodukte einer größeren Anzahl von Schülerinnen und Schülern nacheinander schnell und effizient über ein von der Lehrkraft angelegtes Bewertungsraster auswerten zu lassen. In diesem Zusammenhang lassen sich auch schnell und einfach Vorschläge für eine Bepunktung und sogar eine Bewertung erstellen. Gleiches ist möglich, wenn die KI-Plattform Fotos als Bestandteil von Prompts entgegen nimmt. So lassen sich sogar handschriftliche Textprodukte über die Plattform analysieren und bewerten.

Mit Blick auf Datenschutz ergeben sich aus diesen Möglichkeiten neue Herausforderungen. Ist es überhaupt zulässig, Schülertexte mittels KI-Plattformen auswerten zu lassen?

Möchte man auf einer der oben genannten datenschutzfreundlichen Plattformen Schülertexte unterstützend auswerten lassen, dürften dabei keine persönlichen Inhalte in die Prompts einfließen, keine Namen und auch keine biographischen Daten. Es versteht sich von selbst, dass so Lebensläufe wie auch sehr persönliche Texte nicht über KI-Plattformen ausgewertet werden können. Digitale Texte sehen vom Schriftbild alle gleich aus. Doch wie verhält es sich mit handschriftlichen Texten? Diese stellen zumindest aktuell immer noch den Großteil der von Schülerinnen und Schülern erstellten Texte dar. Man sollte davon ausgehen können, dass die Handschrift von Schülern kein Merkmal darstellt, über welches Betreiber der großen KI-Plattformen diese einer identifizierbaren Person zuordnen können, wenn sie solches entgegen ihrer Datenschutzrichtlinien für API Nutzer doch tun sollten. Zwei Gründe sprechen dafür. Zum Einen finden sich kaum handschriftliche Muster von jungen Menschen im Internet oder auf Social Media, die einen Abgleich und eine Zuordnung ermöglichen würden und zum Anderen müssten KI-Plattformen darauf trainiert sein, individuelle Handschriften als solche zu erkennen.

Bei nicht handschriftlichen, digital verfassten Texten kann man sicher davon ausgehen, dass es keine datenschutzrechtlichen Bedenken gibt, diese in einer KI-Plattform auswerten zu lassen, solange diese Texte frei von identifizierenden Merkmale, wie Namen oder persönlichen Inhalte bleiben. Geht es um handschriftliche Texte, werden diese Einschätzungen vermutlich nicht von jedem geteilt werden.

Eine Auswertung von Schülertexten sollte damit unter den genannten Bedingungen zumindest für nicht handschriftliche, digital verfasste Texte in den Grenzen der DS-GVO möglich sein. Gemäß Art. 22 DS-GVO haben Betroffene, hier Schülerinnen und Schüler, “das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung […] beruhenden Entscheidung unterworfen zu werden, die” ihnen “gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.” Im Fall einer Auswertung von Schülerarbeiten mittels einer KI-Plattform meint dies eine Leistungsbewertung, welche von der Lehrkraft unkontrolliert übernommen wird. Es ist somit beispielsweise nicht zulässig, dass eine Lehrkraft die von ihren Schülerinnen und Schülern erstellten Leistungsnachweise über eine KI-Plattformen anhand von zuvor eingegebenen Aufgabenstellungen sowie dem Erwartungshorizont und einem Bewertungsraster automatisiert auswerten lässt und anschließend die von der Plattform ermittelten Noten in ihr Notenprogramm übernimmt und am Ende des Halbjahres aus den so ermittelten Noten eine Endnote festlegt. Art. 22 DS-GVO lässt Ausnahmen zu, wenn es entsprechende Rechtsvorschriften gibt und dort auch festgelegt ist, wie die Rechte und Belange der betroffenen Personen geschützt werden. Entsprechende spezialgesetzliche Regelungen aus dem Schulrecht sind dem Verfasser des Beitrags aus den verschiedenen Bundesländern bisher nicht bekannt. Offizielle Vorstöße in Richtung der Korrektur von Klassenarbeiten mittels KI-Plattformen müssen diese Grenzen berücksichtigen, wie der Schulversuchs „proof – Prozessorganisation und Feedback“ in Bayern verdeutlicht. Im Rahmen dieses Projektes dürfen 16 Schulen den Einsatz von KI bei der Korrektur von Arbeiten erproben, um Lehrkräfte von Routineaufgaben zu entlasten, jedoch ausdrücklich beschränkt auf die Vorkorrektur zur Beurteilung der sprachlichen und inhaltlichen Richtigkeit von Arbeiten.¹

In der Praxis bedeutet das, eine Vorauswertung von Schülertexten mittels einer geeigneten KI-Plattform ist unter Beachtung der oben genannten Hinweise durchaus möglich, solange die Lehrkraft die Resultate nicht ungeprüft übernimmt und die abschließende Notenfindung selbst vornimmt. Wenn Lehrkräfte KI-Plattformen zur Unterstützung bei der Bewertung von Schülertexten einsetzen, sollten sie sich immer auch der Tendenz bei menschlichen Entscheidenden bewusst sein, “die Ergebnisse des Computers ohne Kritik oder weitere Kontrolle zu übernehmen (sogenannter „Automation Bias“),” vor welcher der Landesbeauftragte für Datenschutz Baden Württemberg in seinem 40. Tätigkeitsbericht warnt.

Auswirkungen der KI-VO

Nicht nur die DS-GVO setzt mit Art. 22 dem Einsatz von KI-Plattformen bei der Auswertung von Schülerarbeiten Grenzen, auch die KI-Verordnung hat an dieser Stelle rechtliche Relevanz, allerdings aus einem völlig anderen Blickwinkel.

Exkurs: Während die DS-GVO auf das Recht der Betroffenen auf informationelle Selbstbestimmung und das Verbot automatisierter Einzelfallentscheidungen ohne menschliche Kontrolle fokussiert, nimmt die KI-Verordnung der EU (AI Act/ KI-VO) mögliche Risiken, die für Betroffene aus einer Verarbeitung ihrer Daten mittels KI-Plattformen entstehen können, in den Blick. Sie stuft dafür KI-Plattformen, in der Verordnung als KI-Systeme bezeichnet, nach ihrem Einsatzzweck in Risikokategorien ein, die von minimalem Risiko über geringes und hohes Risiko bis zu unannehmbarem Risiko reichen. Mit Ausnahme von KI-Systemen, welche durch unannehmbare Risiken grundsätzlich verboten sind, gilt – je höher das potentielle Risiko, welches mit dem Einsatz eines KI-Systems verbunden ist, desto umfangreicher sind die daraus resultierenden Auflagen – für die Anbieter der Systeme sowie auch die Betreiber, hier die Schulen.

Speziell mit Blick auf Bildung beschreibt die KI-VO in Anhang III², Nr. 3 KI-VO vier Kategorien von KI-Systemen, die als hochriskant gemäß Art. 6 Abs. 2 KI-VO einzustufen sind. Das sind KI-Systeme, die (a) dazu dienen einen Zugang zur Schule oder eine Einteilung in Lerngruppen zuzuweisen, die (b) Lernergebnisse bewerten und solche die darauf aufbauend Lernprozesse steuern, die (c) über die Bildungslaufbahn entscheiden und die (d) Prüfungen auf unzulässige Handlungen überwachen. Das hohe Risiko entsteht aus diesen KI-Systemen, “da sie den Bildungs- und Berufsweg einer Person bestimmen und daher die Fähigkeit dieser Person, ihren Lebensunterhalt zu sichern, beeinflussen können.”³

Für die Einstufung als Hochrisiko-KI-System ist nicht entscheidend, was ein Nutzer damit vorhat, sondern wozu das System objektiv in der Lage ist und für welchen Einsatzzweck es bestimmt ist.

Bisher müssen Schulen beim geplanten Einsatz von KI-Systemen zur Auswertung von Schülerarbeiten lediglich die Vorgaben der DS-GVO, wie oben beschrieben, berücksichtigen. Mit dem schrittweisen Beginn der Umsetzung der KI-VO kommen nun deren Vorgaben noch hinzu. Für die Klassifizierung von KI-Systemen ist der Stichtag hier der 02.08.2026. Bis dahin gelten für Schulen weiterhin ausschließlich die Vorgaben der DS-GVO sowie gegebenenfalls landesspezifische Regelungen wie beispielsweise in Baden-Württemberg; die KI-Verordnung betrifft bis dahin nur einzelne Pflichten wie die Schulung der Mitarbeitenden zur KI-Kompetenz, nicht jedoch die konkrete Nutzung von KI-Plattformen im Unterricht. Ab dem Stichtag ist klar, KI-Plattformen, welche laut KI-VO in der allgemeinen oder beruflichen Bildung “zur Bewertung von Lernergebnissen eingesetzt werden sollen”, werden als „hochriskant“ klassifiziert. Eine Einstufung als Hochrisiko-KI-System entfällt gemäß Art. 6 Abs. 3 lit. d) KI-Verordnung nur dann, wenn das KI-System objektiv ausschließlich vorbereitende Aufgaben wie die Fehleranalyse in Schülertexten übernimmt, ohne selbst die Bewertung maßgeblich zu beeinflussen, und die Endbewertung eigenständig durch eine Lehrkraft erfolgt.

Sollte der Gesetzgeber eines Bundeslandes eine Rechtsgrundlage für die Nutzung von KI-Plattformen zur eigenständigen Bewertung von Lernergebnissen schaffen, so würde dies für Schulen, welche eine geeignete, spezialisierte Plattform entsprechend einsetzen wollen, ab August 2026 eine Anzahl von Pflichten mit sich bringen, vergleichbar denen, welche Schulen durch die DS-GVO auferlegt werden, je nach KI-System jedoch möglicherweise deutlich umfangreicher. Schulen werden geeignete KI-Plattformen zur Bewertung von Lernergebnissen u.a. daran erkennen können, dass sie als Hochrisiko-KI-Plattformen ein CE-Kennzeichen, eine EU-Konformitätserklärung sowie einen Eintrag in der zentralen EU-KI-Datenbank mit Informationen zu Einsatzzweck, Risikobewertung usw. nachweisen können. Derzeit ist ein solcher Schritt von Seiten der Schul- und Kultusministerien jedoch höchst unwahrscheinlich. Das wird auch so bleiben, solange KI-Modelle eine erhebliche Fehleranfälligkeit aufweisen, Anbieter nicht die notwendige Transparenz gewährleisten und der Einsatz solcher Systeme — angesichts der daraus resultierenden Risiken für Fairness, Transparenz und Nachvollziehbarkeit — einen nicht vertretbaren Eingriff in die Grundrechte der Schülerinnen und Schüler darstellen würde.

Zudem ist in diesem Zusammenhang zu beachten, dass eine Einwilligung der Schülerinnen und Schüler nach Art. 6 Abs. 1 lit. a DS-GVO in den Einsatz hochriskanter KI-Systeme regelmäßig keine tragfähige Rechtsgrundlage darstellen kann. Voraussetzung für eine wirksame Einwilligung ist ihre Freiwilligkeit, Informiertheit und die Möglichkeit, sie jederzeit ohne Nachteile zu verweigern oder zu widerrufen. Im schulischen Kontext ist eine echte Freiwilligkeit jedoch kaum anzunehmen, da Schülerinnen und Schüler sich in einem strukturellen Abhängigkeitsverhältnis zur Schule befinden. Aus diesem Grund bedarf der Einsatz hochriskanter KI-Systeme im Bereich der Leistungsbewertung einer spezialgesetzlichen Rechtsgrundlage, die die Interessen der betroffenen Personen angemessen schützt.

Möchte eine Schule ein KI-Modell mit allgemeinem Verwendungszweck im Sinne von Art. 3 Nr. 63 KI-VO für eine spezialisierte Anwendung, wie die Bewertung von Lernergebnissen, einsetzen, verkompliziert sich die Sache deutlich. Bereits durch die mit der Spezialisierung einhergehende Änderung des Einsatzzwecks könnte die Schule rechtlich selbst als Anbieter eines KI-Systems gelten, was umfassende zusätzliche Auflagen wie Risikomanagement, technische Dokumentationspflichten, Konformitätsbewertungen, CE-Kennzeichnung und die Eintragung in die EU-KI-Datenbank nach sich zieht.

Exkurs: ChatGPT, Claude, Gemini und DeepSeek gelten im Sinne der KI-VO als KI-Modelle mit allgemeinem Verwendungszweck, wohingegen die Angebote von Anbietern wie fobizz, FelloFish und vergleichbar nicht unter diese Kategorie fallen, da es sich bei ihnen um domänenspezifische KI-Systeme handelt, die für konkrete pädagogische Zwecke (z. B. Korrekturassistenz, Feedbackgenerierung) optimiert und nicht für eine „breite Palette unterschiedlicher Aufgaben“ ausgelegt sind.

Die KI-VO unterscheidet zwischen KI-Modell und KI-System. Ein KI-System basiert auf einem oder mehreren KI-Modellen, die in der Regel über eine Programmierschnittstelle (API) integriert oder direkt eingebettet werden. Das System wird dabei für einen konkreten oder allgemeinen Anwendungszweck gestaltet und über eine Benutzeroberfläche bereitgestellt. Greift ein Nutzer über seinen Browser auf ein Angebot wie ChatGPT zu, interagiert er mit dem KI-System von OpenAI, das auf dem KI-Modell GPT-4 basiert. Die von Anbietern wie SchulKI, fobizz und ähnlichen Plattformen angebotenen KI-Systeme integrieren verschiedene KI-Modelle, aus denen Nutzer je nach Anwendungszweck bzw. Tool auswählen können.

Viele Bildungs-KI-Anbieter werden voraussichtlich ihre KI-Bewertungsfunktionen weiterhin so ausgestalten, dass sie nur vorbereitende Aufgaben unterstützen, um einer Einstufung als Hochrisiko-KI und den daraus resultierenden Pflichten als Anbieter zu entgehen.

Als hochriskant kategorisiert die KI-VO in Anhang III, Nr. 3 nicht nur KI-Systeme zur “Bewertung von Lernergebnissen“, sondern auch solche, welche “diese Ergebnisse zur Steuerung des Lernprozesses natürlicher Personen” verwenden. Darunter fallen je nach technischer Ausgestaltung auch Adaptive Lernsysteme und Intelligente Tutorielle Systeme – ob ein System jedoch tatsächlich als Hochrisiko-KI gilt, hängt davon ab, ob es im Sinne der Verordnung „intelligent“ agiert (z. B. durch den Einsatz komplexer KI-Modelle mit diagnosefähiger Lernsteuerung) oder lediglich einfache Algorithmen nutzt.

Ein Blick nach Baden Württemberg

Was würde das in der Praxis heißen? Zunächst ein kurzer Blick nach Baden-Württemberg. Dort gibt es mit § 115b im Schulgesetz⁴ seit 2024 eine Regelung, welche Schulen das “Anwenden automatisierter, anpassungsfähiger Verfahren […] zum Zweck der technischen Unterstützung und Förderung des individuellen Lernweges” erlaubt. Ergänzt und präzisiert wird diese Regelung mit der Digitalunterrichtsverordnung⁵ (DUVO). Automatisierte, anpassungsfähige Verfahren werden dort beschrieben als Computersysteme, die automatisch passende Lernangebote für Schülerinnen und Schüler auswählen, sich interaktiv an das Können und den Lernfortschritt der Lernenden anpassen, gezielt beim individuellen Üben helfen und Rückmeldungen geben. Zu den Informationspflichten gemäß Art. 13 und 14 DS-GVO werden Schulen auch Pflichten in Orientierung an der KI-VO auferlegt. Dazu gehören die Transparenzpflicht, welche Schulen durch Information über die Nutzung und Funktion des System erfüllen müssen, wie das Recht der Betroffenen zur Einsichtnahme, die Zweckbindung, mit welcher der Einsatzzweck eingeschränkt wird, das Verbot der Nutzung von Schülerdaten für Trainingszwecke und der Schutz der personenbezogenen Daten der Nutzer, wozu auch das Verbot gehört, in der Plattform personenbezogenen Daten besonderer Kategorien (Art. 9 DS-GVO zu verarbeiten. Eine Einsichtnahme der Lehrkräfte in die Lernfortschritte ist möglich, setzt jedoch eine Vorabinformation der Schülerinnen und Schüler über den Zeitpunkt voraus. Lehrkräfte dürfen im System erbrachte Leistungen “bei der Notenbildung oder anderen wesentlichen schulischen Entscheidungen” nur dann berücksichtigen, wenn sie diese “fachlich und pädagogisch” geprüft haben. Das bedeutet, um es noch einmal auf den Punkt zu bringen: will eine Lehrkraft in Baden-Württemberg die Leistungen ihrer Schülerinnen und Schüler in einem KI-gestützten System wie einem Adaptiven Lernsystem oder Intelligenten Tutoriellen System, dessen Nutzung in den Regelungsbereich der DUVO fällt, bewerten, setzt dieses voraus, dass vor der Einsichtnahme eine Information über den beabsichtigten Zeitpunkt erfolgt und die erbrachten Leistungen von der Lehrkraft fachlich und pädagogisch geprüft werden.

Ein Blick nach NRW

In NRW lassen sich Adaptive Lernsysteme und Intelligente Tutorielle Systeme unter Lehr- und Lernsysteme gem. § 120 Abs. 5 Satz 1 fassen⁶. Schulen können demnach entsprechende Systeme zur Erfüllung des Bildungs- und Erziehungsauftrags einsetzen und die dafür erforderlichen personenbezogenen Daten verarbeiten. Anders als in Baden-Württemberg findet sich im Schulgesetz NRW bisher keine bereichsspezifische Regelung zur Nutzung von KI-Plattformen oder Systemen, welche mit KI-Unterstützung arbeiten. Bestehende datenschutzrechtliche Grundsätze aus dem Schulgesetz und der DS-GVO sind hier anzuwenden, wie bei anderen Plattformen auch. Darüber hinaus müssen Schulen sich vorerst an der sperrigen KI-VO orientieren. Möchte eine Schule ein vom Schulträger bereitgestelltes Adaptives Lernsystem oder ein Intelligentes Tutorielles System nutzen, welches lediglich durch einfache Algorithmen gesteuert wird, geben alleine das Schulgesetz und die DS-GVO den Rechtsrahmen vor, innerhalb dessen eine Nutzung möglich ist. Mit dem Anbieter ist ein Vertrag zur Auftragsverarbeitung abzuschließen, Betroffene müssen vorab über die Datenverarbeitung informiert werden und die Nutzung ist nur im Rahmen des Erforderlichen möglich. Ist im Hintergrund ein KI-System aktiv, kommt auch die KI-VO ins Spiel. Die Schule müsste zunächst prüfen, ob das System als Hochrisiko-KI gemäß Anhang III der KI-VO einzustufen ist. Das wäre beispielsweise dann der Fall, wenn das System zunächst über einen Kompetenz-Check einen Lernstand ermittelt, diesen bewertet bzw. zu einer Diagnose verarbeitet und daraus abgeleitet die weiteren Lernprozesse automatisch steuert, d.h. sich anpasst und Lernvorgaben ohne direkte menschliche Entscheidung verändert. Durch die Einstufung als Hochrisiko-KI ist die Schule verpflichtet, die Lernenden vorab entsprechend zu informieren. Lehrkräfte müssen jederzeit in der Lage sein, die Entscheidungen des KI-Systems zur Steuerung der Lernprozesse nachzuvollziehen und diese bei Bedarf anzupassen.

KI-Plattformen ohne hohes Risiko

Viele für den schulischen Einsatzzweck konzipierte Plattformen, deren Funktionen KI-Systeme integrieren, fallen nicht unter Hochrisiko-KI-Systeme, da sie Anwendungsbereiche adressieren, die nur mit minimalem oder geringem Risiko verbunden sind. Dazu gehören etwa Hilfestellungen beim Verfassen von Texten, automatisiertes Feedback auf Entwürfe, interaktive Chats mit historischen oder fiktiven Persönlichkeiten, Erstellung von Podcasts aus Texten, Erschließung von Texten durch Fragen an ein PDF, das Erstellen von Grafiken und Bildern usw. Solche Anwendungen unterstützen den Lernprozess oder die kreative Arbeit, greifen jedoch nicht maßgeblich in die Leistungsbewertung oder die Bildungslaufbahn der Schülerinnen und Schüler ein. Sie unterliegen daher nach der KI-VO weniger strengen Anforderungen und können unter Einhaltung allgemeiner Datenschutzvorgaben deutlich einfacher eingesetzt werden.

Anwendungen, die nur ein geringes Risiko im Sinne der KI-Verordnung darstellen, unterliegen keinem Konformitätsbewertungsverfahren, keiner CE-Kennzeichnung und auch keinen umfassenden Risikomanagementpflichten. Die oben genannten typischen Funktionen der schulischen KI-Plattformen — wie Textassistenz, Feedbacksysteme, Chats mit historischen Persönlichkeiten, Bild- oder Podcast-Erstellung sowie interaktive PDF-Auswertungen — dürften in der Mehrzahl unter diese Kategorie der Anwendungen mit geringem Risiko fallen. Für Schulen als Betreiber solcher Systeme bedeutet dies in erster Linie, dass die Transparenzpflichten nach Artikel 52 der KI-VO zu beachten sind und Nutzerinnen und Nutzer — hier Schülerinnen und Schüler sowie Lehrkräfte — klar und verständlich darüber informiert werden müssen, dass sie mit einem KI-System interagieren. Voraussetzung bleibt, wie bereits an anderer Stelle erwähnt, stets, dass die eingesetzten Plattformen datenschutzkonform betrieben werden, insbesondere keine sensiblen personenbezogenen Daten im Sinne von Artikel 9 DS-GVO unzulässig verarbeitet oder übermittelt werden.

Ausblick

Die KI-VO wird Schulen spätestens ab August 2026 vor zusätzliche Herausforderungen stellen, da dann vor allem die unter die Hochrisiko-KI-Systeme fallenden Plattformen nur noch rechtmäßig eingesetzt werden können, wenn die von der KI-VO festgelegten Anforderungen dabei eingehalten werden. Darüber hinaus verpflichtet die KI-Verordnung Schulen als Betreiber von KI-Systemen dazu, sicherzustellen, dass sowohl Lernende als auch Lehrkräfte über eine ausreichende Kompetenz im Umgang mit KI-Systemen verfügen („AI Literacy“). Diese Pflicht besteht bereits seit Februar 2025. Lehrkräfte müssen in der Lage sein, die Funktionsweise, Risiken und Grenzen der eingesetzten Systeme zu verstehen, um ihrer Rolle als menschliche Kontrollinstanz („Human Oversight“) gerecht werden zu können. Die KI-VO schreibt keine bestimmte Maßnahme zur Kompetenzentwicklung vor, sondern fordert lediglich das Ergebnis: den kompetenten und verantwortungsbewussten Umgang mit KI im schulischen Alltag. Die Vermittlung von KI-Kompetenz wird damit ein weiterer zentraler Aspekt der Schulentwicklung.

Bis August 2026 bleibt Schulen noch Zeit zu experimentieren, solange sie dabei die Grenzen von Art. 22 DS-GVO beachten. Je nach Bundesland können sie sich dabei sogar auf schon vorhandene Rechtsgrundlagen aus der Schulgesetzgebung stützen. Um die Schulen bei der Bewältigung dieser neuen Herausforderungen zu unterstützen, haben die Bundesländer in der Bildungsministerkonferenz am 10. Oktober 2024 vereinbart, Schulen und Schulträgern Orientierungshilfen für den rechtskonformen Einsatz von KI-Anwendungen bereitzustellen.⁷

Wer sich selbst KI-kundig machen möchte, hat mit der Lektüre dieses Beitrags einen ersten Schritt dazu getan. Weitere hilfreiche Informationen finden sich u.a. unter:

KI-Kompetenzen für Lehrende und Lernende | (Susanne Alles, Joscha Falck, Manuel Flick und Regina Schulz, 03/2025)
KI in der Schule (KI-Campus; Online Lernmaterialien für Lehrkräfte)
KI – Unterrichten Digital (Hauke Pölert, Sammlung von Beiträgen zu KI und Schule)
KI im Unterricht: Beispiele & Material zu Künstlicher Intelligenz in der Schule – [ Deutscher Bildungsserver ]
Schulen und Lehrkräfte mit einer fobizz Lizenz für Fortbildungen finden auch dort umfangreiche Informationen zum Selbststudium

Februar 11, 2024

Schulische Nutzung von KI Plattformen

Lesezeit: 9 Minuten

Im November 2022 ging OpenAI mit seinem generativen Sprachmodell ChatGPT an die Öffentlichkeit. Mehr als ein Jahr ist seither vergangen und die Entwicklung der “KI Plattformen” ist rasant fortgeschritten. ChatGPT und vergleichbare Plattformen wie Google Bard oder Claude von Anthropic haben sich weiterentwickelt, sind leistungsstärker geworden und haben neue Funktionen erhalten. Neben den großen Sprachmodellen (LLM), den textgenerierenden KI, entstanden auch bildgenerierende KI wie DALL-E von OpenAI oder Midjouney und Stable Diffusion. Aus einigen textgenerierenden KI wurden im Laufe der Monate so multimodale KI, Plattformen, die nicht nur textbasierte Inhalte erstellen können, sondern auch Bilder, Videos, Musik und Sprache, und neben Prompts im Textformat, auch Eingaben in Form von Bildern, Sprache, Ton und Video verarbeiten. Ergänzend zu API Schnittstellen haben Anbieter wie OpenAI neue Möglichkeiten geschaffen, die Funktionen ihrer Plattformen zu nutzen. Bei OpenAI ist das beispielsweise die Möglichkeit, eigene GPTs zu erstellen und anderen Nutzern zur Verfügung zu stellen. Einige dieser GPT integrieren dazu externe Dienste anderer Anbieter. Schon bevor es diese Möglichkeit gab nutzten zahlreiche Drittanbieter die API Schnittstellen der großen Anbieter, um darauf aufbauend eigene Produkte zu entwickeln. Die Palette reicht hier von Microsoft, wo ChatGPT und andere OpenAI KI Plattformen in eigene Produkte wie Microsoft 365 und Bing integriert wurden, über Apps für Mobilgeräte mit KI Funktionen bis zu Anbietern im Bildungsbereich, welche KI Funktionalitäten für Lehrkräfte und Schüler entwickelten Plattformen bereitstellen. Neben Anbietern, die auf die großen KI Plattformen der großen Anbieter setzen, kommen auch immer mehr Angebote auf den Markt, welche auf eigene KI Plattformen oder die Open Source Plattformen anderer Akteure setzen. Ergänzt werden diese Entwicklungen durch Anwendungen und spezialisierte Chips, die es ermöglichen, KI Plattformen jeglicher Art lokal auf Computern und digitalen Endgeräten wie Smartphones laufen zu lassen.

Schüler wie auch Lehrkräfte erkannten schon im November 2022 die Möglichkeiten, welche eine KI Plattform für die eigene Arbeit bringen kann, sei es für die Anfertigung von Hausaufgaben oder die Vorbereitung von Unterricht. Schnell war den am Bildungsprozess beteiligten Akteuren klar, dass Schule sich vor KI Plattformen nicht verschließen kann, sowohl mit Blick auf Medienerziehung wie auch als Werkzeug im Unterricht. Das Ministerium für Schule und Bildung (MSB) veröffentlichte nur drei Monate später im Februar 2023 seinen Handungsleitfaden Umgang mit textgenerierenden KI-Systemen. Andere Bundesländer folgten. Neben den Möglichkeiten zur unterrichtlichen Nutzung standen und stehen bei allen Handreichungen immer auch zwei rechtliche Aspekte im Fokus, Urheberrecht und Datenschutz.

ChatGPT, momentan im Zentrum aller Aufmerksamkeit und vermutlich der bislang meistgenutzte Anbieter, stand eine Zeit lang im Fokus der Aufsichtsbehörden. Italien verbot OpenAI gar die Bereitstellung seines Dienstes für Nutzer in Italien, bevor nicht einige Mängel abgestellt worden sind. Es ging u.a. um die Aufklärung italienischer Nutzer, dass ihre Daten möglicherweise zu Trainingszwecken verwendet und sachlich falsch von ChatGPT wiedergegeben werden könnten. Auch deutsche Aufsichtsbehörden wandten sich wiederholt mit Fragenkatalogen an den US Anbieter. ChatGPT ist in Italien wieder verfügbar und deutsche Aufsichtsbehörden kamen bisher nicht zu dem Schluss, zu vergleichbaren drastischen Maßnahmen greifen zu müssen. Auf Schulen hatte all das ohnehin keine Auswirkung. Auch eine Änderung der Geschäftsbedingungen von OpenAI bezüglich der Nutzung der KI Dienste via API im Januar wirkte sich nicht auf die Nutzung in Schulen aus. Der Anbieter hatte seine Nutzungsbedingungen im November 2023 um eine Passage ergänzt, die Drittanbieter verpflichten soll, von den Eltern von Schülerinnen und Schülern unter 16 Jahren vor Nutzung eine Einwilligung einzuholen. Vom Landesdatenschutzbeauftragte von Rheinland-Pfalz, Dieter Kugelmann, kam hier Entwarnung. Nach seiner Einschätzung ist eine Zustimmung von Eltern minderjähriger Schülerinnen und Schülern nicht erforderlich.

Mit der Entwicklung der textgenerierenden KI hin zu multimodalen KI mit neuen Ein- und Ausgabeformaten haben sich auch neue datenschutzrechtliche Herausforderungen ergeben. Wie sich im Verlauf der weiteren Betrachtungen zeigen wird, hat sich an den bisherigen Empfehlungen zu einer datenschutzfreundlichen schulischen Nutzung von KI Plattformen nichts wesentlich verändert. Ergänzt werden müssen die Empfehlungen jedoch vor allem mit Blick auf neue Eingabeformate, das meint hier vor allem Prompts in Form von Bild und Ton, also Spracheingaben sowie Fotos und Videos als Eingaben.

Beschränkt auf textgenerierende KI wie ChatGPT und die Eingabe von Prompts ausschließlich in Form von digitalem Text, konnten bisher als datenschutzfreundlich folgende Nutzungsszenarien empfohlen werden:

Die Lehrkraft hat einen privaten Zugang, kostenlos oder kostenpflichtig, und nimmt die Prompts der Lerngruppe an, gibt sie selbst ein und teilt die Ergebnisse mit der Lerngruppe. Für Schülerinnen und Schüler bestehen keine Risiken, da sie nicht direkt mit der Plattform interagieren.
Die Lehrkraft verfügt über einen Drittanbieterzugang, der von der Schule/ dem Träger/ Bundesland/ Medienzentrum bereitgestellt wird, und die Schule hat einen Vertrag zur Auftragsverarbeitung (AVV) mit dem Anbieter abgeschlossen. Über den Drittanbieterzugang kann die Lehrkraft anonyme Schülerzugänge erstellen. Für Schülerinnen und Schüler entstehen bei Einhaltung zuvor festgelegter Spielregeln keine Risiken bei einer Interaktion mit der Plattform.
Die Schule hat einen eigenen Zugang, API Schlüssel und AVV mit dem Anbieter abgeschlossen und erstellt mit Oberstufenschülern eine eigene Plattform zur Nutzung der KI via API. Sind die Spielregeln klar, ist eine Nutzung mit älteren Schülerinnen und Schülern ab 16 Jahren möglich. Die Risiken sind begrenzt.
Die Schule hat lokal als App auf Computern oder Tablets laufende KI Anwendungen. Eine Nutzung ist für Schülerinnen und Schüler ohne Risiken möglich, da keine Daten an Dritte abfließen. Trotzdem sollte es zuvor abgesprochene Spielregeln geben.

Risiken für Nutzer von KI Plattformen von Anbietern wie OpenAI, Microsoft, Google, Anthropic usw. ergeben sich vor allem aus den Inhalten von Prompts, wenn diese einen Personenbezug herstellen lassen. In Kombination mit einem individuellen Nutzerkonto beim KI Anbieter nehmen die Risiken noch einmal deutlich zu. Weitere Risiken können sich prinzipiell aus den Metadaten wie Gerätekennungen, Standortdaten, Cookies und Trackern ergeben, die es erlauben, einen Nutzer zu identifizieren. Werden Dateien wie Bild- und Tonaufnahmen zu Bestandteilen von Prompts, können mit diesen zusätzliche Metadaten übermittelt werden. Fotos und Videos, die Personen abbilden oder Spracheingaben enthalten weitere Daten, die einen Personenbezug herstellen lassen, wenn sie an die Anbieter der KI Plattformen übermittelt werden.

Auch wenn die großen US Anbieter in ihren Datenschutzerklärungen, Geschäftsbedingungen und Verträgen zur Auftragsverarbeitung mittlerweile ausschließen, von Nutzern eingegebene Prompts und andere Daten zu Trainingszwecken zu verwenden, bleibt die Übermittlung von personenbezogenen oder -beziehbaren Daten auf die Server von US Anbietern problematisch und ist im Rahmen unterrichtlichen Nutzung von KI Plattformen zur Erfüllung des Bildungs- und Erziehungsauftrags von Schulen nicht vertretbar.

Bei einer Nutzung via API über einen Drittanbieter reduzieren sich mögliche Risiken aus der Interaktion von Nutzer mit einer KI Plattform deutlich. Das individuelle Nutzerkonto und Metadaten der Geräte, mit welchen der Zugriff erfolgt, entfallen und erlauben es den KI Anbietern nicht, darüber den Bezug zu einer identifizierbaren Person herzustellen. Risiken könnten jetzt nur noch entstehen, wenn Prompts persönliche oder auf eine Person beziehbare Informationen enthalten. Diese Informationen können Teil von eingegebenen Texten wie auch von Bild- und Tondaten sein, bei Stimmeingaben die Stimme selbst und bei Prompts in Form von Bild- und Tonmedien die mit ihnen verbundenen Metadaten. Welche Risiken sich im Einzelnen ergeben können, hängt jeweils vom KI Plattform Anbieter ab, der Ausgestaltung der API und der Art und Weise, wie bzw. in welcher Form der Drittanbieter die Daten der Prompts an den Plattformanbieter übermittelt. Werden die Daten beim Drittanbieter bereits aufbereitet, wie dieses bei Prompts in Form von Texteingaben in der Regel der Fall ist, oder werden die Inhalte der Prompts wie im Fall von Bilddateien weitestgehend unverändert auf die Server des Plattformanbieters übertragen, wo dann die KI Anwendung mit ihnen interagiert?

Im Tätigkeitsbericht der Aufsichtsbehörde Baden Württemberg für 2023 findet sich auch ein kurzer Bericht zu einer Beratungstätigkeit, deren Gegenstand ein in der Entwicklung befindliches Moodle-Modul fAIrchat war. Dieses Modul nutzt ChatGPT von OpenAI über die vom Anbieter bereitgestellte API und zu den dazu gehörenden Terms of Use, die zusichern, dass Nutzerdaten nicht zu Weiterentwicklung oder Verbesserung von ChatGPT verwendet werden. Metadaten der einzelnen Nutzer werden durch den Zugriff auf ChatGPT über die API nicht an den Anbieter übermittelt. Eine Nutzungsordnung für fAIrchat untersagt Nutzern die Eingabe von personenbezogenen Daten. Ein individuelles Konto beim KI Anbieter gibt es nicht. Außerdem gibt fAIrchat Lehrkräften die Möglichkeit, Eingaben der Lernenden nachträglich einzusehen. Die Aufsichtsbehörde kommt zu dem Schluss „Sofern zusätzlich die jeweilige Lehrkraft die Schüler_innen auch ausdrücklich und für sie verständlich darüber aufklärt, dass sie keine personenbezogenen Daten in das System eingeben dürfen, und die Lehrkraft die Eingaben der Schüler_innen nachträglich überprüfen kann, die nachträgliche Kontrolle durch die Lehrkraft auch tatsächlich risikoangemessen zumindest stichprobenhaft erfolgt, scheint uns unter diesen Voraussetzungen eine Verwendung dieser KI im Rahmen des Unterrichts datenschutzrechtlich vertretbar.”¹

Das bedeutet, sind die folgende Bedingungen erfüllt:

Nutzung durch Schülerinnen und Schülern via API entsprechend den Terms of Use,
Nutzungsordnung, welche die Verwendung von personenbezogenen Daten untersagt,
Aufklärung der Schülerinnen und Schülern über die Nutzungsregel – keine Eingabe von personenbezogenen Daten,
Möglichkeit der stichprobenhaften nachträglichen Kontrolle von Eingaben durch die Lehrkraft und tatsächliche Umsetzung dieser Maßnahme durch die Lehrkräfte,

sieht man von Seiten der Aufsichtsbehörde keine datenschutzrechtlichen Probleme bei einer unterrichtlichen Nutzung.

Das lässt sich auch auf die unterrichtliche Nutzung multimodaler KI Plattformen via API und Drittanbieter übertragen. Es müssen hierzu allerdings vergleichbare Bedingungen hergestellt werden.

Fotos und Bilder als Bestandteile von Prompts

Selbst angefertigten Fotos hängen in der Regel neben GPS Daten auch Gerätedaten als Metadaten an, über die Nutzer potentiell immer identifizierbar sind, sofern es sich dabei um private Endgeräte handelt. Um die Übertragung dieser Daten zu vermeiden, sollten selbst angefertigte Fotos für Prompts immer nur mit schulischen Endgeräten aufgenommen werden. Gleiches gilt, wenn Zeichnungen angefertigt werden, die einer bildgenerierenden KI Plattform als Vorlage für eine Ausarbeitung dienen sollen.
Soll ein auf einem privaten Endgerät angefertigtes Foto oder Bild für einen Prompt genutzt werden, muss es über eine entsprechende Software/ App von den Metadaten befreit werden. Ist dies nicht möglich, ist eine Verwendung für einen Prompt nicht zu empfehlen.
Analog zu Texteingaben dürfen Prompts in Form von Fotos oder Zeichnungen und ähnlich keine Personen aus der Schule oder dem Umfeld der Schüler erkennbar abbilden. Dabei ist es unerheblich, ob diese Fotos oder Zeichnungen speziell für einen Prompt angefertigt werden oder aus anderen Quellen stammen.
Die Eingabe von Fotos mit handschriftlich bearbeiteten Aufgaben, etwa Aufsätzen oder Rechenaufgaben, sollte keine Risiken für Schülerinnen und Schüler erzeugen, solange die abfotografierten Blätter keine Daten wie Namen und Klasse enthalten, welche, eine Identifizierung ermöglichen. Die Identifizierung einer Person über ihre Handschrift setzt voraus, dass andere Handschriftproben öffentlich abrufbar online vorliegen und dort mit weiteren die Person identifizierenden Daten verknüpft ist. Bei Kindern und Jugendlichen ist das sehr unwahrscheinlich.

Videos als Bestandteile von Prompts

Werden Videos auf privaten Endgeräten angefertigt, bestehen durch die mit ihnen verbundenen Metadaten bei einer Nutzung für Prompts die gleichen Probleme wie bei Fotos und Bildern. Entsprechend sollten auch hier neutrale Schulgeräte für die Anfertigung genutzt werden.
Für die Inhalte von Videos gelten die gleichen Vorgaben wie für Fotos und Bilder. Sie dürfen keine Personen aus der Schule oder dem Umfeld der Schüler erkennbar abbilden, egal ob sie speziell für einen Prompt angefertigt wurden oder aus einer anderen Quelle stammen. Videos dürfen auch keine Inhalte zum Gegenstand haben, welche es ermöglichen, die genannten Personen zu identifizieren.

Tonaufnahmen als Bestandteile von Prompts

Bei Tonaufnahmen über private Endgeräte besteht unabhängig vom Inhalt der Aufnahme auch hier das Problem der Metadaten. Welche dieses sind, hängt vom Endgerät, der genutzten App und vom Betriebssystem ab. Um Risiken zu vermeiden, sollten auch sie nicht über Prompts übermittelt werden.
Enthalten die Tonaufnahmen Stimmen, so lassen sich darüber Personen potentiell identifizieren. Wie bei Fotos, Bildern und Videos dürfen Tonaufnahmen keine Personen aus der Schule oder dem Umfeld der Schüler erkennbar abbilden und auch keine Inhalte haben, welche es erlauben, diese Personen zu identifizieren, egal ob sie speziell für einen Prompt angefertigt wurden oder aus einer anderen Quelle stammen.
Direkte Spracheingaben von Prompts durch Nutzer sollten nur dann erfolgen, wenn der Drittanbieter die Umwandlung von Sprache zu Text auf eigenen Servern vornimmt. Das ist möglich, da Whisper AI, die Plattform von OpenAI, als Open Source Lösung auch selbst betrieben werden kann. Da die Anwendung sehr rechenintensiv ist, nutzen nicht alle Drittanbieter diese Möglichkeit. Es reicht nicht, wenn Drittanbieter die Sprachaufnahmen auf eigenen Servern speichern und dann zur Transkription an den KI Plattformanbieter übermitteln. Schülerinnen und Schüler, welche die Spracheingabe nutzen wollen oder müssen, sollten stattdessen die Diktierfunktion des Endgerätes nutzen.

Die Regeln für die Eingabe von Prompts in Form von Fotos, Bildern, Videos und Ton sollten in einer Nutzungsordnung festgehalten werden und Schülerinnen und Schüler müssen darüber aufgeklärt sein. Lehrkräfte sollten die Möglichkeit haben, die Prompts ihrer Schülerinnen und Schüler stichprobenhaft zu kontrollieren und diese Möglichkeit auch nutzen. Für Drittanbieter aus Deutschland, welche die beschriebenen Voraussetzungen erfüllen, sind beispielhaft Fobizz und SchulKI zu nennen. Beide lassen sich entsprechend datenschutzfreundlich nutzen und bieten die für Schulen wichtigen Verträge zur Auftragsverarbeitung an. Bei Fobizz ist es zusätzlich möglich, in den Einstellungen zwischen verschiedenen KI Plattformanbietern zu wählen. Das heißt, wer ChatGPT nicht nutzen möchte, kann auf Alternativen wechseln, darunter auch EU Anbieter. Einige Bundesländer haben bei den Anbietern Landeslizenzen erworben.

Schulen in NRW sollte außerdem beachten, dass die Verarbeitung von Bild- und Tonaufnahmen durch die Schule nach der aktuellen Rechtslage einer Einwilligung bedarf. Sollen sie als Prompts verwendet werden (100% EU Anbieter, lokal laufende KI App), ist ein entsprechender Verarbeitungszweck in der Einwilligung anzugeben.

Nutzung durch Lehrkräfte

KI Plattformen sind nicht nur für den Unterricht von Interesse, sondern auch für die Vor- und Nachbereitung von Unterricht. Während die Erstellung von Unterrichtsmaterialien mittels KI in der Regel unproblematisch ist, da es hier zumeist nicht um personenbezogene Daten geht, können diese bei der Nachbereitung von Unterricht durchaus relevant sein.

Soll eine KI Plattform genutzt werden, um individuelles Feedback zu Schülerarbeiten zu erstellen oder um sie für eine Bewertung analysieren zu lassen, ist es erforderlich, die Schülerarbeiten als Prompt in die Anwendung zu laden. Es gelten hier für Lehrkräfte letztlich die gleichen Spielregeln, die auch für Schülerinnen und Schüler gelten. Solange die Prompts keine personenbezogenen oder -beziehbaren Daten enthalten, ob direkt als Inhalt oder in Form von Metadaten, entstehen bei einer Nutzung als Bestandteile von Prompts keine Risiken für Betroffene. Für die Eingabe von Sprachaufnahmen, etwa zur Auswertung von durch Schülerinnen und Schüler erstellte Podasts oder anderen gesprochenen Lernprodukten, gelten die bereits beschriebenen Einschränkungen. Auch die Erstellung von auf einzelne Lernende zugeschnittenen individuellen Unterrichtsmaterialien ist unproblematisch, solange dazu keine personenbezogenen Daten in Prompts eingegeben werden. Hier reicht in der Regel der Verzicht auf Namen und weitere biographische Daten, um mögliche Risiken auszuschließen.

Perspektiven schulischer KI Nutzung

Verglichen mit den ersten Monaten nachdem OpenAI mit ChatGPT die KI Welle losgetreten hatte, haben sich die Bedingungen für eine schulische Nutzung eindeutig verbessert und tendenziell werden die Bedingungen mit den ersten sich am Markt etablierenden ernstzunehmenden europäischen Anbietern mit eigenen KI Modellen und Plattformen sogar noch besser. Auch wenn die KI Plattformen von US Anbietern durch die vermittelnden Dienste von Drittanbietern mittlerweile datenschutzfreundlich nutzbar sind, ist die unterrichtliche Nutzung mit deutlichen Einschränkungen verbunden. Persönliche Inhalte müssen außen vor bleiben. Die Optimierung eines Lebenslaufes oder das Verfremden eines Portraits ist so unter keinen Umständen möglich. Schülerinnen und Schüler müssen wissen, warum das so ist, die Risiken kennen und sich an die vereinbarten Spielregeln halten. Mit europäischen Anbietern, die einen Vertrag zur Auftragsverarbeitung anbieten und bezüglich ihres Modells ausreichende Transparenz herstellen, sollten diese Grenzen in Zukunft fallen. Perspektivisch werden es auch die Plattformen dieser Anbieter sein, welche dauerhafter Bestandteil von schulischen Landesplattformen sind. Die voranschreitende Optimierung von KI Anwendungen und die gleichzeitige Entwicklung von immer leistungsfähigeren Prozessoren sowohl für stationäre wie auch mobile Endgeräte erlaubt es zunehmend, diese KI Anwendungen als Apps lokal laufen zu lassen. Auch das wird für Schulen neue Möglichkeiten bieten, da in Prompts eingegebene Daten dann die Schule nie verlassen, sondern auf den Endgeräten gespeichert werden.