Seit nunmehr zwei Jahren stellen KI-Plattformen unsere Welt auf den Kopf. Nicht nur in der Wirtschaft und Behörden treiben die auf großen Sprachmodelle (Large Language Model (LLM)) basierenden Plattformen umwälzende Veränderungen an, auch in der Schule bestimmen sie den Diskurs, egal ob es um das Lernen mit und über KI geht, eine veränderte Prüfungskultur, Intelligente Tutorielle Systeme, Learning Analytics, Diagnoseverfahren, die automatisierte Auswertung von Leistungsüberprüfungen und -nachweisen, Laufbahnprognosen, das Verfassen von Gutachten und die Erstellung von Förderempfehlungen. Das Potential von KI-Plattformen erscheint gerade in Schulen unbegrenzt. Welche Nutzungsmöglichkeiten sich im schulischen Alltag jedoch tatsächlich ergeben, hängt maßgeblich von zwei Faktoren ab: den rechtlichen Vorgaben sowie der Verfügbarkeit geeigneter Plattformen. Rechtliche Vorgaben und die sich daraus ergebenden Grenzen der Nutzung, im Datenschutz oft als Schranken bezeichnet, bestimmte bisher soweit es eine schulische Nutzung betrifft, das Datenschutzrecht und hier dann die DS-GVO und die aus ihr abgeleiteten spezialrechtlichen Regelungen der Schulgesetze- und Verordnungen der Bundesländer.
Die DS-GVO trat 2016 in Kraft und wird seit 2018 umgesetzt. Als sie in einem mehrjährigen Prozess erarbeitet wurde, konnte niemand damit rechnen, dass es gerade einmal vier Jahre nach Beginn der Umsetzung des Regelwerkes Plattformen geben könnte, die in der Lage sind zu tun, was die sogenannten KI-Plattformen heute leisten. Es gab durchaus eine Vorstellung von Computerprogrammen, in denen komplexe Algorithmen personenbezogene Daten auswerten und daraus resultierende Entscheidungen treffen. Um EU-Bürger vor Profiling und Entscheidungen zu schützen, die ausschließlich auf automatisierten Entscheidungen beruhen, entstand Art. 22 der DS-GVO. Europäischen Gesetzgebern wurde angesichts der rasanten Entwicklung und Verbreitung von KI-Plattformen seit November 2022 und den damit verbundenen Herausforderungen schnell klar, dass die DS-GVO diese nicht ausreichend abdecken kann. Die DS-GVO regelt den Schutz personenbezogener Daten, adressiert damit jedoch längst nicht alle Risiken, die mit dem Einsatz von KI verbunden sind. Mit der KI-Verordnung der EU (AI Act) versucht man nun, die neuen technologischen, ethischen und sicherheitsrelevanten Herausforderungen zu regulieren. Anders als die DS-GVO reguliert die KI-Verordnung in Abhängigkeit vom Risiko, welches von einer KI Anwendung ausgeht, und reguliert auch, wenn keine personenbezogenen Daten verarbeitet werden. Die KI-Verordnung ist so als Ergänzung zur DS-GVO zu sehen, welche durch einen neuen, spezifischen Rechtsrahmen einen sicheren und ethischen Einsatz von KI in der EU gewährleisten soll. Auch Schule ist von der KI-Verordnung betroffen, wenngleich ihre unmittelbaren Auswirkungen deutlich geringer sind als die, welche aus der DS-GVO resultieren. Inhaltlich knüpft die KI-Verordnung ein Stück weit an die in Art. 22 DS-GVO gesetzten Grenzen an, erweitert diese jedoch und erlegt Schulen neue Pflichten auf, die über den reinen Schutz der personenbezogenen Daten hinausreichen.
KI-Plattformen im Unterricht
Unabhängig von der KI-Verordnung gelten für die schulische Nutzung von KI-Plattformen, sofern personenbezogene Daten davon betroffen sind, weiterhin die bisherigen Regeln. Da diese im vorherigen Beitrag ausführlich beschrieben wurden, sind sie hier nur auf die wichtigsten Punkte reduziert wiedergegeben.
Die wichtigsten Grundregeln, welche mit Blick auf Datenschutz zu beachten sind, wenn KI-Plattformen mit Schülerinnen und Schülern im Unterricht genutzt werden, sind:
- Eine direkte, unvermittelte Interaktion von Schülerinnen und Schülern mit den KI-Plattformen von US Anbietern wie OpenAI (ChatGPT), Anthropic (Claude), Meta (KI in Messengern wie WhatsApp und FB Messenger), Google (Gemini) usw. Oder oder auch von chinesischen Anbietern wie Hangzhou DeepSeek Artificial Intelligence Basic Technology Research Co., Ltd. (DeepSeek) ist mit unkalkulierbaren hohen Risiken verbunden und von daher mit Blick auf Datenschutz für Schulen auf keinen Fall zu empfehlen. Hintergrund: Die Anbieter haben nicht nur auf die Inhalte der Interaktion zwischen Schülerinnen und Schülern und der KI Zugriff, sondern auch auf alle mit der Interaktion verbundenen Metadaten wie Endgeräte-Kennungen, Standort, Spuren von anderen genutzten Plattformen usw.. Sie können alle diese Daten für eigene Zwecke wie zum Training ihrer Plattformen oder andere wirtschaftliche Interessen verwenden.
- Wenn Schülerinnen und Schüler mit KI-Plattformen arbeiten, egal wie sie darauf zugreifen, dürfen die im Hintergrund laufenden LLM die in Prompts eingegeben Daten niemals für Trainingszwecke verwenden.
- Schülerinnen und Schüler dürfen bei der Interaktion mit KI-Plattformen, egal wie sie darauf zugreifen, niemals persönliche Informationen von sich selbst oder anderen ihnen bekannten Personen als Bestandteil von Prompts eingeben.
- Bei multimodalen KI-Plattformen, das meint Plattformen, die in der Lage sind, Fotos, Videos und Audiodateien als Bestandteil von Prompts zu verarbeiten, muss darauf geachtet werden, dass diese Medien keine personenbezogenen oder -beziehbaren Daten enthalten, welche es ermöglichen die Daten auf eine identifizierbare Person zurückzuführen. Personenbezogene oder -beziehbare Daten können in Medien sowohl als Inhalt wie die Abbildung der Person oder ihre Stimme enthalten sein, als auch in Metadaten wie Standortdaten, Geräte-Kennungen usw..
- Lehrkräfte sollten eine Möglichkeit haben, die Interaktion ihrer Schülerinnen und Schüler nachträglich stichprobenartig kontrollieren zu können, um eine riskante Nutzung sowie Missbrauch zu verhindern.
- Schulen sollten in ihrer Nutzungsordnung für digitale Endgeräte, Apps und Online Plattformen auch die Nutzung von KI-Plattformen ausdrücklich berücksichtigen und entsprechende Nutzungsregeln darin festlegen.
- Schülerinnen und Schüler sollten über die Funktionsweise von KI-Plattformen und mögliche Risiken für ihr Recht auf informationelle Selbstbestimmung aufgeklärt werden, bevor sie mit derartigen Plattformen im Unterricht arbeiten.
Es sollte klar geworden sein, dass eine unterrichtliche Nutzung von ChatGPT, Gemini, Claude, DeepSeek u. Ä. direkt über die Websites oder Apps der Anbieter durch Schülerinnen und Schülern für Schulen zu Konflikten mit den datenschutzrechtlichen Vorgaben führt, welchen sie unterliegen, und von daher nicht vertretbar ist.
Mittlerweile sind ausreichend viele alternative Möglichkeiten entstanden, die es erlauben, mit den genannten US-amerikanischen und chinesischen KI-Plattformen datenschutzfreundlich(er) zu interagieren. Darüber hinaus wächst die Zahl von Angeboten aus dem EU Raum wie auch direkt aus Deutschland, welche eigene, zumeist auf Open Source LLM aufsetzende KI-Plattformen bereitstellen.
Zu den Anbietern, welche alternative Zugriffsmöglichkeiten auf US-amerikanische KI-Plattformen anbieten, gehören aktuell bekanntere Namen wie fobizz, schulKI und FelloFish (Fiete.ai). Sie “entschärfen” die mit einer direkten Nutzung der US-amerikanischen KI-Plattformen verbundenen Risiken, indem sie über die von diesen Anbietern bereitgestellten API (Programmschnittstellen zu den LLM) als Vermittler auf personalisierte Zugänge für Schülerinnen und Schüler verzichten, die Nutzer anonymisieren und so eine mögliche Identifizierung anhand von Zugangs- und/oder Metadaten verhindern. Ergänzend stellen einige Anbieter in ihren Plattformen zusätzliche datenschutzfreundliche LLM zur Auswahl bereit. Dabei kann es sich um Open Source Modelle handeln oder Eigenentwicklungen von im DS-GVO Raum ansässigen Drittanbietern.
Verschiedene Bundesländer haben bei den genannten bekannteren Anbietern Landeslizenzen erworben, während andere Bundesländer eigene Lösungen in Auftrag gegeben haben. Aktuell entsteht im Auftrag der KMK eine weitere KI-Plattform, die unter Federführung des FWU entwickelt wird und dann durch die Bundesländer als Landesplattform den Schulen zur Verfügung gestellt werden kann.
Zu beachten ist, dass die oben aufgeführten Grundregeln aktuell auch bei der vermittelten Nutzung von US-amerikanischen und chinesischen KI-Plattformen gilt wie auch bei den von den Ländern bereitgestellten Plattformen, sofern diese keine abweichenden Vorgaben machen.
KI-Plattformen als Werkzeuge für Lehrkräfte
KI-Plattform sind nicht nur in der Lage, Texte zu verarbeiten, um Anweisungen zu folgen, sondern sie können Texte sowohl inhaltlich wie auch sprachlich analysieren. Das eröffnet nicht nur für Schülerinnen und Schüler neue Möglichkeiten. Während diese sich Feedback geben lassen können, um bessere Texte zu schreiben, können Lehrkräfte KI-Plattformen didaktische Kriterien bezüglich Sprache, Inhalt, Struktur, erwarteten Kompetenzen und ähnlich vorgeben mit dem Ziel, Schülertexte entsprechend auswerten zu lassen.
Einige Anbieter von KI-Plattformen wie auch beispielsweise Cornelsen mit der KI-Toolbox cornelsen.ai haben bereits spezialisierte Module in ihre Angebote integriert oder sich sogar darauf spezialisiert, Textprodukte einer größeren Anzahl von Schülerinnen und Schülern nacheinander schnell und effizient über ein von der Lehrkraft angelegtes Bewertungsraster auswerten zu lassen. In diesem Zusammenhang lassen sich auch schnell und einfach Vorschläge für eine Bepunktung und sogar eine Bewertung erstellen. Gleiches ist möglich, wenn die KI-Plattform Fotos als Bestandteil von Prompts entgegen nimmt. So lassen sich sogar handschriftliche Textprodukte über die Plattform analysieren und bewerten.
Mit Blick auf Datenschutz ergeben sich aus diesen Möglichkeiten neue Herausforderungen. Ist es überhaupt zulässig, Schülertexte mittels KI-Plattformen auswerten zu lassen?
Möchte man auf einer der oben genannten datenschutzfreundlichen Plattformen Schülertexte unterstützend auswerten lassen, dürften dabei keine persönlichen Inhalte in die Prompts einfließen, keine Namen und auch keine biographischen Daten. Es versteht sich von selbst, dass so Lebensläufe wie auch sehr persönliche Texte nicht über KI-Plattformen ausgewertet werden können. Digitale Texte sehen vom Schriftbild alle gleich aus. Doch wie verhält es sich mit handschriftlichen Texten? Diese stellen zumindest aktuell immer noch den Großteil der von Schülerinnen und Schülern erstellten Texte dar. Man sollte davon ausgehen können, dass die Handschrift von Schülern kein Merkmal darstellt, über welches Betreiber der großen KI-Plattformen diese einer identifizierbaren Person zuordnen können, wenn sie solches entgegen ihrer Datenschutzrichtlinien für API Nutzer doch tun sollten. Zwei Gründe sprechen dafür. Zum Einen finden sich kaum handschriftliche Muster von jungen Menschen im Internet oder auf Social Media, die einen Abgleich und eine Zuordnung ermöglichen würden und zum Anderen müssten KI-Plattformen darauf trainiert sein, individuelle Handschriften als solche zu erkennen.
Bei nicht handschriftlichen, digital verfassten Texten kann man sicher davon ausgehen, dass es keine datenschutzrechtlichen Bedenken gibt, diese in einer KI-Plattform auswerten zu lassen, solange diese Texte frei von identifizierenden Merkmale, wie Namen oder persönlichen Inhalte bleiben. Geht es um handschriftliche Texte, werden diese Einschätzungen vermutlich nicht von jedem geteilt werden.
Eine Auswertung von Schülertexten sollte damit unter den genannten Bedingungen zumindest für nicht handschriftliche, digital verfasste Texte in den Grenzen der DS-GVO möglich sein. Gemäß Art. 22 DS-GVO haben Betroffene, hier Schülerinnen und Schüler, “das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung […] beruhenden Entscheidung unterworfen zu werden, die” ihnen “gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.” Im Fall einer Auswertung von Schülerarbeiten mittels einer KI-Plattform meint dies eine Leistungsbewertung, welche von der Lehrkraft unkontrolliert übernommen wird. Es ist somit beispielsweise nicht zulässig, dass eine Lehrkraft die von ihren Schülerinnen und Schülern erstellten Leistungsnachweise über eine KI-Plattformen anhand von zuvor eingegebenen Aufgabenstellungen sowie dem Erwartungshorizont und einem Bewertungsraster automatisiert auswerten lässt und anschließend die von der Plattform ermittelten Noten in ihr Notenprogramm übernimmt und am Ende des Halbjahres aus den so ermittelten Noten eine Endnote festlegt. Art. 22 DS-GVO lässt Ausnahmen zu, wenn es entsprechende Rechtsvorschriften gibt und dort auch festgelegt ist, wie die Rechte und Belange der betroffenen Personen geschützt werden. Entsprechende spezialgesetzliche Regelungen aus dem Schulrecht sind dem Verfasser des Beitrags aus den verschiedenen Bundesländern bisher nicht bekannt. Offizielle Vorstöße in Richtung der Korrektur von Klassenarbeiten mittels KI-Plattformen müssen diese Grenzen berücksichtigen, wie der Schulversuchs „proof – Prozessorganisation und Feedback“ in Bayern verdeutlicht. Im Rahmen dieses Projektes dürfen 16 Schulen den Einsatz von KI bei der Korrektur von Arbeiten erproben, um Lehrkräfte von Routineaufgaben zu entlasten, jedoch ausdrücklich beschränkt auf die Vorkorrektur zur Beurteilung der sprachlichen und inhaltlichen Richtigkeit von Arbeiten.
In der Praxis bedeutet das, eine Vorauswertung von Schülertexten mittels einer geeigneten KI-Plattform ist unter Beachtung der oben genannten Hinweise durchaus möglich, solange die Lehrkraft die Resultate nicht ungeprüft übernimmt und die abschließende Notenfindung selbst vornimmt. Wenn Lehrkräfte KI-Plattformen zur Unterstützung bei der Bewertung von Schülertexten einsetzen, sollten sie sich immer auch der Tendenz bei menschlichen Entscheidenden bewusst sein, “die Ergebnisse des Computers ohne Kritik oder weitere Kontrolle zu übernehmen (sogenannter „Automation Bias“),” vor welcher der Landesbeauftragte für Datenschutz Baden Württemberg in seinem 40. Tätigkeitsbericht warnt.
Auswirkungen der KI-VO
Nicht nur die DS-GVO setzt mit Art. 22 dem Einsatz von KI-Plattformen bei der Auswertung von Schülerarbeiten Grenzen, auch die KI-Verordnung hat an dieser Stelle rechtliche Relevanz, allerdings aus einem völlig anderen Blickwinkel.
Exkurs: Während die DS-GVO auf das Recht der Betroffenen auf informationelle Selbstbestimmung und das Verbot automatisierter Einzelfallentscheidungen ohne menschliche Kontrolle fokussiert, nimmt die KI-Verordnung der EU (AI Act/ KI-VO) mögliche Risiken, die für Betroffene aus einer Verarbeitung ihrer Daten mittels KI-Plattformen entstehen können, in den Blick. Sie stuft dafür KI-Plattformen, in der Verordnung als KI-Systeme bezeichnet, nach ihrem Einsatzzweck in Risikokategorien ein, die von minimalem Risiko über geringes und hohes Risiko bis zu unannehmbarem Risiko reichen. Mit Ausnahme von KI-Systemen, welche durch unannehmbare Risiken grundsätzlich verboten sind, gilt – je höher das potentielle Risiko, welches mit dem Einsatz eines KI-Systems verbunden ist, desto umfangreicher sind die daraus resultierenden Auflagen – für die Anbieter der Systeme sowie auch die Betreiber, hier die Schulen.
Speziell mit Blick auf Bildung beschreibt die KI-VO in Anhang III, Nr. 3 KI-VO vier Kategorien von KI-Systemen, die als hochriskant gemäß Art. 6 Abs. 2 KI-VO einzustufen sind. Das sind KI-Systeme, die (a) dazu dienen einen Zugang zur Schule oder eine Einteilung in Lerngruppen zuzuweisen, die (b) Lernergebnisse bewerten und solche die darauf aufbauend Lernprozesse steuern, die (c) über die Bildungslaufbahn entscheiden und die (d) Prüfungen auf unzulässige Handlungen überwachen. Das hohe Risiko entsteht aus diesen KI-Systemen, “da sie den Bildungs- und Berufsweg einer Person bestimmen und daher die Fähigkeit dieser Person, ihren Lebensunterhalt zu sichern, beeinflussen können.”
Für die Einstufung als Hochrisiko-KI-System ist nicht entscheidend, was ein Nutzer damit vorhat, sondern wozu das System objektiv in der Lage ist und für welchen Einsatzzweck es bestimmt ist.
Bisher müssen Schulen beim geplanten Einsatz von KI-Systemen zur Auswertung von Schülerarbeiten lediglich die Vorgaben der DS-GVO, wie oben beschrieben, berücksichtigen. Mit dem schrittweisen Beginn der Umsetzung der KI-VO kommen nun deren Vorgaben noch hinzu. Für die Klassifizierung von KI-Systemen ist der Stichtag hier der 02.08.2026. Bis dahin gelten für Schulen weiterhin ausschließlich die Vorgaben der DS-GVO sowie gegebenenfalls landesspezifische Regelungen wie beispielsweise in Baden-Württemberg; die KI-Verordnung betrifft bis dahin nur einzelne Pflichten wie die Schulung der Mitarbeitenden zur KI-Kompetenz, nicht jedoch die konkrete Nutzung von KI-Plattformen im Unterricht. Ab dem Stichtag ist klar, KI-Plattformen, welche laut KI-VO in der allgemeinen oder beruflichen Bildung “zur Bewertung von Lernergebnissen eingesetzt werden sollen”, werden als „hochriskant“ klassifiziert. Eine Einstufung als Hochrisiko-KI-System entfällt gemäß Art. 6 Abs. 3 lit. d) KI-Verordnung nur dann, wenn das KI-System objektiv ausschließlich vorbereitende Aufgaben wie die Fehleranalyse in Schülertexten übernimmt, ohne selbst die Bewertung maßgeblich zu beeinflussen, und die Endbewertung eigenständig durch eine Lehrkraft erfolgt.
Sollte der Gesetzgeber eines Bundeslandes eine Rechtsgrundlage für die Nutzung von KI-Plattformen zur eigenständigen Bewertung von Lernergebnissen schaffen, so würde dies für Schulen, welche eine geeignete, spezialisierte Plattform entsprechend einsetzen wollen, ab August 2026 eine Anzahl von Pflichten mit sich bringen, vergleichbar denen, welche Schulen durch die DS-GVO auferlegt werden, je nach KI-System jedoch möglicherweise deutlich umfangreicher. Schulen werden geeignete KI-Plattformen zur Bewertung von Lernergebnissen u.a. daran erkennen können, dass sie als Hochrisiko-KI-Plattformen ein CE-Kennzeichen, eine EU-Konformitätserklärung sowie einen Eintrag in der zentralen EU-KI-Datenbank mit Informationen zu Einsatzzweck, Risikobewertung usw. nachweisen können. Derzeit ist ein solcher Schritt von Seiten der Schul- und Kultusministerien jedoch höchst unwahrscheinlich. Das wird auch so bleiben, solange KI-Modelle eine erhebliche Fehleranfälligkeit aufweisen, Anbieter nicht die notwendige Transparenz gewährleisten und der Einsatz solcher Systeme — angesichts der daraus resultierenden Risiken für Fairness, Transparenz und Nachvollziehbarkeit — einen nicht vertretbaren Eingriff in die Grundrechte der Schülerinnen und Schüler darstellen würde.
Zudem ist in diesem Zusammenhang zu beachten, dass eine Einwilligung der Schülerinnen und Schüler nach Art. 6 Abs. 1 lit. a DS-GVO in den Einsatz hochriskanter KI-Systeme regelmäßig keine tragfähige Rechtsgrundlage darstellen kann. Voraussetzung für eine wirksame Einwilligung ist ihre Freiwilligkeit, Informiertheit und die Möglichkeit, sie jederzeit ohne Nachteile zu verweigern oder zu widerrufen. Im schulischen Kontext ist eine echte Freiwilligkeit jedoch kaum anzunehmen, da Schülerinnen und Schüler sich in einem strukturellen Abhängigkeitsverhältnis zur Schule befinden. Aus diesem Grund bedarf der Einsatz hochriskanter KI-Systeme im Bereich der Leistungsbewertung einer spezialgesetzlichen Rechtsgrundlage, die die Interessen der betroffenen Personen angemessen schützt.
Möchte eine Schule ein KI-Modell mit allgemeinem Verwendungszweck im Sinne von Art. 3 Nr. 63 KI-VO für eine spezialisierte Anwendung, wie die Bewertung von Lernergebnissen, einsetzen, verkompliziert sich die Sache deutlich. Bereits durch die mit der Spezialisierung einhergehende Änderung des Einsatzzwecks könnte die Schule rechtlich selbst als Anbieter eines KI-Systems gelten, was umfassende zusätzliche Auflagen wie Risikomanagement, technische Dokumentationspflichten, Konformitätsbewertungen, CE-Kennzeichnung und die Eintragung in die EU-KI-Datenbank nach sich zieht.
Exkurs: ChatGPT, Claude, Gemini und DeepSeek gelten im Sinne der KI-VO als KI-Modelle mit allgemeinem Verwendungszweck, wohingegen die Angebote von Anbietern wie fobizz, FelloFish und vergleichbar nicht unter diese Kategorie fallen, da es sich bei ihnen um domänenspezifische KI-Systeme handelt, die für konkrete pädagogische Zwecke (z. B. Korrekturassistenz, Feedbackgenerierung) optimiert und nicht für eine „breite Palette unterschiedlicher Aufgaben“ ausgelegt sind.
Die KI-VO unterscheidet zwischen KI-Modell und KI-System. Ein KI-System basiert auf einem oder mehreren KI-Modellen, die in der Regel über eine Programmierschnittstelle (API) integriert oder direkt eingebettet werden. Das System wird dabei für einen konkreten oder allgemeinen Anwendungszweck gestaltet und über eine Benutzeroberfläche bereitgestellt. Greift ein Nutzer über seinen Browser auf ein Angebot wie ChatGPT zu, interagiert er mit dem KI-System von OpenAI, das auf dem KI-Modell GPT-4 basiert. Die von Anbietern wie SchulKI, fobizz und ähnlichen Plattformen angebotenen KI-Systeme integrieren verschiedene KI-Modelle, aus denen Nutzer je nach Anwendungszweck bzw. Tool auswählen können.
Viele Bildungs-KI-Anbieter werden voraussichtlich ihre KI-Bewertungsfunktionen weiterhin so ausgestalten, dass sie nur vorbereitende Aufgaben unterstützen, um einer Einstufung als Hochrisiko-KI und den daraus resultierenden Pflichten als Anbieter zu entgehen.
Als hochriskant kategorisiert die KI-VO in Anhang III, Nr. 3 nicht nur KI-Systeme zur “Bewertung von Lernergebnissen“, sondern auch solche, welche “diese Ergebnisse zur Steuerung des Lernprozesses natürlicher Personen” verwenden. Darunter fallen je nach technischer Ausgestaltung auch Adaptive Lernsysteme und Intelligente Tutorielle Systeme – ob ein System jedoch tatsächlich als Hochrisiko-KI gilt, hängt davon ab, ob es im Sinne der Verordnung „intelligent“ agiert (z. B. durch den Einsatz komplexer KI-Modelle mit diagnosefähiger Lernsteuerung) oder lediglich einfache Algorithmen nutzt.
Ein Blick nach Baden Württemberg
Was würde das in der Praxis heißen? Zunächst ein kurzer Blick nach Baden-Württemberg. Dort gibt es mit § 115b im Schulgesetz seit 2024 eine Regelung, welche Schulen das “Anwenden automatisierter, anpassungsfähiger Verfahren […] zum Zweck der technischen Unterstützung und Förderung des individuellen Lernweges” erlaubt. Ergänzt und präzisiert wird diese Regelung mit der Digitalunterrichtsverordnung (DUVO). Automatisierte, anpassungsfähige Verfahren werden dort beschrieben als Computersysteme, die automatisch passende Lernangebote für Schülerinnen und Schüler auswählen, sich interaktiv an das Können und den Lernfortschritt der Lernenden anpassen, gezielt beim individuellen Üben helfen und Rückmeldungen geben. Zu den Informationspflichten gemäß Art. 13 und 14 DS-GVO werden Schulen auch Pflichten in Orientierung an der KI-VO auferlegt. Dazu gehören die Transparenzpflicht, welche Schulen durch Information über die Nutzung und Funktion des System erfüllen müssen, wie das Recht der Betroffenen zur Einsichtnahme, die Zweckbindung, mit welcher der Einsatzzweck eingeschränkt wird, das Verbot der Nutzung von Schülerdaten für Trainingszwecke und der Schutz der personenbezogenen Daten der Nutzer, wozu auch das Verbot gehört, in der Plattform personenbezogenen Daten besonderer Kategorien (Art. 9 DS-GVO zu verarbeiten. Eine Einsichtnahme der Lehrkräfte in die Lernfortschritte ist möglich, setzt jedoch eine Vorabinformation der Schülerinnen und Schüler über den Zeitpunkt voraus. Lehrkräfte dürfen im System erbrachte Leistungen “bei der Notenbildung oder anderen wesentlichen schulischen Entscheidungen” nur dann berücksichtigen, wenn sie diese “fachlich und pädagogisch” geprüft haben. Das bedeutet, um es noch einmal auf den Punkt zu bringen: will eine Lehrkraft in Baden-Württemberg die Leistungen ihrer Schülerinnen und Schüler in einem KI-gestützten System wie einem Adaptiven Lernsystem oder Intelligenten Tutoriellen System, dessen Nutzung in den Regelungsbereich der DUVO fällt, bewerten, setzt dieses voraus, dass vor der Einsichtnahme eine Information über den beabsichtigten Zeitpunkt erfolgt und die erbrachten Leistungen von der Lehrkraft fachlich und pädagogisch geprüft werden.
Ein Blick nach NRW
In NRW lassen sich Adaptive Lernsysteme und Intelligente Tutorielle Systeme unter Lehr- und Lernsysteme gem. § 120 Abs. 5 Satz 1 fassen. Schulen können demnach entsprechende Systeme zur Erfüllung des Bildungs- und Erziehungsauftrags einsetzen und die dafür erforderlichen personenbezogenen Daten verarbeiten. Anders als in Baden-Württemberg findet sich im Schulgesetz NRW bisher keine bereichsspezifische Regelung zur Nutzung von KI-Plattformen oder Systemen, welche mit KI-Unterstützung arbeiten. Bestehende datenschutzrechtliche Grundsätze aus dem Schulgesetz und der DS-GVO sind hier anzuwenden, wie bei anderen Plattformen auch. Darüber hinaus müssen Schulen sich vorerst an der sperrigen KI-VO orientieren. Möchte eine Schule ein vom Schulträger bereitgestelltes Adaptives Lernsystem oder ein Intelligentes Tutorielles System nutzen, welches lediglich durch einfache Algorithmen gesteuert wird, geben alleine das Schulgesetz und die DS-GVO den Rechtsrahmen vor, innerhalb dessen eine Nutzung möglich ist. Mit dem Anbieter ist ein Vertrag zur Auftragsverarbeitung abzuschließen, Betroffene müssen vorab über die Datenverarbeitung informiert werden und die Nutzung ist nur im Rahmen des Erforderlichen möglich. Ist im Hintergrund ein KI-System aktiv, kommt auch die KI-VO ins Spiel. Die Schule müsste zunächst prüfen, ob das System als Hochrisiko-KI gemäß Anhang III der KI-VO einzustufen ist. Das wäre beispielsweise dann der Fall, wenn das System zunächst über einen Kompetenz-Check einen Lernstand ermittelt, diesen bewertet bzw. zu einer Diagnose verarbeitet und daraus abgeleitet die weiteren Lernprozesse automatisch steuert, d.h. sich anpasst und Lernvorgaben ohne direkte menschliche Entscheidung verändert. Durch die Einstufung als Hochrisiko-KI ist die Schule verpflichtet, die Lernenden vorab entsprechend zu informieren. Lehrkräfte müssen jederzeit in der Lage sein, die Entscheidungen des KI-Systems zur Steuerung der Lernprozesse nachzuvollziehen und diese bei Bedarf anzupassen.
KI-Plattformen ohne hohes Risiko
Viele für den schulischen Einsatzzweck konzipierte Plattformen, deren Funktionen KI-Systeme integrieren, fallen nicht unter Hochrisiko-KI-Systeme, da sie Anwendungsbereiche adressieren, die nur mit minimalem oder geringem Risiko verbunden sind. Dazu gehören etwa Hilfestellungen beim Verfassen von Texten, automatisiertes Feedback auf Entwürfe, interaktive Chats mit historischen oder fiktiven Persönlichkeiten, Erstellung von Podcasts aus Texten, Erschließung von Texten durch Fragen an ein PDF, das Erstellen von Grafiken und Bildern usw. Solche Anwendungen unterstützen den Lernprozess oder die kreative Arbeit, greifen jedoch nicht maßgeblich in die Leistungsbewertung oder die Bildungslaufbahn der Schülerinnen und Schüler ein. Sie unterliegen daher nach der KI-VO weniger strengen Anforderungen und können unter Einhaltung allgemeiner Datenschutzvorgaben deutlich einfacher eingesetzt werden.
Anwendungen, die nur ein geringes Risiko im Sinne der KI-Verordnung darstellen, unterliegen keinem Konformitätsbewertungsverfahren, keiner CE-Kennzeichnung und auch keinen umfassenden Risikomanagementpflichten. Die oben genannten typischen Funktionen der schulischen KI-Plattformen — wie Textassistenz, Feedbacksysteme, Chats mit historischen Persönlichkeiten, Bild- oder Podcast-Erstellung sowie interaktive PDF-Auswertungen — dürften in der Mehrzahl unter diese Kategorie der Anwendungen mit geringem Risiko fallen. Für Schulen als Betreiber solcher Systeme bedeutet dies in erster Linie, dass die Transparenzpflichten nach Artikel 52 der KI-VO zu beachten sind und Nutzerinnen und Nutzer — hier Schülerinnen und Schüler sowie Lehrkräfte — klar und verständlich darüber informiert werden müssen, dass sie mit einem KI-System interagieren. Voraussetzung bleibt, wie bereits an anderer Stelle erwähnt, stets, dass die eingesetzten Plattformen datenschutzkonform betrieben werden, insbesondere keine sensiblen personenbezogenen Daten im Sinne von Artikel 9 DS-GVO unzulässig verarbeitet oder übermittelt werden.
Ausblick
Die KI-VO wird Schulen spätestens ab August 2026 vor zusätzliche Herausforderungen stellen, da dann vor allem die unter die Hochrisiko-KI-Systeme fallenden Plattformen nur noch rechtmäßig eingesetzt werden können, wenn die von der KI-VO festgelegten Anforderungen dabei eingehalten werden. Darüber hinaus verpflichtet die KI-Verordnung Schulen als Betreiber von KI-Systemen dazu, sicherzustellen, dass sowohl Lernende als auch Lehrkräfte über eine ausreichende Kompetenz im Umgang mit KI-Systemen verfügen („AI Literacy“). Diese Pflicht besteht bereits seit Februar 2025. Lehrkräfte müssen in der Lage sein, die Funktionsweise, Risiken und Grenzen der eingesetzten Systeme zu verstehen, um ihrer Rolle als menschliche Kontrollinstanz („Human Oversight“) gerecht werden zu können. Die KI-VO schreibt keine bestimmte Maßnahme zur Kompetenzentwicklung vor, sondern fordert lediglich das Ergebnis: den kompetenten und verantwortungsbewussten Umgang mit KI im schulischen Alltag. Die Vermittlung von KI-Kompetenz wird damit ein weiterer zentraler Aspekt der Schulentwicklung.
Bis August 2026 bleibt Schulen noch Zeit zu experimentieren, solange sie dabei die Grenzen von Art. 22 DS-GVO beachten. Je nach Bundesland können sie sich dabei sogar auf schon vorhandene Rechtsgrundlagen aus der Schulgesetzgebung stützen. Um die Schulen bei der Bewältigung dieser neuen Herausforderungen zu unterstützen, haben die Bundesländer in der Bildungsministerkonferenz am 10. Oktober 2024 vereinbart, Schulen und Schulträgern Orientierungshilfen für den rechtskonformen Einsatz von KI-Anwendungen bereitzustellen.
Wer sich selbst KI-kundig machen möchte, hat mit der Lektüre dieses Beitrags einen ersten Schritt dazu getan. Weitere hilfreiche Informationen finden sich u.a. unter:
