Die KI-Verordnung (KI-VO) verfolgt neben der Förderung einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz das Ziel, ein hohes Schutzniveau bei der Nutzung von KI-Systemen zu gewährleisten. Im Kontext der Bildung steht dabei insbesondere der Schutz der Grundrechte sowie die Abwehr schädlicher Auswirkungen auf die Lernenden im Vordergrund. Um diesen Zweck zu erreichen, reguliert die KI-VO den Einsatz von KI-Systemen durch eine risikobasierte Kategorisierung, die sich an den potenziellen Gefahren für den Menschen orientiert. Während bei den ersten beiden Risikostufen (minimales und geringes Risiko) Gefahren entweder gar nicht oder nur in sehr begrenztem Maße vorhanden sind, befasst sich die dritte Kategorie mit Hochrisiko-KI-Systemen, während die vierte Kategorie bestimmte Anwendungen gänzlich verbietet.
Im Bildungsbereich sind Anwendungen der unteren beiden Risikoklassen bereits weit verbreitet. Aufgrund der geringen Risiken ist ihre Nutzung rechtlich unproblematisch, sofern die notwendige KI-Kompetenz aufseiten der Nutzer vorhanden ist und Transparenzpflichten gewahrt werden, insbesondere wenn KI-Systeme Inhalte erzeugen, die Schülerinnen und Schüler von der Realität kaum zu unterscheiden vermögen. Bei Hochrisiko-KI-Systemen gelten hingegen deutlich umfangreichere Anforderungen für Anbieter und Institutionen, die diese als Betreiber einsetzen. Unter diesen Systemen finden sich Anwendungszwecke in vielen Bereichen des schulischen Alltags, welche eine Nutzung auch dort attraktiv erscheinen lassen.
Ziel dieses Textes ist es, Lehrkräften und Verantwortlichen in Schulen das Thema Hochrisiko-KI-Systeme im Bildungskontext näherzubringen. Nur wer versteht, was ein System rechtlich zu einem Hochrisiko-System macht, kann dessen Potenziale und Grenzen für den Einsatz in der Schule fundiert abschätzen. Dabei liegt der Fokus nicht auf den technischen Details der Umsetzung, sondern auf den inhaltlichen Kriterien, die zur Einstufung als Hochrisiko führen, sowie auf den Mechanismen, die bestimmte Systeme von dieser Einstufung ausnehmen, selbst wenn sie Hochrisiko-Anwendungen auf den ersten Blick ähneln.
Für den Bildungsbereich beschreibt die KI-Verordnung Anhang III Punkt 3 vier Kategorien von Hochrisiko-KI-Systemen.
3. Allgemeine und berufliche Bildung
a)
KI-Systeme, die bestimmungsgemäß zur Feststellung des Zugangs oder der Zulassung oder zur Zuweisung natürlicher Personen zu Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung verwendet werden sollen;
b)
KI-Systeme, die bestimmungsgemäß für die Bewertung von Lernergebnissen verwendet werden sollen, einschließlich des Falles, dass diese Ergebnisse dazu dienen, den Lernprozess natürlicher Personen in Einrichtungen oder Programmen aller Ebenen der allgemeinen und beruflichen Bildung zu steuern;
c)
KI-Systeme, die bestimmungsgemäß zum Zweck der Bewertung des angemessenen Bildungsniveaus, das eine Person im Rahmen von oder innerhalb von Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung erhalten wird oder zu denen sie Zugang erhalten wird, verwendet werden sollen;
d)
KI-Systeme, die bestimmungsgemäß zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen im Rahmen von oder innerhalb von Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung verwendet werden sollen.
Die Beschreibung der einzelnen Kategorien ist sehr allgemein gehalten und macht die Übertragung auf den schulischen Alltag schwierig. Deshalb sollen die Richtlinien zur Klassifizierung von Hochrisiko-KI-Systemen Entscheidern eine Auslegungshilfe geben, die sie darin unterstützt, Hochrisiko-KI-Systeme als solche zu erkennen, um dann die erforderlichen Maßnahmen gem. der KI-VO zu ergreifen oder aber von einer Nutzung abzusehen. Bevor es eine einführende Erklärung der Systematik der Richtlinien gibt, gilt es zunächst einmal zu verstehen, warum bestimmte KI-Systeme in Schulen überhaupt als Hochrisiko-KI-Systeme gelten, warum ihre Nutzung unter den aktuellen Bedingungen (noch) nicht möglich ist und wie die Beispiele der Richtlinien im nationalen Kontext einzuordnen sind.
Hinweis: Bei den hier zugrunde gelegten Richtlinien zur Klassifizierung von Hochrisiko-KI-Systemen handelt es sich um eine Entwurfsfassung der EU-Kommission. Die öffentliche Konsultationsphase ist zum Zeitpunkt dieser Textfassung bereits abgeschlossen, und entsprechende Änderungsvorschläge werden nun vor der finalen Veröffentlichung eingearbeitet. In der Fachwelt rechnet man vor allem damit, dass weitere konkrete Beispiele ergänzt werden dürften. An den grundlegenden Aussagen der Richtlinien wird sich jedoch nichts ändern, da sie primär die rechtlichen Vorgaben der KI-VO erläutern. Anbietern von KI-Systemen wird bereits jetzt empfohlen, sich an der Entwurfsfassung zu orientieren. Sobald die finale Fassung des Dokuments vorliegt, wird der Verfasser dieses Beitrags einen Abgleich vornehmen und gegebenenfalls Ergänzungen oder Änderungen einarbeiten. Dieser Hinweis wird zu diesem Zeitpunkt gelöscht und gegebenenfalls durch eine Information über vorgenommene Anpassungen ersetzt.
Was macht KI-Systeme im Bildungsbereich zu Hochrisiko-KI-Systemen?
KI im Bildungsbereich wird als besonders riskant eingestuft, sobald sie Anteil an Entscheidungen hat, die den Bildungsweg und die berufliche Laufbahn von Schülern sowie deren Fähigkeit, zukünftig ihren Lebensunterhalt zu sichern, maßgeblich beeinflussen können. Bei fehlerhafter Gestaltung oder falscher Verwendung könnten solche Systeme das Recht auf Bildung verletzen oder historische Diskriminierungsmuster (z. B. aufgrund des Geschlechts, einer Behinderung oder der ethnischen Herkunft) verstärken und dadurch Entscheidungen bezüglich des Bildungsweges zum Nachteil der Schüler beeinflussen.
„Maßgeblich beeinflussen“ (in der KI-VO im Original „materially influence“) meint hier, dass eine Anwendung einen substanziellen Einfluss auf das Ergebnis von Entscheidungen hat, welche rechtliche Folgen haben – sei es, dass es sich um Noten, Abschlüsse, Zuweisungen zu Bildungsgängen oder Ähnliches handelt. Was bedeutet das ganz praktisch? Eine KI beeinflusst eine Entscheidung immer dann maßgeblich, wenn sie nicht bloß technische Hilfsdienste leistet (wie das reine Sortieren von Dokumenten), sondern eine konkrete Empfehlung oder Bewertung für einen Einzelfall abgibt. Dabei ist es unerheblich, ob die KI komplett eigenständig entscheidet oder ob eine Lehrkraft die Entscheidung formal nur noch bestätigt. Wenn die KI-Ausgabe so gewichtig ist, dass sie die menschliche Entscheidung maßgeblich lenkt oder de facto vorgibt, gilt das System als Hochrisiko.
Warum der Einsatz von Hochrisiko-KI-Systemen aktuell nicht zulässig ist
Für den Einsatz von Hochrisiko-KI-Systemen, wie die KI-Verordnung sie für den Bildungsbereich anführt und wie sie in den Richtlinien exemplarisch beschrieben werden, gibt es in den deutschen Bundesländern bisher keine Rechtsgrundlagen, welche diesen gestatten würden. Sobald Hochrisiko-KI-Systeme entscheiden oder Entscheidungen maßgeblich beeinflussen, ist in vielen Fällen zusätzlich Art. 22 DS-GVO (automatisierte Entscheidungen) zu beachten. Auch automatisierte Entscheidungen sind nur zulässig, wenn es eine Rechtsgrundlage dafür gibt. Die Einwilligung wäre eine weitere Rechtsgrundlage, die aber in Schule und Ausbildung im Kontext des Einsatzes von Hochrisiko-KI-Systemen nicht infrage kommt.
Da es für den Einsatzbereich von Hochrisiko-KI-Systemen im Bildungsbereich weder mit Blick auf die KI-VO noch mit Blick auf Art. 22 DS-GVO Rechtsgrundlagen in den Schulgesetzen der Bundesländer gibt, müssen sich Schulen in der Praxis der kommenden Jahre auf solche KI-Systeme beschränken, die lediglich vorbereitende oder unterstützende Funktionen haben oder bereits von Menschen getroffene Entscheidungen überprüfen. Solche Anwendungen, die funktional zwar vergleichbar mit Hochrisiko-KI-Systemen sind, kommen nur dort infrage, wo sie die pädagogische Entscheidungshoheit der Lehrkräfte unberührt lassen und somit keinen direkten Einfluss auf die Bildungsbiografien von Schülern haben können. Dies ist besonders im Bereich der Leistungsbewertung entscheidend. KI-Systeme dürfen hier niemals eigenständig entscheiden oder menschliche Urteile maßgeblich beeinflussen. Eine weitere Grenze für den zulässigen Einsatz von KI-Systemen im Bildungsbereich ist das Verbot der Profilbildung. Das heißt, auch wenn ein System eigentlich nur unterstützend wirken soll, gilt es rechtlich zwingend als Hochrisiko-Anwendung, sobald es Profiling betreibt. Eine Nutzung wäre damit unter den aktuellen rechtlichen Gegebenheiten nicht zulässig.
Einordnung der Beispiele im Kontext des nationalen Bildungssystems
Da es sich bei der KI-VO um ein Regelwerk handelt, welches in der gesamten Europäischen Union Gültigkeit hat, berücksichtigt es auch Strukturen und Verfahren in den Bildungssystemen anderer europäischer Länder. Hinzu kommt, dass die KI-Verordnung den gesamten Bildungsbereich von der frühkindlichen Bildung bis zur Bildung im tertiären Bereich, Hochschulen und Universitäten, im Blick hat. Die Richtlinien zur Klassifizierung enthalten deshalb auch Beispiele, welche auf das deutsche Schulsystem allgemein oder den Primar- und Sekundarbereich, um den es hier vor allem geht, nicht anwendbar sind. In Deutschland haben Schulträger beispielsweise keine rechtliche Befugnis, Schülerinnen und Schüler einzelnen Schulen zuzuweisen. Genauso gibt es in Deutschland keine rechtliche Grundlage, die es Schulen erlauben würde, Prüflinge während Prüfungen mit Videokameras oder bezüglich von Tastaturanschlägen und Mausbewegungen zu überwachen. Das Gleiche gilt für die KI-gestützte Videoüberwachung von Fluren und Mensen oder Pausenhöfen, um unzulässiges Verhalten bei Schülern zu erkennen und Schulpersonal zu alarmieren. Auch wenn nicht sämtliche Beispiele im Kontext des deutschen Schulsystems Sinn ergeben, so helfen sie doch zu verdeutlichen, wo in den vier Kategorien (3a–d) die Grenze zwischen reiner organisatorischer Unterstützung und einer maßgeblichen Beeinflussung verläuft, die zur Hochrisiko-Einstufung führt. Hat man diese Unterscheidung verstanden, kann man sie leicht auf andere Anwendungsfälle von KI-Systemen übertragen.
Die Systematik der Richtlinien zur Klassifizierung von Hochrisiko-KI-Systemen
Um KI-Systeme, die funktional zwar ähnlich wie Hochrisiko-KI-Systeme sind, jedoch nicht als solche klassifiziert werden, zweifelsfrei zu identifizieren, hilft ein Blick auf die Systematik der EU-Richtlinien. Diese erläutern detailliert, wann ein System von vornherein nicht unter die Definitionen des Anhangs III fällt oder durch den sogenannten Filter-Mechanismus von der Hochrisiko-Klassifizierung befreit ist.
Exkurs Filter-Mechanismus
Der Filter (Art. 6 Abs. 3 KI-VO) sorgt dafür, dass KI-Systeme nicht als Hochrisiko gelten, wenn sie menschliche Entscheidungen nicht maßgeblich beeinflussen. Die KI übernimmt hier lediglich die Rolle eines „intelligenten Assistenten“ für rein unterstützende Aufgaben.
Wann greift dieser Filter?
Reine Zuarbeit: Die KI erledigt einfache Routineaufgaben, wie das Sortieren von Bewerbungen oder das Umwandeln von Dateiformaten.
Vorbereitung: Das Tool bereitet Daten lediglich so auf, dass der Mensch sie später besser beurteilen kann.
Qualitäts-Check: Die KI prüft oder verfeinert ein Ergebnis, das ein Mensch bereits fertiggestellt hat (z. B. eine Rechtschreibprüfung für Prüfungsfragen).
Achtung Profiling! Sobald die KI Profiling betreibt, d h. Merkmale von Schülern automatisiert bewertet, um deren Leistung oder Verhalten vorherzusagen, is der Filter unwirksam. In diesem Fall bleibt das System zwingend als Hochrisiko eingestuft. Filter unwirksam
Die Richtlinien zur Klassifizierung von Hochrisiko-KI-Systemen sind mit nahezu 150 Seiten ein ziemlich umfangreiches Dokument. Um zu verstehen, unter welchen Kriterien im Bereich der Bildung eine Anwendung als Hochrisiko-KI-System gilt oder nicht in die Klassifizierung fällt, ist es nicht erforderlich, das komplette Dokument zu lesen.
Allen Erläuterungen zu den vier am Anfang des Beitrags wiedergegebenen Anwendungsbereichen von Hochrisiko-KI-Systemen im Bildungswesen stellen die Richtlinien zur Klassifizierung zunächst eine Beschreibung voran. Dieser folgen praktische Beispiele, die sich in drei Kategorien gliedern: Systeme, die als Hochrisiko eingestuft werden, solche, die von vornherein nicht unter die Definition fallen, und jene, die zwar die Kriterien erfüllen, aber durch den sogenannten Filter-Mechanismus befreit sind.
Nun zu den vier Anwendungsbereichen von Hochrisiko-KI-Systemen im Bildungsbereich. Wir beginnen mit demjenigen, welcher für unser deutsches Bildungssystem unter den aktuellen Gegebenheiten die größte Relevanz hat, dem zweiten in Anhang III Punkt 3.
Wichtiger Hinweis zur NutzungsvoraussetzungAlle im Folgenden beschriebenen schulischen Einsatzmöglichkeiten von KI-Systemen, die aufgrund der Richtlinien als „nicht hochriskant“ eingestuft werden, stehen unter einem zentralen Vorbehalt:
Die Nutzung ist nur dann zulässig, wenn die gewählte KI-Plattform ausdrücklich für die Verarbeitung von personenbezogenen Daten im schulischen Kontext zugelassen ist und auch alle sonstigen rechtlichen Anforderungen für eine datenschutzkonforme Nutzung erfüllt.
3 b) KI-Systeme zur Bewertung von Lernergebnissen
Was versteht man darunter?
Die Bewertung von Lernergebnissen umfasst die Beurteilung von Wissen, Fertigkeiten, Werten sowie Kompetenzen von Schülerinnen und Schülern im Abgleich mit etablierten Standards. Unter diesen Standards sind insbesondere vordefinierte Lernziele, die Anforderungen der jeweiligen Lehrpläne sowie verbindliche Kompetenzrahmen zu verstehen, die als objektiver Maßstab für eine quantitative oder qualitative Einschätzung der Schülerleistung herangezogen werden. Von zentraler Bedeutung für die rechtliche Einordnung nach der KI-Verordnung ist dabei die Unterscheidung zwischen summativen und formativen Bewertungen.
KI-Anwendungen gelten als Hochrisiko-Systeme, wenn sie für summative Bewertungen eingesetzt werden, die in einer Note, einem Abschluss, einem Zertifikat oder einer Qualifikation münden. Dabei ist entscheidend, dass sich dies nicht nur auf die abschließenden Noten am Ende eines Halbjahres, Schuljahres, Kurses oder Lehrgangs bezieht. Auch KI-Systeme, welche Zwischennoten bestimmen oder wesentlich beeinflussen, wie etwa bei Klassenarbeiten, Tests oder anderen Formen von Leistungsnachweisen, fallen unter diese Kategorie, sofern diese Teilergebnisse in eine finale Bewertung einfließen oder den schulischen Werdegang (z. B. die Versetzung oder den Erwerb von Abschlüssen) maßgeblich bestimmen. Da solche Systeme einen signifikanten Einfluss auf die Bildungsbiografie und die berufliche Laufbahn einer Person haben können, wird deren Einsatz als hohes Risiko eingestuft.
Im Gegensatz dazu fallen Anwendungen, die lediglich für formatives Feedback oder zur Lernunterstützung im laufenden Prozess eingesetzt werden, in der Regel nicht unter die Hochrisiko-Kategorie. Hierzu zählen beispielsweise adaptive Lernplattformen (ALS) oder intelligente tutorielle Systeme (ITS), welche Aufgaben an den individuellen Lernstand anpassen, um die Leistung kontinuierlich zu verbessern, ohne eine finale Note festzulegen. Auch Lernanalytik-Plattformen, die Aktivitäten und Fortschritte lediglich verfolgen, um pädagogische Einblicke zu liefern, gelten als unkritisch. Hinweis: Dies gilt jedoch nur, solange Lehrkräfte Berichte der Plattform (z. B. über Stärken und Schwächen am Ende einer Einheit) nicht als Grundlage für die Notenvergabe am Schuljahresende nutzen.
Sobald eine solche Auswertung, sei es für eine Abschlussnote oder eine gewichtete Zwischennote, die Bewertung maßgeblich bestimmt, wandelt sich die Anwendung rechtlich zu einem Hochrisiko-System. Ebenfalls nicht als Hochrisiko-Systeme eingestuft werden KI-Anwendungen, die von Schülerinnen und Schülern aus eigenem Antrieb zum informellen Lernen genutzt werden, diese Nutzung also nicht von der Bildungseinrichtung vorgeschrieben ist.
Rote Ampel: Positiv-Beispiele (Hochrisiko)
Als Hochrisiko-KI-Systeme klassifiziert werden KI-gestützte Benotungs- und Feedback-Systeme, die zur Auswertung von Schülerarbeiten deren Ergebnisse analysieren und den Lehrkräften Notenvorschläge unterbreiten, die einen Einfluss auf die summative Bewertung von Schülern haben. Welches Format Schülerarbeiten haben, ist dabei nicht entscheidend. Es kann sich um Tests handeln, Klassenarbeiten, Klausuren, Facharbeiten, die Heftführung oder sonstige Ausarbeitungen von Schülerinnen und Schülern. Auch Personalisierte KI-Lernbegleiter, die Schülern Empfehlungen und Feedback geben, indem sie Stärken und Schwächen aufzeigen und Vorschläge machen, wo sie sich verbessern können, werden entsprechend eingestuft, wenn ihre Auswertungen Einfluss auf die Zeugnisnote haben. Sie haben dadurch keinen rein formativen Charakter mehr sondern stellen eine summative Bewertung dar.
Ohne eine Rechtsgrundlage im Schulrecht des Bundeslandes und eine geeignete Plattform sind Hochrisiki-KI-Systeme, die für vergleichbare Aufgaben eingesetzt werden, aktuell nicht nutzbar.
Grüne Ampel: Negativ-Beispiele (Kein Hochrisiko)
Fällt ein KI-System nicht unter die Klassifzierung als Hochrisiko-KI-System, braucht es keine spezialrechtliche Erlaubnis, um es in Schulen einzusetzen. Trotzdem müssen selbstredend alle anderen rechtlichen Voraussetzungen, wie die DS-GVO Konformität und eine Freigabe für die Verarbeitung von personenbezogenen Daten erfüllt sein, um für einen schulischen Einsatz in Frage kommen.
Die Richtlinien nennen insgesamt drei bzw. vier Negativ-Beispiele. Das erste davon sind KI-gestützte Sprachlern-Anwendungen, die von Schülern aus eigenem Antrieb heraus zum informellen Lernen genutzt werden und ihnen direktes Feedback und Korrekturen geben, ohne dass dieses in irgendeiner Form zu einem offiziellen Zertifizierung oder ähnlich führt. Beispiele dafür könnten Apps wie DuoLingo und vergleichbare Angebote sein. Das Beispiel ist damit für Schulen nur bedingt relevant, da die Nutzung derartiger Apps und Plattformen eher im Privatbereich stattfindet als in der Schule.
Als zweites Beispiel werden KI-gestützte neurodiverse Lernbegleiter angeführt. Hierunter sind KI-Systeme zu verstehen, die Schülerinnen und Schüler mit neurodivergenten Lernvoraussetzungen (z. B. Autismus, ADHS oder Dyslexie) individuell unterstützen. Das System passt die Lernumgebung an die Bedürfnisse der Lernenden an, ohne dabei Entscheidungen über Noten oder Leistungsbewertungen zu treffen. Die Unterstützung kann beispielsweise darin bestehen, Lerntexte in Leichte Sprache umzuwandeln, Texte vorlesen zu lassen oder Audioaufnahmen automatisch zu transkribieren. Ebenso können umfangreiche Arbeitsaufträge in überschaubare Einzelschritte gegliedert, visuelle Tages- oder Arbeitspläne erstellt, Bearbeitungszeiten individuell angepasst oder regelmäßige Pausen vorgeschlagen werden. Auch Hinweise zur Strukturierung von Aufgaben oder zur Fokussierung auf den nächsten Arbeitsschritt sind denkbar. Derartige Systeme unterstützen die Arbeit der Lehrkräfte und erleichtern den Zugang zum Unterricht, sind jedoch nicht dazu bestimmt, Noten festzulegen oder Bewertungen vorzunehmen.
Auch wenn die im Beispiel beschriebenen KI-gestützten neurodiversen Lernbegleiter unter den genannten Voraussetzungen nicht als Hochrisiko-KI gelten, muss das System regelmäßig Informationen über die besonderen Lernvoraussetzungen der betroffenen Schülerin oder des betroffenen Schülers verarbeiten, um individuelle Unterstützung leisten zu können. Hierzu können insbesondere Angaben zu einer Autismus-Spektrum-Störung, ADHS, Dyslexie und ähnlichen Beeinträchtigungen gehören. Angaben dieser Art stellen regelmäßig Gesundheitsdaten dar und gehören damit zu den besonderen Kategorien personenbezogener Daten nach Art. 9 DS-GVO. An die Zulässigkeit ihrer Verarbeitung sind besonders hohe Anforderungen zu stellen. Vor allem bedürfte es einer tragfähigen Rechtsgrundlage, etwa im Schulgesetz, sowie geeigneter technischer und organisatorischer Maßnahmen zum Schutz dieser Daten. Nach Einschätzung des Verfassers dieses Beitrags spielen derartige KI-gestützte Lernbegleiter im schulischen Alltag derzeit noch keine praktische Rolle. Es ist jedoch naheliegend, dass entsprechende Systeme entwickelt werden oder sich bereits in der Entwicklung befinden. Ihr Potenzial für eine passgenaue Unterstützung von Schülerinnen und Schülern mit neurodivergenten Lernvoraussetzungen sowie für eine Entlastung der Lehrkräfte ist erheblich.
Als abschließendes Beispiel werden KI-gestützte Anwendungen zur Rückmeldung bezüglich Aussprache und Sprachfluss beim Fremdsprachenlernen genannt. KI-Systeme dieser Art analysieren das Sprechen von Schülern und machen Verbesserungsvorschläge, mit welchen Schüler Aussprache, Betonung, Sprechrythmus und Akzent verbessern können. Damit derartige KI-Systeme nicht als Hochrisiko-KI gelten, dürfen die Rückmeldungen der Systeme nicht durch Lehrkräfte verwendet werden, um eine abschließende Bewertung zu erstellen oder die die Sprachfertigkeit zu bewerten. In Analogie hierzu kann man die Klassifizierung als Nicht-Hochrisiko-KI-System auch auf ein viertes Beispiel übertragen, KI-gestützte Anwendungen zur Verbesserung der Lesefertigkeit.
Als abschließendes Beispiel werden KI-gestützte Anwendungen für Rückmeldungen zur Aussprache, Betonung und zum Sprachfluss beim Fremdsprachenlernen genannt. KI-Systeme dieser Art analysieren das gesprochene Wort und geben individuelle Hinweise, wie Aussprache, Intonation, Sprechtempo oder Akzent verbessert werden können. Die Rückmeldungen dienen ausschließlich dem Üben und der individuellen Förderung. Damit derartige KI-Systeme nicht als Hochrisiko-KI gelten, dürfen sie weder dazu bestimmt sein noch tatsächlich dazu verwendet werden, eine abschließende Leistungsbewertung oder Benotung der Sprachkompetenz vorzunehmen oder maßgeblich zu beeinflussen.
In Analogie hierzu lässt sich die Einstufung als Nicht-Hochrisiko-KI-System auch auf KI-gestützte Anwendungen zur Verbesserung der Lesefertigkeit übertragen. Solche Systeme können beispielsweise die Leseflüssigkeit analysieren und Rückmeldungen zur Aussprache, Lesegeschwindigkeit, Betonung oder zu Lesefehlern geben. Sie dienen der individuellen Förderung der Schülerinnen und Schüler und nicht der abschließenden Bewertung ihrer Leseleistung.
Smaragdgrüne Ampel: Beispiele für KI-Systeme, die wegen Anwendbarkeit des Filter-Mechanismus nicht Hoch-Risiko sind
Sehr interessant für Schulen sind Beispiele, welche zwar in der Funktion sehr ähnlich den Hochrisiko-KI-System sind, jedoch nicht als solche klassifiziert werden, da sie lediglich vorbereitende, unterstützende oder kontrollierende Funktion haben, jedoch nie entscheiden oder eine menschliche Entscheidung maßgeblich beeinflussen.
Das ist beispielsweise der Fall bei KI-gestützten Anwendungen zur Qualitätskontrolle von Prüfungsunterlagen. Diese KI-Systeme analysieren Klassenarbeiten, Klausuren und andere Leistungsüberprüfungen und geben Hinweise auf mögliche sprachliche Unklarheiten, formale Fehler oder Inkonsistenzen. Darüber hinaus können sie prüfen, ob die Aufgaben mit den vorgesehenen Lernzielen, dem Anspruchsniveau der Lerngruppe oder schulinternen Vorgaben zur Gestaltung von Leistungsüberprüfungen (z. B. Fundamentum und Additum) übereinstimmen, und entsprechende Verbesserungsvorschläge machen. Derartige Systeme gelten nicht als Hochrisiko-KI, da sie weder eigenständig Prüfungsaufgaben erstellen oder verändern noch den Schwierigkeitsgrad oder den Zweck der Leistungsüberprüfung festlegen. Über die Übernahme oder Ablehnung der vorgeschlagenen Änderungen entscheiden ausschließlich die Lehrkräfte. Ein anschaules Beispiel für ein derartiges KI-System wäre eine Anwendung, die darauf hinweist, dass eine Aufgabe überwiegend dem Anforderungsbereich I zuzuordnen ist, obwohl auch Aufgaben des Anforderungsbereichs II vorgesehen sind. Die KI schlägt eine entsprechende Anpassung der Aufgabenstellung vor. Ob dieser Vorschlag übernommen wird, entscheidet ausschließlich die Lehrkraft.
Auch eine KI-gestützte Notenberechnung gilt nicht als Hochrisiko-KI, wenn sie ausschließlich dazu dient, auf Grundlage der von der Lehrkraft vergebenen Einzelnoten und ihrer jeweiligen Gewichtung eine rechnerische Durchschnittsnote zu ermitteln und auszugeben. Die Entscheidung über die abschließende Bewertung bleibt weiterhin der Lehrkraft vorbehalten, die von dem rechnerischen Ergebnis im Rahmen der geltenden rechtlichen Vorgaben auch abweichen kann.
Der Beschreibung in den Leitlinien nach handelt es sich dabei um eine rein rechnerische Unterstützungsfunktion, wie sie bislang bereits durch Tabellenkalkulationen oder Schulverwaltungsprogramme bereitgestellt wird. Der Unterschied könnte darin bestehen, dass die Lehrkraft dem KI-System lediglich die Gewichtung der einzelnen Leistungsnachweise vorgibt, und so die Berechnung ohne das Erstellen oder Anpassen von Formeln erfolgt. In der Praxis könnte eine Lehrkraft beispielsweise eine Liste mit den Noten der Klassenarbeiten, der mündlichen Leistungen und der sonstigen Mitarbeit einschließlich ihrer Gewichtung in das KI-System eingeben. Die KI berechnet daraus eine rechnerische Durchschnittsnote von 2,3. Es liegt anschließend im pädagogischen Ermessensspielraum der Lehrkraft, ob daraus im Zeugnis die Note „gut“ oder „befriedigend“ wird oder ob aufgrund besonderer Umstände stärker von der rechnerischen Durchschnittsnote abgewichen wird.
Das zuletzt angeführte Beispiel sind KI-gestützte Anwendungen zur Überprüfung der Konsistenz von Bewertungen. Gemeint sind Systeme, die nach Abschluss der Bewertung durch die Lehrkraft analysieren, ob die vereinbarten Bewertungskriterien über alle Leistungsnachweise hinweg einheitlich angewendet wurden. Hierzu werden die bereits bewerteten Schülerarbeiten einschließlich der vergebenen Punkte und der zugrunde liegenden Bewertungskriterien ausgewertet. Das System kann beispielsweise feststellen, ob einzelne Aufgaben im Vergleich zu anderen Schülerinnen und Schülern unterschiedlich streng bewertet wurden oder ob sich der Bewertungsmaßstab im Verlauf der Korrektur verändert hat. Ebenso kann überprüft werden, ob die innerhalb einer Fachschaft vereinbarten Bewertungskriterien von allen Lehrkräften einheitlich angewendet wurden.
Voraussetzung für die Anwendung der Filterregel ist, dass das KI-System die Schülerarbeiten nicht selbst bewertet oder die Bewertung eigenständig verändert, auch wenn es hierfür die Inhalte der Schülerarbeiten analysieren muss. Die Analyse dient ausschließlich dazu, Hinweise auf mögliche Unstimmigkeiten oder Inkonsistenzen in der bereits erfolgten Bewertung zu geben. Ob aus den Befunden des KI-Systems zur Konsistenz der Bewertungen Konsequenzen gezogen oder einzelne Bewertungen angepasst werden, entscheiden ausschließlich die zuständigen Lehrkräfte oder die hierfür verantwortlichen Personen.
Was bedeutet das für Schulen in der Praxis?
Erfüllt ein KI-System die datenschutzrechtlichen Voraussetzungen für die Verarbeitung personenbezogener Daten und ist sein Einsatz an Schulen zulässig, können Schulen damit grundsätzlich auch Anwendungen nutzen, wie sie in den Negativbeispielen oder den Beispielen zur Anwendung der Filterregel beschrieben werden. Die dort aufgeführten Beispiele stellen jedoch keine abschließende Aufzählung dar. Sie verdeutlichen vielmehr das zugrunde liegende Prinzip, sodass sich daraus weitere vergleichbare Einsatzmöglichkeiten ableiten lassen.
Wie bereits beschrieben, gehören hierzu auch Adaptive Lernsysteme (ALS) und Intelligente Tutorielle Systeme (ITS), sofern sie ausschließlich formatives Feedback oder formative Bewertungen bereitstellen und diese nicht zur abschließenden Leistungsbewertung oder Notengebung (summative Bewertung) verwendet werden.
Das vom FWU im Auftrag der Länder entwickelte Adaptive Intelligente System (AIS), eine KI-gestützte digitale Lehr- und Lernumgebung für Schülerinnen und Schüler, dürfte grundsätzlich in diese Kategorie fallen. Nach derzeitigem Kenntnisstand ist davon auszugehen, dass das System – ähnlich wie AISchat – ohne eine personalisierte Anmeldung genutzt werden kann.
3 a) KI-Systeme welche über Zugang, Zulassung oder Zuweisung zu Bildungseinrichtungen und Bildungsangeboten innerhalb von Bildungseinrichtungen entscheiden
Mit Blick auf die Strukturen und Entscheidungswege des deutschen Schulsystems, wird schnell aus der Bezeichnung dieser Kategorie deutlich, dass derartige KI-Systeme für das deutsche Schulsystem aktuell eher wenig bis keine Relevanz haben. Während in einigen europäischen Ländern der Zugang zu Schulen oder spezifischen Bildungsgängen über kompetitive, oft zentralisierte oder automatisierte Auswahlverfahren geregelt wird, erfolgt die Zuweisung im deutschen staatlichen Schulwesen primär auf Basis von Verwaltungsvorschriften, wie etwa festen Einzugsgebieten oder gesetzlichen Aufnahmekriterien.
Dass diese Kategorie dennoch Teil der KI-Verordnung ist, liegt – wie weiter oben bereits angesprochen – am Ziel der EU, ein einheitliches Fundament für alle Mitgliedstaaten zu schaffen. Die Richtlinien müssen somit auch jene Bildungssysteme abdecken, in denen beispielsweise automatisierte Zulassungssysteme über Bewerbungen entscheiden oder es denkbar wäre, KI-Tools zur Vergabe von Stipendien (etwa an Privatschulen) einzusetzen.
Was versteht man darunter?
Bei KI-Systemen der Kategorie 3(a) geht es um solche Anwendungen, welche darüber bestimmen, ob eine Person sich für ein Bildungsangebot anmelden darf, Zugang dazu erhält oder einem Bildungsangebot zugewiesen wird. In der Regel prüfen diese Systeme Bewerbungen für Entscheidungen über eine Zulassung oder unterstützen die Verantwortlichen maßgeblich bei der Bewertung von Bewerberunterlagen. Wichtig ist hierbei die Abgrenzung derartiger KI-Systeme von solchen, welche die Leistungen und Fortschritte von Lernenden bewerten. Diese fallen nicht in die Kategorie 3(a), sondern gehören zum folgenden Bereich 3(b).
Rote Ampel: Positiv-Beispiele
Als erstes Beispiel werden hier KI gestützte automatisierte Zulassungssysteme angeführt, die Bewerbungen, Zeugnis oder Testergebnisse auswerten und dann entscheiden, ob ein Bewerber für eine Zulassung in Frage kommt. Dabei sind die Bewertungen und Empfehlungen des KI-Systems so gewichtig, dass sie das Ergebnis einer Zulassungsentscheidung maßgeblich bestimmen. Das heißt mit anderen Worten, selbst wenn eine Lehrkraft oder ein Administrator die Entscheidung anschließend formal bestätigt, bleibt das System Hochrisiko, wenn die menschliche Prüfung nur noch pro forma erfolgt. Solange ein solches KI System nur der Vorbereitung von Entscheidungen dient, etwa indem es Unterlagen sortiert, übersetzt oder in ein einheitliches Format überführt, und auch keine Profile gebildet werden (Profiling-Schranke), greift der Filtermechanismus und das System gilt nicht als Hochrisiko.
Das zweite Beispiel beschreibt KI-gestützte automatisierte Zuweisungssysteme, welche etwa von Schulträgern eingesetzt werden, um Schülerinnen und Schüler Schulen in ihrem Zuständigkeitsbereich zuzuweisen. Die Entscheidung erfolgt dabei auf Basis von Merkmalen wie der Wohnadresse, den Einzugsgebieten, verfügbaren Plätzen sowie dem Geschwister- oder Elternstatus. Da diese Systeme persönliche Merkmale bewerten, um eine Entscheidung über die Platzierung zu treffen, betreiben sie Profiling. Aufgrund der sogenannten Profiling-Schranke ist der Filtermechanismus für solche Systeme grundsätzlich nicht anwendbar, was ihre Einstufung als Hochrisiko-Systeme zur Folge hat. Während in Deutschland bei einem Bewerberüberhang häufig per Los entschieden wird, würde der Einsatz vergleichbarer KI-Systeme zur Auswahl nach persönlichen Kriterien ebenfalls als Profiling gewertet werden, wodurch eine Befreiung vom Hochrisiko-Status ausgeschlossen bliebe.
Das dritte Beispiel, welches hier vor allem zur systematischen Vollständigkeit aufgeführt wird, befasst sich mit KI-gestützten Systemen zur Zuweisung von Bewerbern zu verfügbaren Ausbildungsgängen, wie sie beispielsweise durch regionale Arbeitsagenturen eingesetzt werden könnten. Diese Anwendungen basieren auf einer umfassenden Auswertung des bisherigen Bildungsweges, wobei Zertifikate, Ergebnisse aus standardisierten Eignungstests sowie spezifische Qualifikationsprofile mit den Anforderungen der jeweiligen Ausbildungsgänge abgeglichen werden. Da dieser Prozess darauf abzielt, persönliche Merkmale und Kompetenzen automatisisiert zu bewerten, um eine Eignungsprognose zu erstellen, handelt es sich rechtlich um Profiling. Aufgrund der sogenannten Profiling-Schranke ist der Filter-Mechanismus nach Artikel 6 Absatz 3 der KI-Verordnung für solche Systeme grundsätzlich nicht anwendbar, was dazu führt, dass diese Anwendungen ausnahmslos als Hochrisiko-Systeme eingestuft werden, da sie den Zugang zur Berufsbildung maßgeblich steuern.
Für das deutsche Schulsystem und den Übergang in den Beruf hat dieses Beispiel aktuell keine praktische Relevanz, da es hierzulande keine vergleichbare institutionelle Zuweisung zu Ausbildungsgängen gibt, weder durch regionale Arbeitsagenturen noch die Berufskollegs selbst. Während in einigen anderen EU-Staaten Behörden über die Platzierung in Programmen entscheiden können, beruht das deutsche System auf dem Prinzip der individuellen Bewerbung. Selbst an Berufskollegs, die ein breites Spektrum an Bildungsgängen unter einem Dach vereinen, bewerben sich Schülerinnen und Schüler stets spezifisch auf einen einzelnen Bildungsgang, sodass keine behördliche Zuweisung durch die Schule oder die Arbeitsagentur erfolgt.
Das letzte Beispiel betrifft KI-gestützte Systeme zur automatisierten Prüfung der Stipendienberechtigung. Da im öffentlichen deutschen Schulwesen üblicherweise keine Stipendien vergeben werden, ist dieser Anwendungsfall primär für Privatschulen relevant. Solche Systeme bewerten die wirtschaftliche Situation von Bewerbern, etwa anhand von Merkmalen wie Einkommen, Ausgaben und Familiengröße, um über die Vergabe von Stipendien oder die Ermäßigung von Schulgebühren zu entscheiden. Auch wenn die Richtlinien in diesem spezifischen Beispiel den Begriff nicht ausdrücklich nennen, dürfte diese Anwendung unter die Profiling-Schranke fallen. Nach den allgemeinen Definitionen der Richtlinien gilt die Bewertung der wirtschaftlichen Lage oder persönlicher Merkmale zur Ableitung von Entscheidungen zwingend als Profiling. Damit ist der Filter-Mechanismus (Art. 6 Abs. 3 KI-VO) nicht anwendbar und das System bleibt als Hochrisiko-System klassifiziert, da es de facto über den Zugang zur Bildung entscheidet.
Grüne Ampel: Negativ-Beispiele (gelten nicht als Hochrisiko)
Das erste Beispiel für Anwendungen, die von vornherein nicht als Hochrisiko eingestuft werden, beschreibt eine KI-gestützte Ausbildungsberatung, die Schülerinnen und Schülern auf Grundlage ihrer Präferenzen und zuvor angegebenen Interessen unverbindliche Vorschläge für passende Bildungseinrichtungen oder Bildungsgänge macht. Der entscheidende rechtliche Unterschied zu den zuvor genannten Hochrisiko-Beispielen liegt darin, dass diese Form der Beratung keinerlei Einfluss auf den tatsächlichen Zugang, die Zulassung oder die formale Zuweisung zu einem Ausbildungsgang oder einer Bildungsinstitution hat, da die Anwendung lediglich als Informationsquelle dient und die betroffenen Personen ihre Entscheidungen weiterhin eigenständig treffen. Ein solches System wäre im Kontext des deutschen Schulwesens durchaus vorstellbar, etwa wenn es Schülerinnen und Schülern am Ende der zehnten Klasse oder am Ende der Oberstufe zur Beratung zur Verfügung stünde, um sie bei der Wahl ihres weiteren Bildungsweges zu unterstützen, ohne dabei den administrativen Aufnahmeprozess maßgeblich zu lenken oder de facto vorzugeben.
Das zweite Beispiel für Anwendungen, welche von vornherein nicht als Hochrisiko eingestuft werden, befasst sich ebenfalls mit der Beratung im Kontext von Auswahlentscheidungen, wobei es sich hierbei um einen KI-gestützten Chatbot handelt. Ein solches System dient dazu, interessierten Schülerinnen und Schülern allgemeine Informationen über Anmeldevoraussetzungen, den technischen Bewerbungsprozess sowie die verfügbaren Bildungsangebote einer Institution, wie beispielsweise eines Berufskollegs, zur Verfügung zu stellen. Eine Schule könnte einen solchen Chatbot über ihre Homepage für eine anonyme Nutzung durch interessierte Schüler oder auch Eltern bereitstellen.
Die entscheidende rechtliche Voraussetzung dafür, dass ein derartiger Chatbot nicht als Hochrisiko gilt, ist seine begrenzte Funktion, da das System weder eigenständige Auswahlentscheidungen trifft noch personalisierte Empfehlungen abgibt, welche die Zulassung maßgeblich beeinflussen könnten. Da die Ausgabe des Chatbots auf allgemeine Orientierungshilfen beschränkt bleibt und keine inhaltliche Bewertung der Bewerber vornimmt, fehlt die für Hochrisiko-Systeme charakteristische „maßgebliche Beeinflussung“ des Bildungsweges.
Smaragdgrüne Ampel: Beispiele für KI-Systeme, die wegen Anwendbarkeit des Filter-Mechanismus nicht Hoch-Risiko sind
In diesem Abschnitt werden insgesamt drei Beispiele angeführt, die funktional zwar den zuvor genannten Hochrisiko-Systemen ähneln, jedoch lediglich vorbereitende oder unterstützende Aufgaben wahrnehmen. Da diese Anwendungen keine Entscheidungen treffen und den Zulassungsprozess nicht maßgeblich beeinflussen, erfüllen sie die Kriterien des Filter-Mechanismus, sofern sie nicht zusätzlich für ein Profiling eingesetzt werden.
Das erste Beispiel beschreibt hierbei KI-Anwendungen, welche Bildungseinrichtungen bei der Bearbeitung von Bewerbungen lediglich unterstützen, indem sie Unterlagen ordnen, durchsuchen, übersetzen sowie die darin enthaltenen Daten aufbereiten, ohne dabei einen ausschlaggebenden Einfluss auf den eigentlichen Entscheidungsprozess auszuüben. Rechtlich gesehen handelt es sich hierbei um vorbereitende Aufgaben oder enge Verfahrensaufgaben, da die application lediglich die Organisation der Informationen verbessert, jedoch keine inhaltliche Bewertung der Bewerber vornimmt. Da die Aufnahme an staatlichen Schulen in Deutschland keine individuellen Auswahlverfahren auf Basis umfangreicher Bewerbungsunterlagen vorsieht, besitzt dieses Beispiel für das öffentliche Schulwesen aktuell keine praktische Relevanz. Es könnte aber im Kontext von Privatschulen durchaus an Bedeutung gewinnen.
Das zweite Beispiel betrifft KI-Anwendungen zur nachträglichen Prüfung von bereits getroffenen Zulassungsentscheidungen, auf welche sich der Filter-Mechanismus ebenfalls anwenden lässt. Zwar analysieren diese Systeme, ähnlich wie die zuvor beschriebenen Hochrisiko-Anwendungen, die vorliegenden Bewerbungsunterlagen, doch nehmen sie dabei keine eigene inhaltliche Bewertung vor und treffen keine eigenständigen Entscheidungen über den Zugang oder die Zulassung. Ihre Analyse dient ausschließlich einer umfassenden Qualitätskontrolle im Nachgang zu einem bereits abgeschlossenen Zulassungsprozess, um diesen systematisch zu überprüfen und zukünftige Entscheidungsprozesse auf Basis der gewonnenen Erkenntnisse zu optimieren. Da diese Anwendungen lediglich dazu bestimmt sind, Entscheidungsmuster oder Abweichungen von Mustern zu erkennen, ohne die ursprüngliche menschliche Beurteilung zu ersetzen oder maßgeblich zu lenken, erfüllen sie die Kriterien für eine Befreiung vom Hochrisiko-Status gemäß Artikel 6 Absatz 3 Buchstabe c der KI-Verordnung.
Das dritte Beispiel beschreibt KI-gestützte Datenorganisatoren für Bewerbungen, die dazu dienen, eingehende Unterlagen vor dem eigentlichen Zulassungsprozess automatisch zu ordnen, indem sie Informationen aus unstrukturierten Dokumenten wie Lebensläufen oder Anschreiben extrahieren sowie in ein strukturiertes Format überführen. Diese Anwendungen können Bewerbungen kategorisieren und Duplikate markieren, um die administrative Bearbeitung effizienter zu gestalten, treffen jedoch keine eigenständigen Entscheidungen über den Zugang oder die Zulassung zu einer Bildungseinrichtung. Da es sich hierbei um eine rein organisatorische Unterstützung ohne inhaltliche Bewertung der Eignung handelt, gilt dies als enge Verfahrensaufgabe gemäß Artikel 6 Absatz 3 Buchstabe a der KI-Verordnung, wodurch das System vom Hochrisiko-Status befreit bleibt.
3 c) KI-Systeme zur Bestimmung und Einstufung des individuellen Lernstands
Was versteht man darunter?
Da der Begriff des Lernstands in Deutschland inhaltlich durch die Lernstandserhebungen vorbelegt ist, muss darauf hingewiesen werden, dass dieser Begriff im Kontext der KI-Verordnung sehr weit gefasst ist und den gesamten schulischen Entwicklungsstand in Bezug auf Leistungsvermögen, Fähigkeiten, Fertigkeiten, Kompetenzen, Defizite sowie Begabungen und Förderbedarfe umfasst. In der praktischen Anwendung stützt sich die Analyse dabei häufig auf mehr als vorhandene Kenntnisse in Fächern wie Mathematik oder Sprachen und bezieht jedoch auch hochsensible Bereiche wie sonderpädagogische Förderbedarfe, beispielsweise Legasthenie, oder außergewöhnliche Talente für personalisierte Empfehlungen ein. Diese Kategorie adressiert im Kern zwei Arten von Anwendungen, wobei es einmal um Systeme geht, die den weiteren Verlauf innerhalb eines aktuellen Bildungsgangs festlegen, wie etwa bei Versetzungen oder der Zuweisung zu Kursen mit höherem Anforderungsniveau, was in der Sekundarstufe in Nordrhein-Westfalen beispielsweise den Wechsel von einem Grundkurs in einen Erweiterungskurs beträfe. Zum anderen umfasst sie Systeme, welche vorab die Eignung für einen bestimmten Bildungsweg beurteilen, wobei letztere für das deutsche Schulsystem kaum eine Bedeutung haben dürften, da die Eignung für einen bestimmten Bildungsweg hierzulande in der Regel ausschließlich durch Noten bestimmt wird. Die Klassifizierung als Hochrisiko resultiert aus durch Design-Fehler oder unsachgemäße Anwendung verursachte Fehleinstufungen des KI-Systems, die von Lehrkräften unkritisch übernommen werden und Schülern dadurch langfristig Lernchancen verwehren und ihre berufliche Laufbahn sowie die künftige Sicherung des Lebensunterhalts maßgeblich negativ beeinflussen können.
Rote Ampel: Positiv-Beispiele
Das erste Beispiel befasst sich mit einer KI-gestützte Eingangsdiagnostik, welche dazu dient, bei künftigen Schülerinnen und Schülern den aktuellen Lernstand zu ermitteln, um darauf basierend Empfehlungen abzugeben, die für Entscheidungen über die Zuweisung zu Kursen mit unterschiedlichen Leistungsansprüchen oder die Sinnhaftigkeit eines Wechsels in die höhere Bildung beziehungsweise Berufsbildung maßgeblich sind. Für den künftigen Einsatz derartiger Anwendungen lassen sich im deutschen Schulwesen einige Bereiche finden, in denen sie innerschulische Entscheidungen maßgeblich lenken könnten, wie etwa bei der Einstufung neu zugewanderter Schüler in spezifische Sprachförderangebote oder Regelklassen sowie bei der Zuordnung zu Grund-, Erweiterungs- oder Förderkursen innerhalb der Sekundarstufe. Ebenso wäre bei der Aufnahme in die weiterführende Schule ein Einsatz zur frühen Erkennung von Lernlücken in den Kernfächern Lesen, Schreiben und Mathematik vorstellbar, um Lernende frühzeitig durch passgenaue Fördergruppen zu unterstützen. Systeme dieser Art könnten auch eine gewichtige Rolle in der individuellen Laufbahnberatung einnehmen. Da diese Anwendungen den weiteren Bildungsweg durch eine automatisierte Bewertung der Kompetenzen vorgeben oder die pädagogische Entscheidung der Lehrkräfte stark beeinflussen, werden sie ausnahmslos als Hochrisiko-Systeme eingestuft. Soweit es die Sinnhaftigkeit eines Wechsels in die höhere Bildung oder Berufsbildung angeht, machen derartige Systeme im Kontext des deutschen Bildungssystems wenig Sinn, da Wechselentscheidungen hier durch Noten und Abschlüsse bestimmt werden.
Das zweite Beispiel beschreibt KI-gestützte Einstufungssysteme für die Berufsbildung, die dazu dienen, das Vorwissen sowie fachspezifische Kenntnisse, beispielsweise in Mathematik, Physik oder Technik, mittels digitaler Einstufungstests oder Kompetenzprüfungen oder einer Kombination daraus zu bewerten. Auf Grundlage dieser Analyse beurteilt die Anwendung die Qualifikation der betroffenen Personen, um das für sie geeignete Anforderungsniveau zu bestimmen oder zu entscheiden, ob sie die Voraussetzungen für den Zugang zu einer spezifischen Ausbildungsrichtung beziehungsweise einem Lehrgang erfüllen. In der Form, wie die Richtlinien dieses Beispiel beschreiben, ist es jedoch auf die Verhältnisse im deutschen Schulsystem kaum übertragbar und besitzt daher Berufskollegs unter den gegebenen Bedingungen keine praktische Relevanz. Da der Zugang zu Bildungsgängen in Deutschland sowie die Einstufung in Leistungsniveaus primär durch formale Noten und bereits erworbene Abschlüsse gesetzlich geregelt sind, macht eine automatisierte Zuweisung auf Basis KI-basierter Eignungstests keinen Sinn.
Das letzte Positiv-Beispiel betrifft KI-Systeme zur Feststellung des sonderpädagogischen Förderbedarfs, welche dazu dienen, Lernende mit speziellen Bedürfnissen den passenden Bildungsgängen oder individuellen Unterstützungsmaßnahmen zuzuweisen. Diese Anwendungen analysieren eine Vielzahl hochsensibler Daten, zu denen Ergebnisse aus standardisierten IQ- oder Leistungstests, detaillierte Verhaltensberichte von Lehrkräften, Informationen zur Sozialkompetenz, der Lernstand allgemein, psychologische Gutachten zur kognitiven Entwicklung sowie medizinische Vorgeschichten bezüglich diagnostizierter Beeinträchtigungen zählen. Auch wenn im deutschen Schulsystem, etwa im Rahmen von AO-SF-Verfahren, die Letztentscheidung bei den zuständigen Behörden und Lehrkräften verbleibt, führt die maßgebliche Lenkungswirkung einer solchen KI-Empfehlung zur Einstufung als Hochrisiko-System. Abgesehen von dieser rechtlichen Einordnung würde ein derartiges System Daten verarbeiten, die zu einem großen Teil zu den besonderen Kategorien personenbezogener Daten gemäß Art. 9 DS-GVO gehören, deren digitale Verarbeitung an Schulen derzeit rechtlich teilweise nicht einmal zulässig ist. Von daher ist die Wahrscheinlichkeit, dass solche KI-Systeme im Bereich der Feststellung des sonderpädagogischen Förderbedarfs im deutschen Schulsystem eine Rolle spielen werden, auf absehbare Zeit als äußerst gering einzuschätzen.
Grüne Ampel: Negativ-Beispiele (gelten nicht als Hochrisiko)
Das erste hier aufgeführte Beispiel weist eine deutliche inhaltliche Nähe zum ersten Negativbeispiel der Kategorie 3(a) auf und befasst sich mit KI-Systemen für personalisierte Bildungsempfehlungen. Diese Anwendungen unterstützen Schülerinnen und Schüler dabei, auf Grundlage von Informationen, die sie selbst zur Verfügung stellen, wie etwa Interessen oder Karriereziele, passende Vorschläge für Bildungsgänge, Kurse, Abschlüsse oder Berufsausbildungen zu erhalten, für die sie sich im weiteren Verlauf anmelden oder bewerben könnten. Der entscheidende Unterschied zu den zuvor genannten Positiv-Beispielen liegt darin, dass diese Anwendungen nicht von den Bildungseinrichtungen selbst zur Steuerung des Bildungswegs genutzt werden. Ihr ausschließlicher Zweck besteht darin, den Lernenden eine Hiltestellung für eigenständige und informierte Entscheidungen über ihren Bildungsweg zu bieten. Im deutschen Schulsystem wäre ein solches KI-System insbesondere im Rahmen der Schullaufbahnberatung an weiterführenden Schulen vorstellbar. Dort könnte es die Arbeit von Koordinatoren für Studien- und Berufsorientierung, Beratungslehrkräften, Oberstufenleitungen sowie Klassenlehrkräften wirksam ergänzen und unterstützen, indem es eine erste Orientierungshilfe bietet, ohne die formale Laufbahnplanung durch die Schule zu ersetzen.
Das zweite Beispiel betrifft KI-Systeme zur statistischen Auswertung von Bildungstrends, bei denen sehr schnell deutlich wird, warum sie nicht unter die Hochrisiko-Klassifizierung fallen. Im Gegensatz zu den zuvor beschriebenen Systemen geht es hierbei nicht um die Analyse einzelner Schülerinnen und Schüler, deren Bildungsbiografien und erreichte Abschlüsse ausgewertet werden, um darauf basierende Entscheidungen über diese konkreten Personen zu treffen. Vielmehr dienen diese Anwendungen dazu, Muster und Trends zu ermitteln. Dies kann sowohl großflächig zur Analyse der allgemeinen Bildungslandschaft für Politik und Forschung als auch gezielt zur schulinternen Evaluation einer einzelnen Bildungseinrichtung erfolgen. Ihr Zweck ist es, eine fundierte Datengrundlage für strategische oder planerische Weiterentwicklungen zu schaffen, anstatt individuelle Einzelfälle zu bewerten. Ein Gymnasium könnte diese Informationen beispielsweise nutzen, um anonymisierte Daten auszuwerten und Muster zu erkennen, aus denen sich schließen lässt, welche Arten von Bildungsgängen Schüler nach dem Ende der Sekundarstufe I oder der Sekundarstufe II typischerweise auswählen. Schulen können diese Erkenntnisse anschließend dazu verwenden, entsprechende Angebote bedarfsgerecht auszubauen oder bestehende Trends durch gezielte Maßnahmen weiter zu unterstützen, ohne dass dabei eine Einzelfallprüfung stattfindet.
Smaragdgrüne Ampel: Beispiele für KI-Systeme, die wegen Anwendbarkeit des Filter-Mechanismus nicht Hoch-Risiko sind
Unter den Filter-Mechanismus fallen auch KI-gestützte Anwendungen zur Vorbereitung von Einstufungstests und -gesprächen, die Lehrkräfte bei der Planung unterstützen, indem sie auf Grundlage von Vorabinformationen über die bisherige Bildungsbiografie oder praktische Erfahrungen gezielte Fragenkataloge sowie Themenvorschläge für das Einstufungsgespräch erstellen. In einer Schule im deutschen Schulsystem wäre eine derartige Anwendung beispielsweise dann hilfreich, wenn Schülerinnen und Schüler aus anderen Bundesländern im laufenden Schuljahr neu angemeldet werden und zügig ermittelt werden muss, ob sie in kernfächern wie mathematik, Deutsch oder Fremdsprachen das Niveau eines Grund- oder Erweiterungskurses besitzen. Gleichermaßen ließe sich damit vorbereitend unterstützen, ob neu zugewanderte Personen unmittelbar am Regelunterricht teilnehmen können oder zunächst besondere Unterstützungsangebote in einer Förderklasse benötigen. Da die beschriebene Anwendung in diesem Prozess keine eigene Bewertung der Fähigkeiten vornimmt und auch keine eigenständige Entscheidung über die Einstufung trifft, sondern lediglich eine Informationsgrundlage für die Lehrkraft schafft, handelt es sich um eine vorbereitende Aufgabe gemäß Art. 6 Abs. 3 lit. d der KI-Verordnung, und das System fällt damit nicht unter Hochrisiko.
Ein zweites Beispiel für den Filter-Mechanismus betrifft KI-Systeme zur nachträglichen Analyse von Laufbahnempfehlungen, die darauf ausgelegt sind, die Kriterien für pädagogische Empfehlungen und Entscheidungen systematisch zu verbessern. In diesem Szenario wertet die Anwendung die Ergebnisse von Empfehlungen aus, welche Lehrkräfte beispielsweise für den Wechsel in einen Erweiterungskurs oder die Wahl der Leistungskurse in der Oberstufe abgegeben haben, und gleicht diese im Nachhinein mit den tatsächlichen späteren Leistungen der Schülerinnen und Schüler ab. Das System liefert der Schulleitung oder dem Fachkollegium damit wertvolle Hinweise darauf, welche zusätzlichen Merkmale bei künftigen Empfehlungen zur Kurswahl stärker berücksichtigt werden sollten oder wie die schulinternen Kriterien insgesamt optimiert werden können, ohne jedoch in laufende Verfahren einzugreifen.
3 d) KI-Systeme zur Überwachung und Entdeckung von verbotenem Verhalten bei Schülern in Prüfungssituationen
Was versteht man darunter?
Bei dieser vierten und letzten Kategorie, welche die Richtlinien anführen, geht es um ein problem, welches für deutsche Schulen durchaus relevant ist, gegenwärtig jedoch nicht systematisch angegangen wird, da hierfür sowohl die Werkzeuge als auch die rechtlichen Möglichkeiten entweder nicht vorhanden oder nur in beschränktem Maße vorhanden sind. In diese Kategorie fallen KI-gestützte Anwendungen, die dazu dienen, Schüler in Prüfungssituationen zu überwachen, um verschiedenste Formen von unzulässigem Verhalten zu entdecken. Es geht dabei ausschließlich um kontrollierte Prüfungsformate in allen Umgebungen, wobei es unerheblich ist, ob diese in Präsenz, als Fernprüfung beziehungsweise Remote Proctoring oder Online stattfinden und ob die Überwachung synchron in Echtzeit oder asynchron durch die nachträgliche Auswertung von Aufzeichnungen erfolgt. Entscheidend für eine Einstufung als Hochrisiko ist, dass diese Prüfungen Teil einer summativen Bewertung sind. Das Spektrum des unzulässigen Verhaltens ist breit gefächert und umfasst beispielsweise Plagiarismus während der Prüfung, unerlaubte Zusammenarbeit mit Dritten sowie die Manipulation von Prüfungsunterlagen. Technisch nutzen diese Anwendungen Verfahren wie die Gesichtserkennung, die Analyse von Tastatur-Eingaben, Bildschirmüberwachung sowie die Aufzeichnung und Auswertung von Bild und Ton. Systeme, die lediglich dazu dienen, Hausaufgaben, Essays oder andere Aufgaben nach deren Einreichung auf Plagiate oder unzulässige Zusammenarbeit zu prüfen, fallen hingegen nicht unter diese Hochrisiko-Kategorie. Der entscheidende Unterschied zu den zuvor beschriebenen KI-Systemen liegt darin, dass solche Aufgaben typischerweise in einer nicht-kontrollierten Umgebung außerhalb der Schule erstellt werden und die Kontrolle erst nach Abschluss der Arbeit erfolgt, ohne dass eine kontinuierliche Verhaltensüberwachung während des Erstellungsprozesses stattfindet.
Rote Ampel: Positiv-Beispiele
Es werden insgesamt drei Beispiele für Hochrisiko-KI-Systeme angeführt, wobei das erste ein KI-gestütztes Überwachungssystem für Abschlussprüfungen zur Erkennung von Betrugsversuchen beschreibt, das von Bildungseinrichtungen eingesetzt wird, um Prüfungsteilnehmer während der Prüfung automatisiert zu kontrollieren. Durch eine Kombination aus Gesichtserkennung, Tastenanschlaganalyse sowie Bildschirmüberwachung identifiziert die Anwendung verbotene Verhaltensweisen, wie beispielsweise den Zugriff auf nicht zugelassene Materialien oder die unzulässige Kommunikation mit anderen Personen. Für das deutsche Schulsystem sind derartige Überwachungssysteme aktuell nicht vorstellbar, da hierfür die notwendigen rechtlichen Voraussetzungen nicht existieren. Es ist vielmehr zu erwarten, dass Aufsichtsbehörden selbst bei dem Versuch, entsprechende rechtliche Grundlagen zu schaffen, einschreiten würden, um stattdessen auf mildere Mittel wie die persönliche Überwachung durch Lehrpersonal zu drängen.
Das zweite Positiv-Beispiel bezieht sich auf KI-Systeme zur Echtzeitanalyse von Verhalten während Online-Examen, welche Maschinenlernalgorithmen nutzen, um im Verhalten von Schülerinnen und Schülern Muster zu entdecken, die auf Betrug hindeuten könnten. Diese Anwendungen überwachen den Prüfungsprozess im Fernmodus kontinuierlich und bewerten Verhaltensauffälligkeiten automatisiert. Dies hat einen erheblichen Einfluss auf die Integrität der Prüfung und die daraus resultierende Benotung. Da die Ergebnisse solcher Analysen direkt in summative Bewertungen einfließen, welche über Abschlüsse oder Zertifizierungen entscheiden, werden diese Systeme aufgrund der weitreichenden Folgen für die Bildungsbiografie als Hochrisiko eingestuft.
Aus den gleichen Gründen wird auch das dritte Beispiel, welches die KI-gestützte Überwachung von Präsenzprüfungen vor Ort beschreibt, als Hochrisiko klassifiziert. In diesem Szenario geht es um den Einsatz von KI-Anwendungen in Bildungseinrichtungen, um Betrugsversuche automatisiert zu erkennen. Dazu nutzen die Systeme Technologien wie die Gesichts- und Objekterkennung, um verbotene Verhaltensweisen oder die Verwendung nicht zugelassener Hilfsmittel, wie beispielsweise Smartphones, Kopfhörer oder versteckte Unterlagen, zu identifizieren. Wie das erste Beispiel haben jedoch auch das zweite und dritte in den Richtlinien angeführte Beispiel von KI-gestützter Überwachung von Schülern während Prüfungen derzeit keine praktische Relevanz für Schulen im deutschen Schulsystem, da die rechtlichen Grundlagen dafür fehlen und auf absehbare Zeit sicherlich auch nicht geschaffen werden.
Grüne Ampel: Negativ-Beispiele (gelten nicht als Hochrisiko)
Das erste Beispiel für Anwendungen, die nicht unter die Hochrisiko-Einstufung fallen, sind KI-Systeme zur Plagiatsprüfung bei Hausaufgaben, Essays oder anderen schriftlichen Ausarbeitungen, da es hierbei nicht um die Echtzeitüberwachung von Prüfungsteilnehmern in einer kontrollierten Umgebung geht. Im Gegensatz zu den zuvor beschriebenen Hochrisiko-Systemen findet bei diesen Anwendungen lediglich eine nachträgliche Analyse bereits abgeschlossener und eingereichter Texte statt, die automatisiert mit Datenbanken existierender Inhalte abgeglichen werden. Im deutschen Schulalltag sind Lehrkräfte bereits heute massiv mit Plagiaten sowie insbesondere mit der nicht gekennzeichneten Nutzung generativer KI konfrontiert, weshalb in der Schulpraxis teilweise schon inoffiziell auf verschiedene KI-gestützte Prüfsysteme zurückgegriffen wird, um derartiges Verhalten nachzuweisen. Ein systematischer Einsatz solcher Werkzeuge zur Unterstützung bei der Nachrecherche von Täuschungsversuchen wäre an Schulen bereits jetzt vertretbar, sofern hierfür geeignete Plattformen genutzt werden, welche die notwendigen datenschutzrechtlichen Voraussetzungen vollumfänglich erfüllen.
Das zweite Beispiel beschreibt KI-Systeme zur Überwachung im außerunterrichtlichen Bereich, die von Bildungseinrichtungen in Umgebungen wie Mensen, Pausenhöfen, Fluren oder Klassenräumen während der Pausen eingesetzt werden, um aufsichtführende Lehrkräfte auf Vorfälle wie Mobbing, Belästigung oder Gewalt aufmerksam zu machen. Da diese Systeme nicht während Prüfungssituation eingesetzt werden, sondern sie der allgemeinen Aufrechterhaltung eines sicheren und geordneten Schulumfelds dienen, gelten sie von vornherein nicht als Hochrisiko im Sinne der Kategorie 3(d). Wichtig zu beachten ist jedoch, dass solche Anwendungen dennoch als Hochrisiko eingestuft werden können, falls sie unter die (in diesem Dokument nicht behandelte) Kategorie 1 (Biometrie) der Richtlinien fallen, etwa wenn sie zur automatisierten Identifizierung von Personen (biometrische Fernidentifizierung) genutzt werden. Für den deutschen Schulalltag besitzen derartige KI-Systeme aktuell keine praktische Relevanz, da sie eine Videoüberwachung voraussetzen würden, die in dieser Form aus datenschutzrechtlichen Gründen an Schulen in der Regel nicht zulässig ist.
Smaragdgrüne Ampel: Beispiele für KI-Systeme, die wegen Anwendbarkeit des Filter-Mechanismus nicht Hoch-Risiko sind
Das erste Beispiel beschreibt KI-Systeme zur Bestätigung von verdächtigem Verhalten während Prüfungen, die dazu dienen, eine menschliche Aufsichtsperson bei der Bestätigung eines Betrugsverdachts zu unterstützen. Diese Systeme zeichnen während der gesamten Prüfung das Nutzerverhalten im Hintergrund auf, um eine Datenbasis für potenzielle Analysen zu schaffen. Beobachtet die aufsichtsführende Lehrkraft beispielsweise ein auffälliges Verhalten, wie das häufige Abwenden des Blicks vom Bildschirm oder verdächtige Tippmuster, kann sie das KI-System gezielt nutzen, um ihren Verdacht mittels einer detaillierten Analyse der Tastaturanschlagsmuster oder Mausbewegungen zu bestätigen oder zu widerlegen. Das System erstellt hierzu einen Bericht über erkannte Anomalien, der von der Aufsichtsperson geprüft wird, um anschließend eigenständig über das weitere Vorgehen oder etwaige Konsequenzen zu entscheiden. Der Filter-Mechanismus greift in diesem Fall, da die Anwendung lediglich dazu bestimmt ist, das Ergebnis einer zuvor abgeschlossenen menschlichen Handlung, hier der Beobachtung und Feststellung einer verdächtigen Handlung durch die Aufsichtsperson, zu verbessern oder zu präzisieren, ohne jedoch die finale Entscheidung über das Vorliegen eines Täuschungsversuchs selbst vorwegzunehmen.
Der entscheidende Unterschied zu den als Hochrisiko eingestuften Überwachungssystemen liegt in der Rollenverteilung zwischen Mensch und KI sowie in der Zweckbestimmung der Anwendung. Während Hochrisiko-KI-Systeme das Schülerverhalten eigenständig überwachen und aktiv nach Betrug suchen, übernimmt die KI hier keine Wächterfunktion, sondern bleibt ein rein reaktives Hilfsmittel für die Lehrkraft. Wie bei den vorangegangenen Beispielen besitzt eine solche Anwendung für das deutsche Schulsystem aktuell keine praktische Relevanz, da die hierfür erforderliche lückenlose Aufzeichnung des Nutzerverhaltens aus datenschutzrechtlichen Gründen an Schulen nicht umsetzbar ist.
Das zweite und letzte Beispiel innerhalb des Filter-Mechanismus für diese Kategorie betrifft KI-Systeme zur Bestätigung der Identität bei Prüfungen. Diese Anwendungen dienen dazu, die Identitätsfeststellung während eines Tests effizienter zu gestalten, indem sie automatisch Ausweisdokumente oder biometrische Merkmale, wie beispielsweise Gesichtsscans, mit den Daten der angemeldeten Kandidaten abgleichen. Der entscheidende Grund für die Befreiung vom Hochrisiko-Status liegt darin, dass das System lediglich eine organisatorische Nebenaufgabe unterstützt und keine eigenständigen Entscheidungen über den weiteren Prüfungsverlauf trifft. Die Verantwortung darüber, ob ein Prüfling, dessen Identität nicht zweifelsfrei bestätigt werden konnte, die Prüfung fortsetzen darf oder ob bei Unstimmigkeiten Sanktionen verhängt werden, verbleibt vollständig beim menschlichen Aufsichtspersonal.
Wie bereits bei den vorangegangenen Beispielen besitzt auch dieses Szenario für das deutsche Schulsystem aktuell keine praktische Relevanz. Die Verarbeitung biometrischer Merkmale zur Erfüllung des Bildungs- und Erziehungsauftrags ist an Schulen derzeit nicht durch entsprechende Rechtsvorschriften legitimiert. Zudem wäre bei der automatisierten Prüfung von Ausweisdokumenten technisch stets ein Abgleich mit einem biometrischen Datum erforderlich, da eine zweifelsfreie Identitätsbestätigung durch ein KI-System ohne dieser Abgleich (etwa mit dem Gesicht der Person) im digitalen Raum nicht möglich ist.
Stand 07/2026
