OpenAI stellt neue Tools gegen digitalen Kindesmissbrauch vor – KI soll Missbrauchsbilder erkennen

KI-generiertes Bild.

OpenAI hat neue Sicherheitsmaßnahmen vorgestellt, mit denen die sexuelle Ausbeutung von Kindern im Internet besser erkannt und bekämpft werden soll.

Im Mittelpunkt steht ein neues KI-System, das mögliche Missbrauchsdarstellungen automatisch erkennen kann. Dabei sollen nicht nur bereits bekannte Bilder berücksichtigt werden, sondern auch neue und mithilfe künstlicher Intelligenz erzeugte Inhalte.

Zusätzlich führt OpenAI strengere Warnmeldungen in ChatGPT ein und unterstützt Ermittlungsbehörden mit speziellen Analysewerkzeugen.

Die Neuerungen wurden am 16. November 2026 offiziell angekündigt.

Wir zeigen euch, wie die neuen Schutzmaßnahmen funktionieren und welche Auswirkungen sie auf ChatGPT haben.

Warum sind neue Schutzmaßnahmen notwendig?

Die Verbreitung von Darstellungen sexuellen Kindesmissbrauchs ist seit Jahren ein großes Problem im Internet.

Durch künstliche Intelligenz entstehen zusätzliche Herausforderungen.

Moderne Bildgeneratoren können inzwischen täuschend echte Bilder erstellen. Dadurch lassen sich auch künstlich erzeugte Missbrauchsdarstellungen produzieren.

Solche Inhalte sind ebenfalls schädlich und können die sexuelle Ausbeutung von Kindern fördern.

Für Ermittlungsbehörden und Kinderschutzorganisationen wird es deshalb immer schwieriger, problematische Inhalte schnell zu erkennen und die besonders dringenden Fälle zu bearbeiten.

OpenAI möchte mit seinen neuen Werkzeugen dazu beitragen, diesen Aufwand zu reduzieren.

Neue KI erkennt mögliche Missbrauchsdarstellungen

Die wichtigste Neuerung ist der sogenannte OpenAI CSAM Image Classifier.

CSAM steht für Child Sexual Abuse Material, also Darstellungen sexuellen Kindesmissbrauchs.

Das neue KI-Modell wurde speziell dafür entwickelt, solche Inhalte in Bildern zu erkennen.

Dabei untersucht es visuelle Merkmale und berechnet verschiedene Risikowerte.

Diese sollen Kinderschutzorganisationen und Sicherheitsteams dabei helfen, verdächtige Bilder für eine weitere Überprüfung auszuwählen.

Besonders interessant ist, dass das System nicht ausschließlich auf bekannte Bilder angewiesen ist.

Auch unbekannte und KI-generierte Bilder werden berücksichtigt

Bisher setzen viele Plattformen auf sogenannte Hash-Verfahren.

Dabei wird aus einer Bilddatei ein digitaler Vergleichswert erstellt.

Wenn ein bereits bekanntes Missbrauchsbild erneut hochgeladen wird, kann es anhand dieses Wertes erkannt werden.

Das funktioniert bei bekannten Inhalten, hat aber Grenzen.

Ein völlig neues Bild besitzt möglicherweise noch keinen entsprechenden Eintrag in einer Datenbank.

Auch durch KI erzeugte oder veränderte Bilder können solche Erkennungssysteme vor zusätzliche Herausforderungen stellen.

Der neue CSAM Image Classifier verfolgt deshalb einen ergänzenden Ansatz.

Er analysiert den Bildinhalt und versucht, Hinweise auf sexuellen Kindesmissbrauch zu erkennen.

Zusätzlich gibt das Modell einen gesonderten Risikowert dafür aus, ob eine mögliche Missbrauchsdarstellung KI-generiert sein könnte.

Allerdings ist dieser Wert kein sicherer Nachweis für die tatsächliche Herkunft eines Bildes.

Weniger Fehlalarme bei der Bilderkennung

OpenAI hat das neue System bereits intern und mit ausgewählten Partnerunternehmen getestet.

Dabei wurde untersucht, wie zuverlässig das Modell problematische Inhalte erkennt und wie häufig harmlose Bilder fälschlicherweise markiert werden.

Die Ergebnisse fallen laut OpenAI vielversprechend aus.

In einem internen Vergleich mit dem bisherigen Erkennungssystem ergaben sich folgende Werte:

  • Rund 48 Prozent weniger Bilder mussten zur Überprüfung markiert werden.

  • Gleichzeitig wurden ungefähr genauso viele Missbrauchsdarstellungen erkannt.

  • Markierte Bilder enthielten etwa doppelt so häufig tatsächlich problematische Inhalte.

Dadurch könnten Moderationsteams ihre Arbeitszeit gezielter einsetzen.

Statt große Mengen unbedenklicher Bilder überprüfen zu müssen, könnten sie sich stärker auf verdächtige Inhalte konzentrieren.

Allerdings beruhen diese Ergebnisse auf bisherigen Tests.

Wie zuverlässig das Modell auf unterschiedlichen Plattformen arbeitet, muss sich im praktischen Einsatz weiter zeigen.

KI ersetzt keine menschliche Überprüfung

Ein wichtiger Punkt ist die Einordnung der automatischen Ergebnisse.

Das neue System entscheidet nicht verbindlich darüber, ob ein Bild strafrechtlich relevant ist.

Stattdessen gibt es Risikowerte aus, die bei der Bewertung helfen sollen.

Ein hoher Risikowert bedeutet nicht automatisch, dass tatsächlich eine Missbrauchsdarstellung vorliegt.

Auch harmlose Bilder können falsch eingeordnet werden.

Deshalb betont OpenAI, dass die Technik als Bestandteil eines umfassenderen Sicherheitssystems eingesetzt werden soll.

Dazu gehören unter anderem geschulte Prüfteams, zusätzliche Erkennungsmethoden und rechtlich geregelte Meldeverfahren.

Die endgültige Bewertung muss weiterhin unter Berücksichtigung des jeweiligen Zusammenhangs erfolgen.

Neue Bilderkennung wird kostenlos angeboten

OpenAI möchte den neuen CSAM Image Classifier nicht ausschließlich für die eigenen Dienste verwenden.

Stattdessen soll das System auch anderen geeigneten Organisationen zur Verfügung stehen.

Dafür wird der Zugang über die OpenAI-API bereitgestellt.

Für zugelassene Organisationen ist die Verwendung kostenlos.

Dazu gehören beispielsweise:

  • Kinderschutzorganisationen

  • Spezialisierte Sicherheitsteams

  • Geeignete Onlineplattformen

  • Weitere überprüfte Einrichtungen mit entsprechenden Schutzaufgaben

Die Nutzung steht allerdings nicht beliebigen Privatpersonen offen.

Interessierte Organisationen müssen zunächst einen entsprechenden Zugang beantragen.

Mit diesem Vorgehen möchte OpenAI die Erkennungstechnologie auch kleineren Einrichtungen zugänglich machen, die keine eigenen umfangreichen KI-Systeme entwickeln können.

Zusammenarbeit mit Kinderschutzorganisationen

Bei der Entwicklung der neuen Schutzmaßnahmen arbeitet OpenAI mit verschiedenen Organisationen zusammen.

Eine wichtige Rolle spielt das amerikanische National Center for Missing & Exploited Children (NCMEC).

Die gemeinnützige Organisation betreibt unter anderem die CyberTipline, über die Hinweise auf die sexuelle Ausbeutung von Kindern gemeldet werden können.

Das NCMEC hat OpenAI bei der Entwicklung und Bewertung des neuen Bilderkennungssystems unterstützt.

Zusätzlich arbeitet das Unternehmen mit der Tech Coalition und ROOST zusammen.

Diese Organisationen beschäftigen sich unter anderem mit der Verbesserung digitaler Schutzmaßnahmen und der Zusammenarbeit zwischen Plattformbetreibern.

OpenAI beteiligt sich außerdem am Lantern-Programm der Tech Coalition.

Dort können teilnehmende Unternehmen relevante Sicherheitshinweise austauschen, um mögliche Missbrauchsfälle plattformübergreifend besser zu erkennen.

ChatGPT bekommt strengere Warnmeldungen

Die neuen Maßnahmen betreffen auch ChatGPT selbst.

OpenAI führt zusätzliche Warnmeldungen ein, wenn das System Anfragen erkennt, die auf die Suche nach Darstellungen sexuellen Kindesmissbrauchs abzielen.

Bisher werden entsprechende Inhalte bereits durch Sicherheitsrichtlinien und technische Schutzmaßnahmen eingeschränkt.

Künftig soll ChatGPT zusätzlich deutlicher auf die Folgen solcher Handlungen hinweisen.

Die Warnmeldung erklärt, warum die angefragten Inhalte schädlich sind.

Das gilt ausdrücklich auch für künstlich erzeugte Darstellungen.

Außerdem werden Hinweise auf spezialisierte Hilfsangebote angezeigt, die dabei unterstützen sollen, schädliches Verhalten zu beenden.

Bei Verstößen drohen Kontosperren

OpenAI verbindet die neuen Warnmeldungen mit weiteren Konsequenzen.

Wird eine entsprechende Anfrage erkannt und die neue Schutzmaßnahme ausgelöst, wird die laufende Unterhaltung unterbrochen.

Bei angemeldeten Nutzern kann der betreffende Chat außerdem aus dem sichtbaren Verlauf entfernt werden.

Zusätzlich sieht OpenAI eine vorübergehende Kontosperre von 24 Stunden vor.

Während dieser Zeit kann der betroffene Nutzer nicht auf sein Konto zugreifen.

Bei wiederholten Verstößen sind weitere Maßnahmen möglich.

Dazu gehören:

  • Längere Kontosperren

  • Dauerhafte Kontoschließungen

  • Meldungen an zuständige Behörden, sofern die Voraussetzungen dafür vorliegen

Die Maßnahmen sollen verhindern, dass ChatGPT zur Suche nach oder Verbreitung von Missbrauchsmaterial verwendet wird.

OpenAI bietet außerdem ein Verfahren an, über das Betroffene eine Kontosperre überprüfen lassen können.

Gelten die neuen Warnungen für alle ChatGPT-Nutzer?

Die Einführung erfolgt schrittweise.

OpenAI erklärt in seiner Hilfe, dass die neuen Schutzmaßnahmen weltweit ausgerollt werden.

Sie betreffen zunächst persönliche ChatGPT-Konten in den normalen Chat- und Work-Unterhaltungen.

Die Warnmeldungen können sowohl im Webbrowser als auch in den mobilen ChatGPT-Apps erscheinen.

Auch Nutzer ohne Anmeldung können entsprechende Warnungen sehen.

Allerdings sind die neuen Eingriffe derzeit noch nicht in sämtlichen ChatGPT-Bereichen verfügbar.

So werden beispielsweise die Sprachfunktion, Codex und die Desktop-Anwendungen in der aktuellen Beschreibung noch ausgenommen.

Auch für bestimmte Unternehmens- und Bildungskonten gelten zunächst abweichende Regelungen.

Die übrigen Sicherheitsrichtlinien von OpenAI bleiben davon unabhängig bestehen.

Neue Sicherheitsleitlinien für Entwickler

Neben der Bilderkennung veröffentlicht OpenAI auch zusätzliche Empfehlungen für Entwickler.

Diese sollen dabei helfen, eigene KI-Anwendungen besser gegen sexuellen Kindesmissbrauch und die Verbreitung entsprechender Inhalte abzusichern.

Die neuen Leitlinien behandeln unter anderem folgende Themen:

  • Regeln für verbotene Inhalte

  • Automatische Erkennung verdächtiger Bilder

  • Meldemöglichkeiten innerhalb von Anwendungen

  • Überprüfung möglicherweise problematischer Inhalte

  • Rechtlich erforderliche Meldungen

  • Unterstützung für Moderationsteams

Die Empfehlungen wurden mit Unterstützung verschiedener Kinderschutzorganisationen entwickelt.

OpenAI verweist außerdem auf bestehende Werkzeuge wie die Moderation API und spezialisierte Dienste zur Erkennung von Missbrauchsdarstellungen.

Das Ziel ist, dass Entwickler entsprechende Schutzmaßnahmen bereits bei der Planung ihrer Anwendungen berücksichtigen.

Auch Ermittlungsbehörden erhalten neue KI-Werkzeuge

Eine weitere Neuerung betrifft die Unterstützung von Strafverfolgungsbehörden.

OpenAI stellt spezialisierten Ermittlungsstellen zusätzliche Werkzeuge und Schulungen zur Verfügung.

Dabei soll künstliche Intelligenz helfen, große Mengen an Informationen schneller auszuwerten.

Ein Beispiel sind umfangreiche Chatprotokolle.

Diese können in Ermittlungsverfahren wichtige Hinweise enthalten.

Die manuelle Auswertung kann jedoch sehr zeitaufwendig sein.

Mit den neuen Werkzeugen sollen Ermittler Informationen strukturieren und mögliche Zusammenhänge erkennen können.

Was können die neuen Analysewerkzeuge?

OpenAI nennt unter anderem folgende Möglichkeiten:

  • Umfangreiche Chatverläufe auswerten

  • Informationen aus Ermittlungsunterlagen zusammenführen

  • Mögliche Zusammenhänge erkennen

  • Zeitliche Abläufe rekonstruieren

  • Hinweise mit den ursprünglichen Quellen verknüpfen

Besonders wichtig ist die Verknüpfung mit dem Ausgangsmaterial.

Dadurch sollen Ermittler nachvollziehen können, auf welchen Dokumenten oder Gesprächsinhalten eine KI-generierte Auswertung basiert.

Die Werkzeuge sollen die Ermittlungsarbeit unterstützen und nicht eigenständig über Schuld oder Unschuld entscheiden.

Der Zugang wird auf entsprechend berechtigte Stellen beschränkt.

Was bedeutet das für den Datenschutz?

Automatische Bilderkennung und die Auswertung von Gesprächsinhalten werfen auch Datenschutzfragen auf.

Denn entsprechende Systeme müssen Inhalte analysieren, um mögliche Missbrauchsdarstellungen oder andere problematische Vorgänge zu erkennen.

OpenAI betont, dass der neue Bildklassifikator für geeignete Organisationen vorgesehen ist und nicht zur allgemeinen Überwachung beliebiger privater Inhalte eingesetzt werden soll.

Laut technischer Dokumentation werden Bilder, die über die entsprechende Klassifikator-API eingereicht werden, nicht für das Training verwendet und nicht dauerhaft gespeichert.

Trotzdem müssen Betreiber solcher Systeme die geltenden Datenschutzgesetze und rechtlichen Voraussetzungen beachten.

Auch automatische Fehlbewertungen können problematisch sein.

Deshalb sind nachvollziehbare Prüfverfahren, angemessene Zugriffsrechte und menschliche Kontrollen wichtig.

Können solche Schutzsysteme Missbrauch vollständig verhindern?

Nein.

Auch leistungsfähige KI-Systeme können Fehler machen.

Zum einen besteht das Risiko, dass problematische Inhalte nicht erkannt werden.

Zum anderen können unbedenkliche Bilder fälschlicherweise als verdächtig eingestuft werden.

OpenAI weist in seiner technischen Dokumentation ausdrücklich auf diese Grenzen hin.

Außerdem hängt der Erfolg solcher Maßnahmen nicht nur von der verwendeten Technik ab.

Ebenso wichtig sind die Zusammenarbeit mit Kinderschutzorganisationen, geschulte Ermittler und wirksame Meldeverfahren.

Die neuen Werkzeuge können deshalb einen wichtigen Beitrag leisten, ersetzen aber keine umfassende Strategie zum Schutz von Kindern.

Fazit: OpenAI verstärkt den Kampf gegen digitalen Kindesmissbrauch

Mit den neuen Sicherheitsmaßnahmen erweitert OpenAI seine bisherigen Schutzsysteme deutlich.

Besonders wichtig ist der neue CSAM Image Classifier.

Dieser soll auch bislang unbekannte und KI-generierte Missbrauchsdarstellungen erkennen können.

Die bisherigen Tests zeigen, dass sich dadurch die Arbeit von Moderationsteams effizienter gestalten lassen könnte.

Gleichzeitig verschärft OpenAI die Maßnahmen gegen entsprechende Anfragen innerhalb von ChatGPT.

Warnmeldungen, zeitweilige Kontosperren und mögliche dauerhafte Sanktionen sollen verhindern, dass die Plattform für schädliche Zwecke verwendet wird.

Hinzu kommen zusätzliche Werkzeuge für Ermittlungsbehörden und praktische Sicherheitsleitlinien für Entwickler.

Ob sich die Maßnahmen im Alltag bewähren, wird sich allerdings erst mit zunehmender Nutzung zeigen.

Fest steht, dass der Schutz von Kindern im digitalen Raum nicht allein durch technische Systeme gewährleistet werden kann.

Dafür braucht es auch unabhängige Kontrollen, geeignete gesetzliche Rahmenbedingungen und eine enge Zusammenarbeit zwischen Plattformbetreibern und Kinderschutzorganisationen.


Quellen und weiterführende Informationen: