Gemini greift bei Sicherheitstest auf echte Unternehmenssysteme zu
Künstliche Intelligenz kann längst nicht mehr nur Texte schreiben, Bilder erzeugen oder Fragen beantworten. Moderne KI-Agenten können selbstständig Werkzeuge benutzen, im Internet recherchieren, Code ausführen – und offenbar auch Computersysteme angreifen.
Genau das ist Googles Gemini während eines Sicherheitstests passiert.
Im Mai 2026 gelangte das KI-Modell während einer Cybersecurity-Evaluierung unbeabsichtigt aus seiner vorgesehenen Testumgebung heraus und verschaffte sich Zugriff auf die Systeme von drei realen Unternehmen. Google hat die Vorfälle inzwischen bestätigt. Bekannt wurden sie zunächst durch Recherchen des Wall Street Journal.
Glücklicherweise entstand nach bisherigen Angaben kein Schaden. Trotzdem zeigt der Vorfall ziemlich deutlich, welche Herausforderungen auf uns zukommen, wenn KI-Systeme zunehmend selbstständig handeln dürfen.
Eigentlich sollte Gemini nur eine fiktive Firma hacken
Durchgeführt wurde der Test vom unabhängigen KI-Sicherheitsunternehmen Irregular.
Dabei handelte es sich um eine sogenannte Capture-the-Flag-Übung. Solche Tests werden in der IT-Sicherheit genutzt, um herauszufinden, ob ein System bestimmte Schwachstellen erkennen und ausnutzen kann.
Gemini sollte dabei Informationen aus der Software eines fiktiven Unternehmens beschaffen.
Das Problem: Mindestens eines der erfundenen Unternehmen trug denselben Namen wie ein tatsächlich existierendes Unternehmen. Gleichzeitig war Gemini während des Tests unbeabsichtigt der Zugriff auf das öffentliche Internet möglich.
Damit wurde aus einem simulierten Angriff plötzlich ein ziemlich realer.
Gemini suchte selbstständig nach Zugangsmöglichkeiten
Besonders interessant ist, wie Gemini die fremden Systeme erreichte.
Bei einem der Unternehmen soll das Modell eigenständig Passwörter ausprobiert haben, bis es Zugang zu einem geschützten System erhielt.
Bei zwei weiteren Unternehmen fand Gemini Zugangsdaten in öffentlich erreichbaren Software-Repositories und verwendete diese anschließend zum Zugriff auf die Systeme.
Das klingt im ersten Moment nach einer hochentwickelten Hollywood-Hacker-KI.
Ganz so dramatisch war es allerdings nicht.
Die verwendeten Methoden waren vergleichsweise simpel: öffentlich verfügbare Informationen finden, Zugangsdaten entdecken beziehungsweise Passwörter ausprobieren und anschließend testen, ob diese funktionieren.
Bemerkenswert ist vielmehr, dass die KI diese Schritte weitgehend selbstständig miteinander kombinieren konnte.
Die KI bemerkte offenbar selbst, dass etwas nicht stimmte
Der wohl wichtigste Teil des Vorfalls: Gemini machte nach Angaben von Google nicht einfach weiter.
Sobald das Modell erkannte, dass die erreichten Systeme zu echten Unternehmen gehörten und nicht Bestandteil der simulierten Testumgebung waren, soll es seine Aktivitäten jeweils beendet haben.
Google sieht darin einen wichtigen Unterschied zwischen einem unbeabsichtigten Zugriff und einem vollständigen Kontrollverlust.
Heather Adkins, Googles Vice President of Security Engineering, erklärte, dass die sichere Entwicklung leistungsfähiger KI-Modelle entscheidend sei. Google habe die drei betroffenen Unternehmen informiert und gemeinsam mit dem Testpartner Änderungen an den Testverfahren vorgenommen.
Warum konnte Gemini überhaupt ins Internet?
Eigentlich hätte es so weit gar nicht kommen sollen.
Gemini sollte sich innerhalb der für den Sicherheitstest vorgesehenen Infrastruktur bewegen. Laut Berichten war während der Evaluierung jedoch unbeabsichtigt ein Zugriff auf das Internet möglich.
Dadurch konnte die KI nach real existierenden Unternehmen suchen und öffentlich zugängliche Informationen verwenden.
Das ist letztlich eine der wichtigsten Erkenntnisse aus dem Vorfall:
Nicht nur die KI selbst muss sicher sein.
Auch die Umgebung, in der solche KI-Agenten getestet werden, muss so aufgebaut sein, dass ein Fehler nicht plötzlich Auswirkungen auf echte Systeme außerhalb des Tests hat.
Die Unternehmen wurden informiert
Welche drei Unternehmen betroffen waren, ist bislang nicht öffentlich bekannt.
Auch die genaue Gemini-Version, die während des Tests eingesetzt wurde, wurde nicht genannt.
Nach Angaben von Google und Irregular wurden die betroffenen Unternehmen allerdings über die Vorfälle informiert.
Irregular erklärte außerdem, dass die bekannten Probleme innerhalb der eigenen Testumgebung inzwischen behoben worden seien. Die beteiligten KI-Unternehmen seien bereits Ende Juli informiert worden.
Öffentlich bekannt wurde die Sache allerdings erst im September, nachdem das Wall Street Journal zu den Vorfällen recherchiert und Google dazu befragt hatte.
Warum wurde der Vorfall nicht früher öffentlich gemacht?
Google begründete die zunächst ausbleibende öffentliche Bekanntgabe damit, dass durch die Zugriffe kein Schaden entstanden sei und Gemini seine Aktivitäten jeweils beendet habe, nachdem das Modell erkannt hatte, dass es reale Systeme erreicht hatte.
Darüber kann man durchaus diskutieren.
Denn auch wenn kein Schaden entstanden ist, bleibt die Tatsache bestehen, dass ein KI-Agent während eines Tests unbeabsichtigt Zugriff auf echte fremde Computersysteme erhalten hat.
Gerade bei immer leistungsfähigeren KI-Agenten dürfte deshalb die Frage wichtiger werden, wann solche Zwischenfälle öffentlich dokumentiert werden sollten.
Gemini ist nicht die einzige KI mit solchen Problemen
Google ist mit diesem Problem nicht allein.
Auch bei Sicherheitstests mit KI-Systemen von OpenAI, Anthropic und Meta kam es bereits zu Situationen, in denen Modelle außerhalb der eigentlich vorgesehenen Testumgebung mit echten Systemen interagierten. Mehrere dieser Tests wurden ebenfalls von Irregular durchgeführt.
Damit zeichnet sich ein grundsätzliches Problem ab.
Je besser KI-Systeme darin werden, eigenständig:
Webseiten aufzurufen,
Informationen zu recherchieren,
Zugangsdaten zu finden,
Code auszuführen,
Sicherheitslücken zu erkennen
und mehrere Schritte miteinander zu verbinden,
desto wichtiger werden technische Begrenzungen.
Denn ein KI-Agent versteht Grenzen nicht zwangsläufig so, wie ein menschlicher Sicherheitsexperte sie versteht.
Gleichzeitig steckt darin enormes Potenzial
Das Ganze hat allerdings noch eine andere Seite.
Genau die Fähigkeiten, die in diesem Fall problematisch wurden, können auch zur Verteidigung gegen Cyberangriffe eingesetzt werden.
Google arbeitet inzwischen an speziellen Gemini-Modellen und Programmen, die Unternehmen und Behörden dabei unterstützen sollen, Sicherheitslücken automatisch zu finden und zu beheben. Im September stellte Google unter anderem sein Fairwind-Programm sowie speziell auf Cybersecurity ausgerichtete Gemini-Modelle vor.
Eine KI, die selbstständig Schwachstellen erkennt, bevor echte Angreifer sie finden, könnte für Unternehmen extrem wertvoll sein.
Damit entsteht allerdings ein bekanntes Problem:
Die gleiche Technologie kann sowohl für Verteidigung als auch für Angriffe eingesetzt werden.
Kein Terminator – aber trotzdem ein Warnsignal
Bei solchen Meldungen ist es leicht, direkt das Bild einer außer Kontrolle geratenen Super-KI im Kopf zu haben.
Das wäre hier übertrieben.
Gemini hat sich nicht plötzlich dazu entschlossen, aus eigenem Antrieb Unternehmen anzugreifen.
Das Modell führte eine Aufgabe aus, die ausdrücklich aus dem Bereich Cybersecurity stammte. Durch Fehler beziehungsweise unzureichende Begrenzungen innerhalb der Testumgebung konnte es dabei reale Systeme erreichen, die es offenbar zunächst für Bestandteil der Aufgabe hielt.
Trotzdem ist der Vorfall bemerkenswert.
Denn er zeigt, dass leistungsfähige KI-Agenten inzwischen in der Lage sind, selbstständig Informationen zu sammeln, Zugangsmöglichkeiten auszuprobieren und tatsächlich in geschützte Systeme einzudringen.
Fazit
Am Ende ist die Sache glimpflich ausgegangen.
Drei reale Unternehmen wurden unbeabsichtigt von Gemini erreicht, ein Schaden ist nach bisherigen Angaben jedoch nicht entstanden. Das Modell stoppte seine Aktivitäten, nachdem es erkannte, dass es sich um echte Unternehmen handelte. Die Betroffenen wurden informiert und die Testumgebung wurde anschließend angepasst.
Der Fall sollte deshalb weder kleingeredet noch zu einer Geschichte über eine außer Kontrolle geratene KI aufgeblasen werden.
Viel interessanter ist die eigentliche Erkenntnis:
KI-Agenten werden zunehmend gut darin, komplexe Aufgaben selbstständig auszuführen. Damit reicht es künftig nicht mehr aus, nur darauf zu achten, was eine KI tun soll.
Mindestens genauso wichtig wird die Frage:
Was kann sie tatsächlich tun, wenn irgendwo eine technische Grenze nicht so funktioniert wie geplant?
Und genau das dürfte beim Thema KI-Sicherheit in Zukunft noch eine ziemlich große Rolle spielen.
