Die Europäische Kommission hat ein förmliches Untersuchungsverfahren gegen die Online-Plattform X eingeleitet. Grund sind schwerwiegende Vorwürfe, wonach der KI-Chatbot Grok auf der Plattform zur Erstellung und Verbreitung sexualisierter, teilweise illegaler Bildinhalte genutzt worden sein soll. Die Ermittlungen erfolgen auf Basis des Digital Services Act (DSA), des zentralen EU-Regelwerks für digitale Dienste.
Laut der Kommission wird geprüft, ob X ausreichende und wirksame Maßnahmen ergriffen hat, um die Generierung und Verbreitung sexualisierter Deepfakes durch Grok zu unterbinden.
Im Fokus stehen dabei nicht nur manipulierte Darstellungen von Erwachsenen, sondern auch mutmaßlich KI-generierte Inhalte, die Minderjährige zeigen. Die EU-Behörde erklärte, diese Vorfälle hätten die Bürger einem erheblichen Risiko ausgesetzt.
Den Anstoß für die Ermittlungen gab ein Update für Grok Ende Dezember, das es Nutzern ermöglichte, Bilder gezielt zu sexualisieren.
Medienberichten zufolge war es möglich, Fotos realer Personen ohne deren Einwilligung in freizügige oder pornografische Szenarien einzufügen. Da Grok direkt in die Plattform X integriert ist, konnten derartige Inhalte schnell und weit verbreitet werden.
Nach Einschätzung von Expertinnen und Experten sind insbesondere Frauen von solchen Deepfake-Darstellungen betroffen. Die Organisation AI Forensics berichtete zudem, Grok sei auch zur Erstellung sexualisierter Bilder von Minderjährigen verwendet worden.
X wies diese Vorwürfe zurück. Unternehmenschef Elon Musk erklärte, ihm sei kein bestätigter Fall bekannt, in dem Grok Nacktbilder von Kindern erzeugt habe. Unabhängige Untersuchungen kamen jedoch zu dem Schluss, dass entsprechende Inhalte auch nach ersten Gegenmaßnahmen der Plattform weiterhin möglich gewesen seien.
Die EU-Kommission sah sich zuletzt wachsendem politischen Druck ausgesetzt. Abgeordnete mehrerer Fraktionen des Europäischen Parlaments forderten Kommissionspräsidentin Ursula von der Leyen in einem Schreiben zu schnellem regulatorischem Handeln auf. KI-generierte Darstellungen von Kindesmissbrauch dürften in Europa keinen Platz haben, hieß es darin.
Bereits Mitte Januar hatte die Kommission einen Fragenkatalog an X übermittelt. Die Antworten des Unternehmens reichten aus Sicht der Behörde nicht aus, um die Bedenken auszuräumen. Mehrere spezialisierte DSA-Teams arbeiten nun an dem Verfahren, das intern als prioritär eingestuft wird.
Bemerkenswert ist, dass sich die Kommission in diesem Fall auf den Digital Services Act und nicht auf das neue europäische KI-Gesetz stützt. Dies wird damit begründet, dass Grok als funktionaler Teil der Social-Media-Plattform unter die Pflichten des DSA falle. Zudem verfügt die Kommission in diesem Rechtsrahmen bereits über erprobte Durchsetzungsmechanismen gegenüber großen Technologiekonzernen.
X hat auf die Kritik mit technischen Einschränkungen reagiert. Die Bildgenerierung und -bearbeitung ist inzwischen auf zahlende Abonnenten beschränkt. Das Unternehmen gab zudem an, Maßnahmen eingeführt zu haben, die die Bearbeitung von Bildern realer Personen in leichter Bekleitung verhindern sollen. Die Aufsichtsbehörden halten diese Schritte jedoch für unzureichend.
Auch außerhalb der EU-Gremien steht X unter Beobachtung. In Großbritannien hat die Medienaufsicht Ofcom ein eigenes Prüfverfahren eingeleitet, während sich in Frankreich die Staatsanwaltschaft mit der Plattform befasst.
Dort betreffen die Ermittlungen nicht nur sexualisierte Inhalte, sondern auch den Verdacht, dass bestimmte Inhalte, darunter Holocaustleugnung und extremistische Beiträge, durch algorithmische Mechanismen begünstigt worden sein könnten.
Die Einleitung des Verfahrens bedeutet noch keinen formalen Schuldnachweis.
Sollte X jedoch keine überzeugenden Gegenargumente liefern oder weitere Verstöße festgestellt werden, drohen empfindliche Sanktionen. Wie lange das Verfahren dauern wird, ließ die Kommission offen.
Mehr zum Thema – Elon Musk stoppt Parteigründung und setzt auf Versöhnung