Apple entfernt KI-Nudify-App Kromix nach Meta-Werbung

Meta hatte eine Kampagne mit 32 Anzeigen für Kromix geschaltet, die ausschließlich auf männliche Nutzer zugeschnitten war. Ein Video-Ad mit Sprechstimme warb damit, dass es keine Einschränkungen gebe und alle Charaktere echte Menschen seien. Das Tool wurde als die KI beworben, die Männer tatsächlich nutzen.

Besonders brisant: In einer der Anzeigen war eine Frau zu sehen, die einer prominenten US-Politikerin auffällig ähnelt. Sie stand vor einer US-Flagge und einer Präsidentschaftsflagge, über ihr die Frage, was wäre, wenn sie sich bewegen würde. Sie zwinkerte, dann folgte der Schnitt zu einer pornografischen Szene mit demselben Gesicht.

Beide Unternehmen reagierten erst, nachdem WIRED Stellungnahme anfragte. Meta stellte die Kampagne ein, Apple entfernte die App aus dem Store.

Apple erklärt gegenüber WIRED, Kromix habe die verbotenen Inhalte und Funktionen erst nach bestandener App-Store-Prüfung hinzugefügt. Das Unternehmen betont, Apps zur Erzeugung, Verbreitung oder zum Konsum von Pornografie seien strikt verboten.

Nudify-Apps verstoßen laut Apple gegen die App-Review-Richtlinien. Das Unternehmen sagt, es gehe aggressiv gegen solche Apps und die dahinterliegenden Entwicklerkonten vor, die die Prüfprozesse umgehen wollen. Die Begründung reiht sich in eine Linie ein, die Apple bereits im Juli gegenüber der San-Francisco-Staatsanwaltschaft vertreten hatte.

Doch der Fall zeigt auch, wie schwer es ist, Funktionserweiterungen nach der Freigabe zuverlässig zu erkennen. Das passt zu den Lücken, die der App-Store-Review-Prozess insgesamt aufweist, wenn es um verbotene Inhalte geht.

Bereits im Juli hatte der San-Francisco-Staatsanwalt David Chiu die Entfernung von acht Nudify-Apps aus dem App Store gefordert. Apple bestätigte damals, dass solche Anwendungen gegen die Richtlinien verstoßen und entsprechend behandelt werden.

In einer separaten WIRED-Recherche wurde zudem die App MaskAI identifiziert, die Face-Swaps in sexuelle Situationen erlaubte. Auch auf diese App verwiesen mehrere Meta-Anzeigen. Apple entfernte MaskAI ebenfalls, nachdem WIRED Kontakt aufgenommen hatte.

Der Fall Kromix ist damit kein Einzelfall, sondern Teil eines Musters: Apps mit Nudify-Funktionalität tauchen im Store auf, werden über Werbekanäle beworben und verschwinden erst nach öffentlichem Druck. Die Frage bleibt, ob Apples Vorgehen präventiv genug ist, um solche Inhalte schon vor der Freigabe zu stoppen.