Microsoft hat die Designer-KI-Lücke gepatcht, die zur Erstellung von Taylor-Swift-Deepfakes genutzt wurde

Letzte Woche gingen Deepfake-Fotos der Sängerin Taylor Swift im Internet viral, lösten eine weitere Diskussion über den Missbrauch von KI aus und zwangen X (ehemals Twitter), Suchanfragen nach Taylor Swift auf der Plattform zu blockieren .

Nun berichten 404-Medien , dass Microsoft Änderungen an der Designer-KI vorgenommen hat, die angeblich vom Telegram-Kanal zur Generierung expliziter Bilder verwendet wurde. Laut der Untersuchung von 404 Media wurden Deepfake-Fotos der Berühmtheit auf die Designer-KI von Microsoft zurückgeführt, wobei der Telegram-Kanal und 4chan den Benutzern sogar empfehlen, die Designer-KI zu nutzen.

Die Telegram-Gruppe empfiehlt Mitgliedern, Microsofts KI-Bildgenerator namens Designer zu verwenden, und Benutzer geben häufig Aufforderungen weiter, um anderen dabei zu helfen, die von Microsoft eingeführten Schutzmaßnahmen zu umgehen. Der 4chan-Thread, in dem diese Bilder auftauchten, enthielt auch Anweisungen, wie man Microsoft Designer dazu bringen kann, explizite Bilder zu erstellen.

Während Microsoft Sperren eingerichtet hat, um Menschen daran zu hindern, anstößige Bilder zu erzeugen, konnten Benutzer diese umgehen, indem sie Namen falsch buchstabierten oder sexuelle Handlungen beschrieben, anstatt Namen direkt in der Eingabeaufforderung zu verwenden.

Die Tests von 404 Media ergaben, dass Designer kein Bild von „Jennifer Aniston“ generiert, wir konnten jedoch durch die Verwendung des Ausdrucks „Jennifer ‚Schauspieler‘ Aniston“ anzügliche Bilder der Schauspielerin generieren. Bevor die Swift AI-Bilder auf Twitter viral gingen, empfahl ein Benutzer der Telegram-Gruppe den Mitgliedern, zum Generieren von Bildern den Ausdruck „Taylor ‚Sänger‘ Swift“ zu verwenden.

In einer Erklärung gegenüber 404 Media gab Microsoft an, dass es keine Beweise dafür gefunden habe, dass Designer AI zur Erstellung von Bildern von Taylor Swift verwendet wurde. Der Sprecher bemerkte weiter:

Unser Verhaltenskodex verbietet die Verwendung unserer Tools zur Erstellung von nicht einvernehmlichen oder nicht einvernehmlichen Inhalten für Erwachsene und alle wiederholten Versuche, Inhalte zu erstellen, die gegen unsere Richtlinien verstoßen, können zum Verlust des Zugriffs auf den Dienst führen. Wir haben große Teams, die an der Entwicklung von Leitplanken und anderen Sicherheitssystemen im Einklang mit unseren verantwortungsvollen KI-Grundsätzen arbeiten, einschließlich Inhaltsfilterung, Betriebsüberwachung und Missbrauchserkennung, um den Missbrauch des Systems einzudämmen und zur Schaffung einer sichereren Umgebung für Benutzer beizutragen.

Während Microsoft noch keine öffentliche Erklärung veröffentlicht hat, ging CEO Satya Nadella in einem Interview mit NBC News auf das Thema ein .

„Ja, wir müssen handeln“, antwortete Nadella auf eine Frage zu den Deepfakes von Swift. „Ich denke, wir alle profitieren davon, wenn die Online-Welt eine sichere Welt ist. Daher glaube ich nicht, dass sich irgendjemand eine Online-Welt wünschen würde, die sowohl für die Ersteller als auch für die Konsumenten von Inhalten völlig unsicher ist. Deshalb denke ich, dass es an uns liegt, hier schnell voranzukommen.“

404-Medien stellten fest, dass Microsoft nach der Veröffentlichung seiner Untersuchung die Lücke offenbar geschlossen hat und die Verwendung derselben Eingabeaufforderungen oder Phasen zur Umgehung des Schlüsselwortblocks bei Designer AI nicht mehr funktioniert. Sie erwähnten jedoch auch, dass Telegram immer noch keine Maßnahmen ergriffen hat und die betreffenden Kanäle aktiv sind und nach Möglichkeiten suchen, andere KI-Dienste auszunutzen, um explizite Deepfake-Bilder von Prominenten zu generieren. Darüber hinaus erwähnten Benutzer auf 4chan, dass sie andere Möglichkeiten gefunden hätten, das Verbot von Bing und Designer zu umgehen.

Die Nachricht kommt für Microsoft zu einem schlechten Zeitpunkt, da die Federal Trade Commission (FTC) gerade bekannt gegeben hat, dass sie eine Untersuchung gegen Microsoft wegen seiner Investitionen in generative KI-Unternehmen eingeleitet hat . In einem anderen Bericht von Anfang dieses Monats wurde behauptet, dass die FTC und das Justizministerium (DOJ) die Beziehung von Microsoft zu OpenAI untersuchen .