Microsoft Azure AI Content Safety führt erweiterte Methoden zur Erkennung schädlicher Inhalte ein

Heute hat Microsoft wichtige Ankündigungen zu generativen KI-Sicherheitsfunktionen gemacht. Unter anderem wurde ein neues Tool im Azure AI Content Safety Framework eingeführt, das darauf abzielt, KI-generierte halluzinierte Inhalte zu erkennen und zu korrigieren. Darüber hinaus gab Microsoft bekannt, dass sein Azure OpenAI Service damit beginnen wird, unsichtbare Wasserzeichen in Bildern zu implementieren, die mit dem DALL-E 3-Modell generiert werden.

Darüber hinaus konzentriert sich Microsoft weiterhin auf KI-Sicherheit mit der öffentlichen Vorschau seiner innovativen multimodalen API im Azure AI Content Safety-Dienst. Diese API wurde entwickelt, um schädliche oder unangemessene Inhalte zu identifizieren, unabhängig davon, ob sie von menschlichen Autoren oder KI-Tools stammen.

Laut einem Blogbeitrag von Microsoft:

Die multimodale API unterstützt sowohl Text- als auch Bildeingaben. Sie ist für die Erkennung mehrerer Klassen und Schweregrade ausgelegt, sodass Inhalte in verschiedene Kategorien eingeteilt und jeder Kategorie ein Schweregrad zugewiesen werden kann. Für jede Kategorie bietet das System einen Schweregrad von 0, 2, 4 bis 6. Eine höhere Zahl bedeutet einen höheren Schweregrad des Inhalts.

Diese neu eingeführte multimodale API kann schädliche Inhalte in Texten und Bildern, einschließlich Emojis, identifizieren, die möglicherweise unsichere oder unangemessene Inhalte enthalten. Dazu gehören explizite Inhalte, Hassreden, Gewalt, Selbstverletzung und sexuelle Inhalte. Microsoft betont, dass die API solche Inhalte erkennen kann, selbst wenn sie in einer Kombination aus Text und Bildern auftreten, die bei einer Einzelanalyse harmlos sein könnten.

Microsoft hob in seiner Erklärung hervor:

Durch das Erreichen dieser Ziele fördert die multimodale Erkennungsfunktion ein sichereres und respektvolleres Benutzererlebnis und ermöglicht eine kreative und dennoch verantwortungsvolle Inhaltserstellung.

Darüber hinaus wies Microsoft darauf hin, dass die neue multimodale API schädliche Inhalte schnell erkennen und so sicherstellen kann, dass sie nicht an Benutzer verschiedener Anwendungen oder Dienste verbreitet werden.

Quelle