Microsoft befürchtet KI-Halluzinationen – und zwar nicht nur seine eigenen

Neue Tools von Azure AI können angeblich erkennen, wann KI-Modelle aus dem Ruder laufen

Von Rocio Fabbro2 Min. LesezeitAktualisiert 29. März 2024

Künstliche Intelligenz ist zum Wilden Westen in der Technologie geworden, doch einige neue Sicherheitsfunktionen von Microsoft $MSFT Azure sollen ihr Einhalt gebieten. Microsoft hat eine Reihe von Tools freigegeben am Donnerstag steht dass es sagt die KI-Modelle seiner Kunden unterstützen Halluzinationen verhindern — oder die Tendenz von Chatbots, Dinge zu erfinden. Die Funktionen finden sich in ihrer Azure AI, einem cloudbasierten Dienst der Unterstützung und Technologien für Entwickler und Organisationen bereitstellt.

Ein solches Merkmal ist bekannt als Groundedness-Erkennung, die darauf ausgelegt ist, textbasierte Halluzinationen zu identifizieren

Microsoft sagt , die neue Funktion wird in den Chatbot-Antworten „unbegründetes Material “ oder Inhalte finden und kennzeichnen, die nicht auf Fakten oder dem gesunden Menschenverstand beruhen scheinen und damit zu helfen , deren Qualität zu verbessern hilft.

Microsoft hat im Februar 2023 seinen eigenen Chatbot Copilot auf den Markt gebracht. Außerdem verfügt er über einen umfangreiche Partnerschaft mit OpenAI das umfasst Azure OpenAI ServiceDies gibt Entwicklern die Möglichkeit, ihre eigenen KI-Anwendungen durch direkten Zugriff auf von Azure unterstützte OpenAI-Modelle zu erstellen.Azure-KIs Zu den Kunden gehören Das Beratungsunternehmen KPMG, der Telekommunikationsriese AT&T $T und Reddit $RDDT.

Zu den weiteren Tools, die am Donnerstag eingeführt wurden, gehören: prompte Schilde, die Angriffe auf generative KI-Modelle blockieren, wie sofortige Injektionen oder böswillige Eingabeaufforderungen von externen Dokumenten, die Modelle von Schulung und Sicherheit abhalten Leitplanken.

„Wir wissen, dass nicht alle Kunden über fundierte Fachkenntnisse zu Einschleusungsangriffen oder hasserfüllten Inhalten verfügen, daher generiert das Bewertungssystem die Aufforderungen Wir mussten diese Art von Angriffen simulieren“, sagte Sarah Bird, Microsofts Chief Product Officer für verantwortliche KI, gegenüber The Verge und fügte hinzu, dass Kunden dies tun werden Sehen Sie sich dann eine Punktzahl und Ergebnisse an, die auf der Leistung eines Modells in diesen Simulationen basieren.

Azure AI wird in Kürze auch zwei weitere Überwachungs- und Sicherheitsfunktionen einführen, sagte Microsoft.

Obwohl diese Art von Problemen harmlos zu sein scheinen, haben sie zu einigen unangenehmen (und) Problemen geführt einige hoch problematische) Ausrutscher seitens KI-gestützter Text- und Bildgeneratoren. Googles Gemini AI löste im Februar eine Kontroverse aus, nachdem sie Historisch ungenaue Bilder wie rassistisch diverse Nazis. OpenAIs ChatGPT kürzlich völlig aus der Bahn geraten im letzten Monat mit Kauderwelsch und Halluzinationen, die bei den Nutzern für Verwirrung sorgten.

Die wichtigsten Wirtschaftsnachrichten, jeden Morgen frisch geliefert.

Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.

Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.