Voice Engine klingt nach einem beeindruckenden Tool, aber wie lange wird es dauern, bis es häufig missbraucht wird?
OpenAI kündigte am Freitag ein neues KI-basiertes Audio-Klon-Tool mit der Voice Engine an. Während das Unternehmen offensichtlich stolz auf das Potential dieses ist Technologie – wirbt dafür, wie sie genutzt werden könnte, um Lesehilfe für Kinder bereitzustellen und denen, die ihre Stimme verloren haben, eine Stimme zu geben – OpenAI ist offensichtlich sehr nervös darüber, wie dies missbraucht werden könnte. Und das aus gutem Grund.
„OpenAI ist bestrebt, eine sichere und allgemein vorteilhafte KI zu entwickeln“, sagte das Unternehmen am Freitag in einer Erklärung und brachte damit seine Anliegen klar zum Ausdruck das sehr erster Satz.
Voice Engine verwendet im Wesentlichen dieselbe Technologie, die hinter seiner Text-to-Speech-API und ChatGPT Voice steckt, aber diese Anwendung der Technologie ist alles Es geht darum, eine Stimme zu klonen, anstatt etwas im Ton und Tonfall eines Fremden laut vorzulesen. OpenAI stellt fest, dass seine Technologie darin außergewöhnlich ist benötigt nur ein 15-Sekunden-Sample, um „emotionale und realistische Stimmen zu erzeugen.“
„Heute teilen wir vorläufige Erkenntnisse und Ergebnisse aus einer kleinen Vorschau eines Modells namens Voice Engine, das Texteingabe verwendet und ein einziges 15-sekündiges Audio-Sample, um eine natürlich klingende Sprache zu erzeugen, die dem Originallautsprecher sehr ähnlich ist“, schrieb das Unternehmen.
Es ist nicht klar, welche Art von Trainingsdaten für den Aufbau von Voice Engine verwendet wurden, ein Schwachpunkt für beschuldigte KI-Unternehmen Unternehmen wie OpenAI argumentieren, dass ihre Trainingsmethoden als „faire Nutzung“ gelten US-amerikanisches Urheberrecht, aber eine Reihe von Rechteinhabern haben geklagt und sich darüber beschwert, dass sie für ihre Arbeit nicht entschädigt wurden.
Auf der Website von OpenAI gibt es Beispiel-Audioclips, die durch Voice Engine eingespeist wurden. Sie sind ziemlich verdammt beeindruckend. Die Möglichkeit, die Sprache zu ändern, in der jemand spricht, ist auch sehr cool. Aber Sie können es noch nicht selbst ausprobieren.
Es gibt bereits eine Reihe von Tools zum Klonen von Stimmen, z ElfLabs, und Übersetzer wie Redner. Aber OpenAI ist zu einem Giganten geworden, seit es ChatGPT Ende 2022 erst öffentlich eingeführt wurde. Und sobald Voice Engine zu einem öffentlich verfügbaren Produkt gemacht ist (ein Veröffentlichungstermin ist noch nicht bekannt), könnte es die Schleusen für alle möglichen neuen Missbräuche öffnen, von denen wir nicht auch geträumt haben.
In der Erklärung von OpenAI vom Freitag hieß es: „Aufgrund des Potenzials für synthetische Stimmen gehen wir bei einer umfassenderen Veröffentlichung vorsichtig und fundiert vor „Missbrauch“ unterstreicht die Sorgen, mit denen jedes große Unternehmen heute angesichts dieser Art von KI-Technologie konfrontiert ist
Ein besonders besorgniserregendes Beispiel dafür, dass jemand KI-Stimmenklonen für schändliche Zwecke nutzte, ereignete sich Anfang dieses Jahres mithilfe von Die Stimme von Präsident Joe Biden.Steve Kramer, der für Dean Phillips, den Präsidentschaftskandidaten der Demokraten, gearbeitet hat, hat Bidens Stimme geklont, um eine Botschaft zu erschaffen, die besagt, dass die Menschen das nicht tun sollten Ich habe mir die Mühe gemacht, bei den Vorwahlen in New Hampshire abzustimmen. Kramer nutzte das AI-Sprachtool von ElevenLabs und schaffte es in „weniger als 30 Minuten“. Senden der Robocall-Nachricht an ungefähr 5.000 Menschen, nach Angaben der Washington Post.
„Wir hoffen, einen Dialog über den verantwortungsvollen Einsatz synthetischer Stimmen und darüber, wie sich die Gesellschaft an diese neuen Möglichkeiten anpassen kann, zu starten.“ In der Erklärung von OpenAI heißt es: „Basierend auf diesen Gesprächen und den Ergebnissen dieser kleinen Tests werden wir eine fundiertere Entscheidung treffen.“ darüber, ob und wie diese Technologie im großen Maßstab eingesetzt werden kann.“
Das ist natürlich das zweischneidige Schwert aller neuen Technologien. Betrüger finden immer einen Weg, neue Tools auszunutzen, um Menschen ihr hart verdientes Geld abzuluchsen. Aber Sie müssen keine falschen, KI-generierten Stimmen verwenden, um Menschen zu betrügen. Wie wir Anfang dieser Woche berichteten, verwendet der neueste Krypto-Betrug Echte Schauspieler auf Fiverr engagiert ein Skript zu lesen, das dabei hilft, ihren Betrug als authentisch zu verkaufen.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
