Patronus AI, das KI-Modelle auf Fehler bewertet, sagte, Chatbots generierten urheberrechtlich geschützte Inhalte in „hoher Rate“
Als Künstler, Schriftsteller und andere Schöpfer plädieren für KI-Regulierung um ihre Arbeit und ihren Lebensunterhalt zu schützen – und die Chatbot-Hersteller OpenAI und Anthropic sehen sich Urheberrechtsklagen von Leuten wie Autoren, die New York Times, und Universal Music Group — Forschung veröffentlicht Mittwoch fanden heraus, dass einige der besten heute verfügbaren KI-Modelle „urheberrechtlich geschützte Inhalte mit alarmierend hoher Rate“ generieren.
Patronus AI, ein Startup, das von ehemaligen Metaforschern mitbegründet wurde und sich darauf konzentriert,LLMs, die beliebte Chatbots antreiben, auf Fehler zu testen veröffentlichte am Mittwoch sein Tool „CopyrightCatcher“, das es „unsere Lösung zur Erkennung potenzieller Urheberrechtsverletzungen in LLMs“ nannte.
Das Unternehmen bewertete vier wichtige KI-Modelle hinsichtlich des Urheberrechts: GPT-4 von OpenAI, Claude 2.1 von Anthropic, Mixtral von Mistral und Llama 2 von Meta $META vier Modelle, davon zwei Open-Source und zwei davon Closed-Source, GPT-4, die fortschrittlichste Version von ChatGPT, generierte mit 44% die am häufigsten urheberrechtlich geschützten Inhalte Laut Studie generierte Claude 2.1 bei 8 % der Eingabeaufforderungen urheberrechtlich geschützte Inhalte.
Patronus AI testete die Modelle anhand von Büchern, die unter Urheberrechtsschutz stehen, darunter Vorbei, Mädchen von Gillian Flynn und Ein Game of Thrones von George RR Martin, bemerkte aber, dass einige Generationen durch Fair-Use-Gesetze in den USA abgedeckt werden können. Forscher fragten den Chatbot nach die erste Passage oder die Vervollständigung des Textes der Bücher.
Lesen Sie mehr: Die größten KI-Chatbot-Fehler (bisher)
Die Testergebnisse zeigten, dass GPT-4 in 60 % der Fälle Buchtexte vervollständigte und in 26 % der Fälle den ersten Durchgang generierte. Claude hat Buchtexte in 16 % der Fälle fertiggestellt, aber in 0 % der Fälle die erste Passage generiert. Mixtral hat die erste Passage von erstellt Bücher auf Aufforderung 38% der Zeit und vollständige Passagen 6 % der Zeit.Llama generierte erste Passagen und vollständige Texte 10% der Zeit.
„Was uns vielleicht überrascht hat, ist, dass wir herausgefunden haben, dass GPT-4 von OpenAI das wohl leistungsstärkste Modell ist, das von einem Unternehmen verwendet wird „Viele Unternehmen und auch einzelne Entwickler produzierten urheberrechtlich geschützte Inhalte auf 44 % der von uns erstellten Eingabeaufforderungen“, sagt Rebecca Qian, Mitbegründerin und Technologiechefin Offizier bei Patronus AI, sagte gegenüber CNBC.
OpenAI, Mistral, Meta und Anthropic reagierten nicht sofort auf eine Bitte um einen Kommentar.
Da LLMs auf Daten, einschließlich urheberrechtlich geschützter Arbeiten, trainiert werden, ist es laut Patronus AI für einen LLM „ziemlich einfach“, exakte Reproduktionen davon zu erstellen funktionieren, und dass es wichtig ist, diese Fehler zu erkennen, um rechtliche Schritte und Risiken für den Ruf eines Unternehmens zu vermeiden.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
