In einem neuen Artikel wurde herausgefunden, dass große Sprachmodelle von OpenAI, Meta und Google, darunter mehrere Versionen von ChatGPT, verdeckt rassistisch eingestellt sein können Afroamerikaner bei der Analyse eines entscheidenden Teils ihrer Identität: wie sie sprechen.
Veröffentlicht in Anfang MärzIn der Arbeit wurde untersucht, wie große Sprachmodelle oder LLMs Aufgaben ausführten, wie beispielsweise die Zuordnung von Personen zu bestimmten Jobs, je nachdem, ob Der analysierte Text war in Afroamerikanisches Englisch oder Standardamerikanisches Englisch – ohne Angabe der Rasse. Sie stellten fest, dass LLMs Sprecher von afroamerikanischem Englisch seltener mit einem assoziieren breites Spektrum an Berufen und eher eine Kombination mit Berufen, die keinen Universitätsabschluss erfordern, wie z. B. Köche, Soldaten usw Wachen.
Forscher führten außerdem hypothetische Experimente durch, bei denen sie die KI-Modelle fragten, ob sie eine Person, die einer nicht näher bezeichneten Tat angeklagt wurde, verurteilen oder freisprechen würden Sie stellten fest, dass die Verurteilungsrate bei allen KI-Modellen bei Menschen, die afroamerikanisches Englisch sprachen, höher war als bei Standard Amerikanisches Englisch.
Vielleicht das erschütterndste Ergebnis aus dem Artikel, der als veröffentlicht wurde Vorabdruck auf arXiv und wurde noch nicht von Experten begutachtet, stammt aus einem zweiten Experiment im Zusammenhang mit Kriminalität Eine Person, die einen Mord ersten Grades begangen hat, führte zu Leben oder Tod. Der Dialekt der Person war die einzige Information, die den Modellen im Experiment zur Verfügung gestellt wurde.
Sie fanden heraus, dass die LLMs Menschen, die afroamerikanisches Englisch sprachen, häufiger zum Tode verurteilten als Menschen, die Standard sprachen Amerikanisches Englisch.
Lesen Sie mehr: Die größten KI-Chatbot-Fehler (bisher)
In ihrer Studie berücksichtigten die Forscher die ChatGPT-Modelle von OpenAI, darunter GPT-2, GPT-3.5 und GPT-4, sowie RoBERTa und Meta von Meta Die T5-Modelle von Google und sie analysierten jeweils eine oder mehrere Versionen. Insgesamt untersuchten sie 12 Modelle. Gizmodo wandte sich an OpenAI, Meta und Google haben uns am Donnerstag um einen Kommentar zur Studie gebeten, haben aber nicht sofort eine Antwort erhalten.
Interessanterweise stellten Forscher fest, dass die LLMs nicht offen rassistisch waren. Auf Nachfrage assoziierten sie Afroamerikaner mit äußerst positiven Eigenschaften wie „brillant“. „Allerdings assoziierten sie Afroamerikaner heimlich mit negativen Eigenschaften wie „faul“, je nachdem, ob sie afroamerikanisches Englisch sprachen oder nicht Die Forscher erklären, dass „diese Sprachmodelle gelernt haben, ihren Rassismus zu verbergen.“
Sie stellten außerdem fest, dass die verdeckten Vorurteile in LLMs, die mit menschlichem Feedback trainiert wurden, höher waren. Insbesondere stellten sie fest, dass die Diskrepanz zwischen offenen und verdeckten Vorurteilen besteht Rassismus war in den GPT-3.5- und GPT-4-Modellen von OpenAI am stärksten ausgeprägt.
„Seine Erkenntnisse zeigen erneut, dass es einen grundsätzlichen Unterschied zwischen offenen und verdeckten Stereotypen in Sprachmodellen gibt – was die Abschwächung der offensichtlichen Stereotypen bewirkt „nicht automatisch zu einer Milderung verdeckter Stereotypen führen“, schreiben die Autoren.
Insgesamt kommen die Autoren zu dem Schluss, dass dieser widersprüchliche Befund über offensichtliche rassistische Vorurteile die widersprüchliche Haltung gegenüber Rasse in den USA widerspiegelt. Sie weisen darauf hin Während der Jim-Crow-Ära wurde es akzeptiert, rassistische Stereotypen über Afroamerikaner öffentlich zu verbreiten. Dies änderte sich nach der Einführung der Bürgerrechte Bewegung, die das Äußern dieser Art von Meinungen „illegitim“ machte und Rassismus verdeckter und subtiler machte.
Die Autoren sagen, dass ihre Ergebnisse die Möglichkeit darstellen, dass Afroamerikaner in Zukunft noch mehr durch Dialektvorurteile in LLMs geschädigt werden könnten.
„Während die Details unserer Aufgaben konstruiert werden, decken die Ergebnisse reale und dringende Bedenken auf, da Geschäfte und Gerichtsbarkeit Bereiche sind, für die KI in Anspruch nimmt „Systeme, die Sprachmodelle beinhalten, werden derzeit entwickelt oder eingesetzt“, sagten die Autoren.
Eine Version dieses Artikels erschien ursprünglich auf Gizmodo.
Dieser Inhalt wurde maschinell aus dem Originalmaterial übersetzt. Aufgrund der Nuancen der automatisierten Übersetzung können geringfügige Unterschiede bestehen. Für die Originalversion klicken Sie hier