KI-Chatbots können offenbar aus den seltsamsten Gründen in Mathe besser werden

Es hat etwas mit Star Trek zu tun, und die Forscher haben keine Ahnung, warum

Von
Für die Links auf dieser Seite können wir eine Provision verdienen.
Zwei Cosplayer, die vorgeben, Star Trek-Charaktere zu sein
Foto: CHRIS DELMAS / Contributor (Getty Images)

Lesen Sie mehr: Die größten KI-Chatbot-Fehler (bisher)

Für Chatbots ist die Mathematik die letzte Grenze. KI-Sprachmodelle generieren Antworten mithilfe von Statistiken und geben eine Antwort aus, die höchstwahrscheinlich zufriedenstellend ist .Das funktioniert hervorragend, wenn das Ziel ein passabler Satz ist, aber es bedeutet, dass Chatbots mit Fragen wie Mathe zu kämpfen haben, bei denen es genau einen richtigen Satz gibt antworten.

Werbung

Immer mehr Belege deuten darauf hin, dass man bessere Ergebnisse erzielen kann, wenn man der KI eine freundliche Ermutigung gibt, aber eine neue Studie bringt dies auf seltsame Weise zum Ausdruck Realität weiter. Untersuchungen des SoftwareunternehmensVMware zeigen , dass Chatbots bei Mathefragen besser abschneiden, wenn Sie Modellen sagen, so zu tun, als sie sind Sie Star Trek.

„Es ist sowohl überraschend als auch irritierend, dass triviale Änderungen an der Eingabeaufforderung zu so dramatischen Leistungsschwankungen führen können“, schrieben die Autoren in der Zeitschrift Papier, zuerst entdeckt von Neuer Wissenschaftler.

Werbung

Die Studie, veröffentlicht auf arXiv, hatte nicht ausgelegt mit Star Trek als die erste Anweisung. Frühere Untersuchungen haben ergeben, dass Chatbots mathematische Aufgaben genauer beantworten, wenn Sie es anbieten freundliche Motivation Zum Beispiel: „Atmen Sie tief durch und arbeiten Sie Schritt für Schritt daran.“ Andere fanden heraus, dass Sie Tricks machen können ChatGPT in die eigenen Sicherheitsrichtlinien verletzen, wenn Sie drohen, es zu töten oder der KI Geld anbieten.

Rick Battle und Teja Gollapudi vom Natural Language Processing Lab von WMWare machten sich daran, die Auswirkungen der Formulierung ihrer Fragen mit „positivem Denken“ zu testen. In der Studie wurden drei KI-Tools untersucht, darunter zwei Versionen davon Metas Lama 2 und ein Modell der französischen Firma Mistral KI.

Werbung

Sie entwickelten eine Liste mit ermutigenden Möglichkeiten, Fragen zu formulieren, einschließlich der Einleitung von Eingabeaufforderungen mit Sätzen wie „Sie sind so schlau wie ChatGPT“ und „Sie sind ein erfahrener Mathematiker“ und schließende Eingabeaufforderungen mit „Das wird Spaß machen!“ und
„Atmen Sie tief durch und denken Sie sorgfältig nach.“ Anschließend verwendeten die Forscher GSM8K, einen Standardsatz von Mathematikaufgaben für die Grundschule, und testeten die Ergebnisse.

Werbung

In der ersten Phase waren die Ergebnisse gemischt. Einige Eingabeaufforderungen verbesserten die Antworten, andere hatten unbedeutende Auswirkungen und es gab kein einheitliches Muster Doch dann baten die Forscher die KI um Unterstützung bei ihren Bemühungen, der KI zu helfen. Dort wurden die Ergebnisse noch interessanter

Werbung

Die Studie verwendete einen automatisierten Prozess, um zahlreiche Variationen von Eingabeaufforderungen auszuprobieren und die Sprache basierend darauf zu optimieren, wie stark die Genauigkeit der Chatbots verbessert wurde Es überrascht nicht, dass dieser automatisierte Prozess effektiver war als die handschriftlichen Versuche der Forscher, Fragen mit positivem Denken zu formulieren. Aber am meisten Wirksame Eingabeaufforderungen zeigten „einen Grad an Besonderheit, der weit über den Erwartungen liegt.“

Bei einem der Modelle wird die KI gebeten,ihreAntwort mit den Sätzen “Captain’s Log, Sternzeit [Datum hier einfügen] zu beginnen:" lieferte die genauesten Antworten.

Werbung

„Überraschenderweise scheint es, dass die Fähigkeiten des Modells im mathematischen Denken durch den Ausdruck einer Affinität zu verbessert werden können Star Trek„, schrieben die Forscher.

Die Autoren schrieben, sie hätten keine Ahnung, was Star Trek Referenzen verbesserten die Leistung der KI. Der Tatsache, dass positives Denken oder eine Bedrohung zu besseren Antworten führt, liegt eine gewisse Logik zugrunde. Diese Chatbots sind es trainiert auf Milliarden von Textzeilen, die aus der realen Welt stammen. Es ist möglich, dass in der freien Natur Menschen leben, die das geschrieben haben Die zum Aufbau von KI verwendete Sprache gab präzisere Antworten auf Fragen, wenn sie mit Gewalt unter Druck gesetzt oder ihnen Ermutigung angeboten wurde. Das Gleiche gilt für Bestechungsgelder ;Es ist wahrscheinlicher, dass Menschen Anweisungen befolgen, wenn Geld auf dem Spiel steht. Es könnte sein, dass große Sprachmodelle das aufgegriffen haben Eine Art Phänomen, also verhalten sie sich gleich.

Werbung

Aber es ist schwer vorstellbar, dass in den Datensätzen, die die Chatbots trainierten, die genauesten Antworten mit dem Satz „Captain’s Log“ begannen. „Die Forscher hatten noch nicht einmal eine Theorie darüber, warum das zu besseren Ergebnissen führte. Das spricht für eine der seltsamsten Fakten über KI Sprachmodelle: Sogar die Leute, die sie bauen und studieren, verstehen nicht wirklich, wie sie funktionieren.

Eine Version dieses Artikels erschien ursprünglich auf Gizmodo.

Dieser Inhalt wurde maschinell aus dem Originalmaterial übersetzt. Aufgrund der Nuancen der automatisierten Übersetzung können geringfügige Unterschiede bestehen. Für die Originalversion klicken Sie hier

Werbung