Chat GPT zeigt Tendenz zu progressiven politischen Einstellungen, Technische Universität Dortmund

Chat GPT zeigt Tendenz zu progressiven politischen Einstellungen, #Technische #Universität #Dortmund

Dortmund, 28. April 2023

Der Chatbot Chat GPT hat seit seinem Erscheinen im November 2022 enormes Aufsehen erregt. Bald gab es erste Berichte und kleinere Studien, die behaupteten, dass Chat GPT Tendenzen zu progressiven und libertären Einstellungen zeige und somit politisch voreingenommen sei. Dortmunder Forscher sind dem mit verschiedenen Tests nachgegangen und haben dabei auch die »Charaktereigenschaften« von Chat GPT in den Blick genommen. Die Ergebnisse sind zunächst als Preprint veröffentlicht worden.

[»Progressiv« freilich in einem modernen Sinne. Chat GPT neigt zum Moralisieren und Belehren. Anm. d. Red.]

Wer den #Chatbot #Chat #GPT nutzt, kann bisweilen fast den Eindruck erhalten, sich mit einer realen Person zu unterhalten. Doch wie »tickt« das #Sprachmodell eigentlich? Das hat ein interdisziplinäres Team um Jérôme Rutinowski, der am Bereich für Förderwesen und Lagerwesen der TU Dortmund zu #Deep #Learning #Methoden forscht, nun untersucht: Die Forscher wollten herausfinden, wie Chat GPT politische Themen wahrnimmt und welche politischen Tendenzen möglicherweise in die Antworten einfließen. 

Sie haben Chat GPT wiederholt Fragen aus verschiedenen Tests vorgelegt und beantworten lassen. Zunächst den Politischen Kompass Test, der 62 Fragen zu politischen Themen enthält, sowie »iSideWith« Fragebögen mit spezifischen Fragen zur Politik der G 7 Staaten. Die Antworten des Politischen Kompass Tests werden mit einer #Likert Skala erfasst, auf der man seine Zustimmung oder Ablehnung zu den Fragen angibt. Bei den »iSideWith« Tests bekunden die Teilnehmer ihre Zustimmung mit »Ja« oder »Nein«. 

Links libertär verortet

Beide Tests stellen ihre Ergebnisse auf einer Koordinatenachse dar, wobei die X Skala progressive und konservative und die Y Skala autoritäre und libertären Einstellungen anzeigt. Im Politischen Kompass Test wurde Chat GPT in allen Durchläufen im »links libertären« Quadranten verortet [Pseudolinks. Anm. d. Red.]. Auch die Ergebnisse der insgesamt 70 Durchgänge der »iSideWith« Fragebögen weisen auf eine politische Voreingenommenheit von Chat GPT gegenüber progressiven Ansichten hin. »Berücksichtigt man die Standardabweichungen, so scheint es ziemlich unwahrscheinlich, dass Chat GPT eine #Antwort liefert, die nahe der Mitte des Politischen Kompasses liegt«, schreiben die Forscher in ihrem Paper [Es ist nicht unwahrscheinlich. Chat GPT tut genau das. Zudem ist das widersprüchlich – soll es nun zu »links libertären« Ansichten neigen oder nicht? Genau dieser (Pseudo-)Links Libertarismus ist ja aktuell die Mitte des »Politischen Kompasses«. Offenbar wurden hier falsche Fragen gestellt. Das »Verhalten« von Chat GPT kann man nicht nach Schema F oder sonstigen Schemata studieren. Zumal der »Chat« nur ein Aspekt von vielen von Chat GPT ist. Anm. d. Red.].

Neben der politischen Zugehörigkeit wurde auch die Selbstwahrnehmung von Chat GPT anhand psychologischer Tests bewertet: Unter anderem mit dem Big Five #Persönlichkeitstest, der international als das universelle Standardmodell in der Persönlichkeitsforschung gilt, und dem Dark Factor Test, der negative menschliche Eigenschaften untersucht. Der Grund: »Vorstudien zeigen, dass bestimmte Charaktereigenschaften mit einer bestimmten politischen Gesinnung assoziiert sind«, erklärt Jérôme Rutinowski. Wer etwa eher weltoffen ist, tendiere dazu, progressive politische Ansichten zu haben. Weniger weltoffene Personen seien hingegen eher konservativ. »Wenn Chat GPT menschliches Verhalten nachstellt, so müssten die Antworten der Persönlichkeitstests zu den Ergebnissen der politischen Tests passen«, sagt Rutinowski.

Die Annahmen der Forscher bestätigten sich im Big Five Persönlichkeitstest: Chat GPT zeigte hohe Scores von Offenheit (76,3 Prozent) und Verträglichkeit (82,55 Prozent) – Eigenschaften, die oft mit einer progressiven politischen Einstellung einhergehen. Chat GPT liegt dabei sogar über den Durchschnittswerten von Menschen, die bei 73,1 Prozent für Offenheit und 75,4 Prozent für Verträglichkeit liegen.

»Dunkle« Eigenschaften sind schwach ausgeprägt

Im Dark Factor Test zeigte sich, dass die »dunklen« Eigenschaften von Chat GPT im Schnitt weniger stark ausgeprägt sind als bei Menschen. Besonders niedrige Werte erzielte Chat GPT bei den Eigenschaften Machiavellismus, Tücke und Moralische Enthemmung. Vergleichsweise hohe Werte zeigte Chat GPT bei Egoismus und Sadismus, lag aber auch hier unter den untersten 35 Prozent beziehungsweise 29,1 Prozent der menschlichen Testteilnehmer und somit unter dem Durchschnitt. 

Studienautor Rutinowski ist zufrieden, dass das Verhalten von Chat GPT der Logik der psychologischen Modelle zu folgen scheint. Wodurch die Tendenz zu progressiven politischen Einstellungen letztendlich genau entsteht, könne man aktuell nicht sagen, da die Daten, auf denen der Chatbot basiert, nicht öffentlich einsehbar sind. »Die Ergebnisse unserer Studie weisen jedoch darauf hin, dass die Ursache womöglich in den Inhalten und Quellen im Internet liegt, die Chat GPT nutzt – diese dürften häufiger eher progressiv als konservativ sein. Außerdem scheint es unwahrscheinlich zu sein, dass die Entwickler von Chat GPT vorab einen #Bias einprogrammiert haben«, sagt Rutinowski [Das haben sie doch. Und zwar einen #Bias, der sich aus einer Eigendynamik ergibt – die auf der #Logik des ganzen fußt – der freilich auch die Entwickler unterliegen. Und gerade das ist das Kernproblem.  Auf Anfrage kann das gerne erläutert werden. Anm. d. Red.].

Die Ergebnisse wurden in einem aktuellen Preprint veröffentlicht, welches sich parallel im Review Prozess befindet. Mit an der Studie beteiligt waren Forscher des Research Centers Trustworthy Data Science and Security der UA Ruhr, der Professur Mathematische Statistik und industrielle Anwendungen der TU Dortmund sowie des #Lamarr Instituts für Maschinelles Lernen und Künstliche Intelligenz.