Zum Hauptinhalt springen

Donald Trump und Kosinskis Bombe (Teil 2)

 

Im ersten Teil des Blogbeitrags haben wir bereits einiges zu Kosinskis Methode erfahren. Zum Beispiel, wie Kosinski die Daten (also die Facebook-Likes) beschafft und wie er sie analysiert hat. Hier spielen die OCEAN-Persönlichkeitsmerkmale eine wichtige Rolle, wobei zwischen „Traits“ und vorübergehenden „States“ differenziert werden muss. Cambridge Analytica hat sich Kosinskis Methode zunutze gemacht und unter anderem im US-amerikanischen Präsidentschaftswahlkampf zu Gunsten Donald Trumps angewandt. Nun stellt sich die Frage, was man noch alles mit einem Cambridge-Analytica-Fragebogen herausfinden kann und wie präzise die so gewonnenen Ergebnisse die Persönlichkeit eines Menschen tatsächlich abbilden können.

Persönlichkeitszüge, politische Orientierung und sexuelle Zufriedenheit

Wenn man den Cambridge-Analytica-Fragebogen ausfüllt, fallen ein paar Fragen auf, die in einen OCEAN-Fragebogen nicht hineingehören. Das liegt daran, dass die beschriebene Methode eben nicht nur mit einem OCEAN-Fragebogen funktioniert. Vielmehr kann man so ziemlich alles abfragen und anhand von Facebook-Likes vorherzusagen versuchen, wofür es einen halbwegs sinnvollen Fragebogen gibt. Zum Beispiel die politische Orientierung. Oder die Zufriedenheit mit dem eigenen Leben. Oder den „Finanz-IQ“. Oder den Musikgeschmack. Oder die sexuelle Zufriedenheit. Der Fantasie sind kaum Grenzen gesetzt. Werʼs gern mal selbst ausprobieren will, findet auf dieser Seite der Universität Cambridge eine reichhaltige Auswahl. Das Muster ist dabei immer dasselbe: Wenn jemand einen XY-Test macht und einwilligt, mir seine Facebook-Likes zugänglich zu machen, kann ich versuchen, die Eigenschaft XY aus dem Test anhand der Likes vorherzusagen. Nicht immer sind die damit gewonnenen Erkenntnisse sonderlich tiefsinnig (Likes für Obama sprechen zum Beispiel dafür, dass man mit den Demokraten sympathisiert. Wer hätte das gedacht?). In ihrer Summe kann man diese Erkenntnisse aber durchaus unheimlich finden: eine lange Liste von interpretierten Likes, die alle zusammen den Menschen, zu dem sie gehören, schon recht genau beschreiben können.

Wie genau ist das eigentlich alles?

Aber wie genau ist das eigentlich alles? Genau genug, um sich wirklich zu gruseln? Kosinskis oben erwähnter Artikel zeigt ein paar Beispiele. Unter anderem geht es dort um die oben erwähnten OCEAN-Merkmale. Kosinski vergleicht die Sicherheit, mit der er die Testergebnisse aus den Likes vorhersagen kann (quantifiziert als Korrelation zwischen den Testergebnissen und den Ergebnissen aus der Like-Analyse), mit der Test-Retest-Reliabilität des benutzten Fragebogens. Für vier der fünf etablierten Persönlichkeitsdimensionen erreicht er knapp die Hälfte der Test-Retest-Reliabilität des benutzten Fragebogens, für die Persönlichkeitsdimension „Offenheit“ kommt er sogar auf beachtliche 78 % der Test-Retest-Reliabilität. Das klingt beeindruckend.

Allerdings kann man einen wichtigen Punkt in Kosinskis Studie leicht überlesen. Der Fragebogen, den er für die Ermittlung der Persönlichkeitsmerkmale verwendet, ist eine sehr kleine Variante mit lediglich 20 Fragen – deutlich weniger als die 100 und mehr Fragen, die ein „voller“ Test beinhaltet. Dementsprechend geringer ist die Test-Retest-Reliabilität des Fragebogens, die er als Vergleichsmaßstab für seine eigenen Ergebnisse benutzt. Die Abbildung zeigt einen Vergleich zwischen den von Kosinski erreichten Ergebnissen, der Test-Retest-Reliabilität des von ihm verwendeten Tests und der Test-Retest-Reliabilität eines langen OCEAN-Fragebogens (diese kann man hier nachlesen; der Erstautor Robert R. McCrae ist einer der wissenschaftlichen Väter des OCEAN-Modells). Die Abbildung zeigt, differenziert nach den fünf Dimensionen des OCEAN-Modells, die Test-Retest-Reliabilität (Pearson Correlation Coefficient) der drei Instrumente, die hier eine Rolle spielen:

  1. Kosinskis Methode über die Facebook-Likes (dunkle Balken)
  2. der von Kosinski verwendete Kurzfragebogen (mittlere Balken)
  3. ein langer OCEAN-Fragebogen, wie in der oben verlinkten Publikation von McCrae et al. beschrieben (helle Balken)

Man tut Kosinski sicherlich kein Unrecht, wenn man zu dem Schluss kommt, dass er mit der Wahl des Fragebogens die Latte so tief wie möglich gelegt hat, was den Vergleichsmaßstab für seine Methode angeht. Wenn man die dunklen Balken in der Abbildung nicht, wie in Kosinskis Artikel geschehen, mit den mittleren vergleicht, sondern mit den hellen, wird deutlich, dass sie von der Genauigkeit eines langen OCEAN-Fragebogens weit entfernt sind.

Kosinskis Ergebnisse erlauben also eine wesentlich weniger präzise Einschätzung von Persönlichkeitsmerkmalen, als es auf den ersten Blick den Anschein hat. Allerdings sind sie auch nicht auf maximale Genauigkeit bei der Vorhersage optimiert, sondern eher eine Art wissenschaftlicher Proof of Concept.

Fazit: staunen jetzt, gruseln später

Kosinskis Methoden haben also nicht den US-Wahlkampf entschieden. Aber sie haben das Potential, in zukünftigen Wahlkämpfen eine wichtige Rolle zu spielen. Wirklich perfide werden diese Methoden, wenn man sie mit Fake News kombiniert, so wie das im US-Präsidentschaftswahlkampf passiert sein soll. Allerdings ist mein Gefühl dabei, dass das Perfide daran vor allem die Fake News sind – auch schon für sich genommen, ohne psychologisches Targeting.

Michal Kosinski hat übrigens nicht nur gezeigt, dass es die Bombe gibt, wie er bescheiden behauptet hat. Er hat auch eine recht komplette Bauanleitung ins Netz gestellt. Wer zuhause sein eigenes Bömbchen bauen möchte, findet die Anleitung hier.

 

OCEAN-modell-test-retest-reliabilitaet

Dr. Michael Allgöwer
Dein Ansprechpartner
Dr. Michael Allgöwer
Management Consultant
Machine Learning ist Michaels langjährige Spielwiese. Michael ist überzeugt, dass gutes Machine Learning eine Menge Branchenverständnis voraussetzt, und er liebt es, sich dieses Verständnis immer wieder zu erarbeiten. Sein neuestes Lieblingsthema ist Reinforcement Learning.
#MachineLearning #ReinforcementLearning #HumanIntelligence