#12months12papers #3 – Beliefs and Biases in Web Search

Beliefs and Biases in Web Searches?

White, Ryan W.

Suchmaschine auf, Frage eingegeben, Das erste Ergebnis angeklickt. Fertig.

Alle Beteiligten sind zufrieden. Das Ergebnis ist wie gewünscht. Aber ist es auch das richtige? Oder ist das Ergebnis der Suchmaschine etwa durch Vorurteile verfälscht? Mit dieser (und anderen Fragen) beschäftigt sich der Autor im dritten Paper von #12months12papers.

Im Detail geht es um Folgendes:

  1. Sind Suchende „Opfer“ von Suchmaschinen mit Vorurteilen?
  2. Werden sie selbst von Ihren eigenen Vorurteilen in Ihrem Urteil getrübt?
  3. Bevorzugen wir positive Antworten von Suchmaschinen?
  4. Behandeln Suchmaschinen negative Antworten anders als positive?

>>> tl;dr; Ja.

Die durchgeführte Nutzerstudie begann mit einem ausgefüllten E-Mail Fragebogen von 198 Microsoft MitarbeiterInnen über deren Suchverhalten. Mit diesen Daten wurde die Frage geklärt, wie sich die Meinung zu einer Frage bzw. zu einem Thema im Rahmen einer Websuche verändert. Das heißt, was haben die Leute vorher geglaubt, und was nachher. Das Ganze bezog sich übrigens explizit auf Ja/Nein-Fragen.

Hier zeigt sich schon, dass die Menschen dazu neigen, die Suche nur zur Bestätigung einer gefestigten Meinung zu nutzen. Es ist auffällig, dass die meisten grundsätzlich häufiger vermuten, dass ja die richtige Antwort auf ihre Frage ist. Egal was sie glaubten, die Mehrzahl der Beteiligten wurde dann durch die Suche in ihrer initialer Meinung bestärkt oder blieb unschlüssig. Sehr wenige änderten Ihre Meinung und wenn, dann ist es zweimal wahrscheinlicher, dass sie sie hin zu ja ändern. Und alle Folgesuchen basierten dann darauf, weitere Bestätigung für die verstärkte Meinung zu finden (was ja wiederum häufiger ja ist). Platt gesagt: Wir suchen also gar nicht die Antwort, sonder nur Bestätigung. Und zwar wollen wir die Antwort ja bestätigt sehen.

Aber was, wenn das Suchergebnis falsch ist? Also die richtige Antwort gar nicht ja ist?

Um das (und anderes zu testen) hat sich der Autor auf Suchdaten bzw. -logs von Bing gestützt. Und zwar explizit auf Ja/Nein-Fragen mit medizinischem Hintergrund.

Nachdem die Ja/Nein-Fragen extrahiert, analysiert und von Medizinern beantwortet wurden (Goldstandard), fand der Autor es schon auffällig, dass das erste Ergebnis in der Liste häufiger positiv als negativ ist und generell Ja-Antworten häufiger angezeigt werden. (Was ja auch super praktisch ist, da der Suchende häufiger Ja-Antworten erwartet. Ein Schelm wer Böses dabei denkt.)

Und hier kommt es: Bei den analysierten Ja-/Nein-Fragen kam drei bis vier mal häufiger eine Ja-Antwort als es der Goldstandard (Fragen wurden ja von MedizinerInnen beantwortet) erwarten lassen würden! Ergebnis: falsche Antwort.

Und wenn sich die Suchenden einfach auf das Ergebnis ganz oben in der angezeigten Liste verlassen, erhalten sie nur zu 45% die richtige Antwort. Auch hier ist wieder eine Tendenz hin zu ja zu erkennen: Wenn die Antwort der MedizinerInnen ja war, steigt der Anteil der richtigen Antworten auf 66%. Bei nein fällt er dramatisch auf ungefähr 25%. Ein gar nicht mal so guter Schnitt.

UND DAS FINDE ICH GANZ SCHÖN KRASS.

Den gerade weil sich die Studie mit medizinischen Fragen beschäftigt und daraus ja doch erhebliche Folgen und eventuell negative Aktionen folgen können, sind die Ergebnisse erschreckend. Suchmaschinen mit solchen Vorurteilen und Suchende die Antworten und Meinungen und nicht hinterfragen? Keine gute Kombination.

—-

Die Ergebnisse sind natürlich einerseits für die Suchmaschinen wichtig, die tatsächlich die richtigen Ergebnisse liefern wollen und nicht nur einen hohe Klickrate möchten, andererseits aber auch für uns Suchende da wir darauf achten können, wie wir Suchfragen stellen und die vorgeschlagenen Ergebnisse bewerten.
Übrigens: Ja/Nein-Fragen die mit can beginnen oder allgemein schon auf Möglichkeiten abzielten, waren durchweg weniger genau zu klassifizieren. Und Fragen, bei dem die erwartete Antwort nein ist, könnten die oben genannten Probleme etwas kompensieren. Oder einfach mal etwas nachdenken. Geht auch.

Allgemein war der Artikel super. Der rote Faden war klar erkennbar, die Daten durchweg schlüssig, kleinere Mängel wurden direkt diskutiert oder zumindest angesprochen. Mehr davon.

Bis Ende April, Viel Spaß!

Advertisements

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s