«Umfragewissen
- Reflexionshilfen und Checklisten»
Oft werden wir von Kunden gefragt, wie eine Umfrage grundsätzlich
aufgebaut werden soll. Dieses Thema kann nicht auf "Tipps und
Tricks"-Niveau beantwortet werden, da sich sehr viele Überlegungen
und Aspekte dazu eignen, in eine Reflexion zum Fragebogenaufbau
einzusteigen. Je nach Projektanforderungen, Zielgruppen, Forschungsdesign
und -fragen eignen sich methodisch unterschiedliche Ansätze.
Trotzdem versuchen wir, Ihnen hier einige allgemeingültige Überlegungen
darzustellen.
1. |
Befragungszyklus (Ziele, Methode)
|
|
1. |
|
Legen Sie die Ziele der Befragung fest |
2. |
|
Legen Sie die Form der Befragung fest.
Welche und wieviele Themen (Vollbefragung versus fokussierte
Befragung)
Wieviele befragte Personen (Vollbefragung versus Stichprobenbefragung)
Methodik (Onlinebefragung versus Paper-Pencil-Befragung versus CATI/Telefoninterviews
usw.)
|
3. |
|
Fragebogenkonstruktion und Befragungssetting
Fragebogeninhalte erstellen
Fragen formulieren(offene Fragen,
geschlossene Fragen, halboffene Fragen, Sprünge, Filter)
Skalierungen bestimmen, Auswertbarkeit berücksichtigen und Antworttendenzen
("Soziale Erwünschtheit") bedenken
Vorwort/Instruktionen/Dankeseite & Einladungsemail (ggf. auch Rahmenemail
eine Woche zuvor) verfassen
Pretest des Fragebogens inkl. Feedbacks zum Pretest (Auswertungspretest beachten)
Befragungszeitraum (Zeitfenster für Feldphase) und -intervall festlegen |
4. |
|
Kommunikation zur Zielgruppe und zu
Steakholdern
Wer soll was, wann und in welcher Form erfahren? |
5. |
|
Durchführung der Befragung (Feldphase,
Launch)
interne Durchführung versus externe Durchführung,
geschützte versus offene Durchführung, Anonymität, Anlaufstelle
für inhaltliche Rückfragen, Support-Kontakt |
6. |
|
Auswertung der Befragung
Informationen zur Soziodemografie (Alter, Geschlecht,
Ausbildung, Erwerb, Branchen, ggf. Segmente wie Abteilung,
Kundengruppen, Region, etc.)
Teilnahmerate, Break-Off-Raten, mittlere Teilnahmedauer
Auswertung für Gesamtgruppe (Standardauswertungen, deskriptive Statistik)
Auswertung für spezielle Untergruppen/Subsamples (Bereiche & Abteilungen,
Führungskräfte
versus Mitarbeiter, etc.)
Vergleich zu vorherigen Befragungen (Vorjahr, aktuelles Jahr)
Analyse von Textantworten (sog. Verbatims, qualitative Textananalyse: erlesen,
kategorisieren, codieren, quantisieren, key phrases)
Ausarbeiten von Handlungsfeldern
|
7. |
|
Publikation von Ergebnissen
Schriftlich, mündlich, elektronisch. In welcher
Form an welche Zielgruppen?
Management-Summary, Detailreports, Rückmeldung und
Lieferung eines Quick-Reports an die Teilnehmer (zeigt
Transparenz und steigert Teilnahmebereitschaft für
die Zukunft)
|
8. |
|
Massnahmen planen
Wer? Was passiert mit
der Planung? Wie wird diese umgesetzt? |
9. |
|
n Massnahmen umsetzen und Ziele operationalisieren (=konkret messbar und benennbar formulieren)
|
10. |
|
Ergebnis kontrollieren, ggf. Benchmarking
durchführen (inkl. nächste Befragung planen) |
|
2. |
Frageformulierung und Fragebogenaufbau
|
|
Frageanzahl
Es sollten grundsätzlich nicht zu viele Frage gestellt
werden. Das richtige Mass hängt von der motivationalen
Situation der Teilnehmenden ab, bei Kundenbefragungen
sind dies eher wenige knappe Fragen (max. 10 Minuten),
bei Mitarbeiterbefragungen (mit höherem Commitment)
dürfen tendenziell auch mehr Fragen gestellt werden.
In der Marktforschung, bei z.B. incentivierten Panel-Teilnehmern,
ist die Länge des Fragebogens preisrelevant, da
die Teilnehmenden dann höhere Incentives erhalten
(in der Regel rechnet man bei kurzen allgemeinen Marktforschungsinterviews
mit einer Fragebogenlänge von 10-15 Minuten). Eher
hochincentivierte Befragungen wie zum Beispiel in der
Pharmabranche können auch bis zu einer Stunde dauern.
Wichtig ist, im Vorwort oder der Einladungsmail der Befragung
kurz und ehrlich zu informieren, wie lange die Befragung
approximativ dauern kann (z.B. Schenken Sie uns 10 Minuten
Ihrer wertvollen Zeit... usw.).
Grundregeln
Die Formulierung der Fragen einer webbasierten Befragung
ist ein wichtiger Arbeitsschritt, dem ein genügend
grosses Zeitbudget beigemessen werden sollte. Wir haben
versucht, einige der von zahlreichen Autoren favorisierten
Punkte zusammen zu stellen (Diekmann, 1999; Edwards [in
Mummendey], 2008; Porst, 2008; Schumann, 1999).
Frageformulierung
- kurze, verständliche und präzise Formulierung
(einfache Worte, nicht bürokratisch)
- Zielgruppenadäquate Sprache (auf breite
der Zielgruppe achten), keine platten Anbiederungen
(einfaches Hochdeutsch, keine Dialekt oder Subsprache).
Fachbegriffe möglichst nur, wenn Zielgruppe homogen.
- Antwortkategorien sollen trennscharf, erschöpfend und präzise sein
(Negativ-Besipiel: „Was macht Ihr
Kind am liebsten... a) Computer spielen b) drinnen
mit Freunden spielen c) mit Kollegen zusammensein und
ausgehen“)
- Vorsicht bei deutlich wertbesetzten Begriffen (Begriffe
mit stark positiven oder negativen Beigeschmack wie „Gerechtigkeit“, „Freiheit“, „Integration“ können
schon alleine deshalb die Antwortreaktionen lenken)
- Fragen eindimensional, keine doppelten Stimuli
oder doppelten Verneinungen (Negativ-Beispiel: „Benoten
Sie folgende Aspekte...“. Es ist fraglich, nach
welchen Kriterien man was benoten soll. Negativ-Beispiel: „Gehen
Sie gerne an schönen Tagen angeln?“ Was
bedeuten hier 28% Nein? Angel- oder Schlechtwetter-Nein? „Ist
es wichtig und gut, dass wir…“ Unklare
Frage.)
- keine Suggestivfragen (hierbei würde
die Antwort in eine bestimmte Richtung gelenkt)
- Kontext der Frage (z.B. Vorfrage, Übertitel,
etc.) soll sich nicht auf deren Beantwortung auswirken.
- in sehr langen Fragebatterien Items in unterschiedliche Richtungen polen
(Vermeidung von Antworttendenzen)
- Komplexität tief halten: keine Überforderung
des Befragten (Negativ-Beispiel: Wie hoch ist Anteil
der Miete am Einkommen? Rechenfehler vermeiden, besser
zwei Fragen: 1. Wie hoch ist Miete? Danach weitere
Frage: 2. Wie hoch ist Einkommen?)
Fragebogenkonstruktion
Folgende Punkte sind zu beachten, wenn der Fragebogen
als Ganzes konzipiert wird und die einzelnen Fragen in
Reihenfolge und Struktur zusammengefügt werden.
- Vorwort: kurze Einleitung zum Thema, Ziel der Befragung,
ggf. Massnahmen die der Befragung folgen, Ergebnispräsentation,
Incentivierung
- Beginn: Eröffnungsfragen, allgemein und zum
Thema hinführend
- Spannungskurve beachten: wichtigste Fragen im zweiten
Drittel (ausser bei WebSite-Popup-Befragungen, dort
wichtigste Fragen eher an den Anfang, da dort Abbruchquote
tendenziell hoch)
- Filterfragen helfen überflüssige Fragen
zu vermeiden (jedoch Filter klar führen)
- Mehrthemen-Umfragen: Themen in Blöcken unterteilen
- Sozialdemographie eher am Ende, bei zu erwartender
hoher Abbruchquote (Break-Off) ggf. wichtige soziodemografische
Fragen, nach denen in den Auswertungen vielleicht sogar
gruppiert und kreuztabelliert werden soll, vor den
Break-Off-Point oder sogar an den Anfang.
- keine sehr langen Fragebögen (Pretest durchführen,
Testdauer sollte für den Arbeitsalltag der Zielgruppe
zumutbar sein)
- Zum Schluss für den Pretest ggf. spezielle „Pretest“-Frage
(„Anmerkungen zur Befragung“, Feedback
einholen).
- Pretest wichtig bei neuen Fragebogen (Länge,
Verständlichkeit, Umstellen, Frageformulierungen
durch Fragesplits, Interviewerschulung)
Rolf Porst (ZUMA - Zentrum für Umfragen, Methoden
und Analysen, Mannheim) empfiehlt in seinem Artikel "Question
Wording - Zur Formulierung von Fragebogen-Fragen" weitere
Punkte zur Beachtung, die ausführlich auch unter https://www.ssoar.info/ssoar/handle/document/20133 (unter
How-to 2) als Download zu finden sind. Ebenso stellt
Axel Pratzner (2008) vom Institut für webbasierte
Kommunikation und E-Learning in Tübingen umfangreiche
Informationen zur Fragebogen- und Fragegestaltung online
zur Verfügung (siehe Literaturverzeichnis).
Tipps zu Antwortvorgaben
Zu den Antwortvorgaben sind nach Höpflinger (2008)
die folgenden Punkte zu beachten.
Antwortvarianz hoch anlegen
Wird bei einer Testbefragung festgestellt, dass bei
Verwendung des Antwortschemas "stimme stark"... "lehne
stark ab" viele Befragte in die linke oder rechte äussere
Kategorie fallen, dann sollte man versuchen, noch eine
weitere äussere Kategorie zu verwenden (wie "stimme
extrem zu" bzw. "lehne extrem ab". Generell
ist bei sozialwissenschaftlichen Studien darauf zu achten,
dass die Antwortvarianz (bei Einstellungen oder Skalen)
hoch ist. Fragen, bei denen fast alle Antworten in eine
Antwortkategorie fallen, sind nicht weiter auswertbar.
Wichtig ist aber, Antwortskalen nicht a priori zu gross
zu gestalten, da dadurch eine zufällige Abweichung
zwischen Test und Retest entstehen kann, wenn die Stufen
feiner und zahlreicher sind als der Gegenstand der Frage
differenzierbar ist. Die Stufen der Antwortskalen sollten
inhaltlich „denkbar“ sein, d.h. dem effektiven
Differenzierungspotenzial des Fragegegenstands entsprechen.
Fragen in der Regel geschlossen anlegen
Bei nicht ohnehin quantitativen Antworten („Wieviele
Meter?“ „Wie lautet Ihr Geburtsdatum?“ „Wieviele
Autos haben Sie bisher gekauft?“) sollte man quantitative
Fragen "geschlossen" (= mit vorgegebenen Antwortkategorien)
formulieren. Vor allem bei schriftlichen Fragebogen sollte
aus Vergleichsgründen primär mit vorgegebenen
Antwortkategorien gearbeitet werden. Damit wird die Perspektive,
in der eine Antwort erwartet wird, klar gemacht.
Interne Antwortvorgaben vollständig
Eine interne Antwortvorgabe ist nur zulässig, wenn
sie aus zwei oder drei leicht merkbaren Alternativen
besteht. Sind mehr Alternativen vorhanden, oder bestehen
die Alternativen aus relativ komplexen Formulierungen,
dann müssen sie extern vorgegeben werden. Beispiel:
Interne Vorgabe: "Sind Sie dafür oder dagegen,
dass die Schweiz der Europäischen Union beitritt?
Externe Vorgabe: "Wie ist Ihre Haltung zu einem
Beitritt der Schweiz zur Europäischen Union?" a)
bin stark dafür, b)bin eher dafür, c) bin weder
dafür noch dagegen, d) bin eher dagegen, e) bin
stark dagegen.
Bei Telefon-Interviews sind primär interne Antwortvorgaben
zu verwenden. Bei webbasierten Befragungen sind
die internen Antwortvorgaben als externe wortwörtlich
zu wiederholen, damit der Teilnehmer zur Antwort auswählen
und anklicken kann.
Es ist unzulässig, eine (oder mehrere) Antwortalternativen
nur implizit intern vorzugeben. Die explizit genannten
Alternativen werden favorisiert und die nicht genannten
Alternativen werden vernachlässigt.
Beispiel: Falsch ist "Glauben Sie, dass Sie durch
Ihr Studium auf Ihren Beruf gut vorbereitet sind? Richtig
ist: "Glauben Sie, dass Sie durch Ihr Studium auf
ihren späteren Beruf gut, weniger gut, oder schlecht
vorbereitet sind?"
Fragen zeitlich begrenzen
Ein elementarer Fehler liegt vor, wenn Fragen nach Häufigkeit,
Dauer oder Grösse und ähnlichem gestellt werden,
ohne dass die Einheiten angegeben werden, in denen die
Antworten erfolgen soll.
Beispiel: "Wie häufig bzw. selten gehen Sie
ins Kino?" Ohne Zeitraum ist diese Frage sinnlos.
Bedingt richtig: "In den letzten zwei Wochen, wie
oft gingen Sie ins Kino?" (=inhaltlich unausgewogen).
Am besten: "In den letzten zwei Wochen, wie viele
Mal gingen Sie ins Kino? (nie, einmal, zweimal, ...).
Falsch: Seit wann studieren Sie? Besser: In welchem Jahr
begannen Sie mit Ihrem Studium? (plus Zusatzfrage: Haben
Sie Ihr Studium unterbrochen oder nicht? Wenn ja, nachfragen:
Wann und wie lange?).
Anzahl der Antwortkategorien
Die Zahl der vorgegebenen Antwortalternativen muss für
den Befragten gut überschaubar sein. Werden die
Antwortmöglichkeiten vom Interviewer vorgelesen,
muss sich der Befragte, wenn er die letzte Antwortmöglichkeit
hört, noch an die erste Möglichkeit erinnern.
Sonst wird die zuletzt gehörte Antwortvorgabe bevorzugt.
Bei grösserer Zahl von Antwortvorgaben oder komplexen
Antwortvorgaben empfehlen sich schriftliche Listen oder
Karten. Bei sehr umfangreichen Antwortmengen Fragen in
mehrere Fragen aufzulösen.
Rangreihen-Effekte
Je länger und je komplizierter die Antwortvorgaben,
desto stärker ist der Einfluss ihrer Reihenfolge.
Dies gilt z.B. auch bei Listen von Antwortvorgaben (vgl.
Petersen 2002).
Rangreihen-Effekte können durch Verwendung von Kartenspielen
oder durch das "Drehen" von Listen vermieden
werden. Bei computerunterstützten Befragungen kann
die Reihenfolge etwa von Items durch Zufallsparameter
variiert werden (Random Rotation Verfahren). Dieses wird
auch von onlineumfragen.com unterstützt, es ist
aber nicht empirisch erwiesen, ob eine zufällige
Anordnung der Antworten die Rangreihen-Effekte aufhebt
oder, dies die Kritik, einfach unsystematisch statt systematisch
macht, also nicht eliminiert sondern unnachvollziehbar
verwäscht.
„Sonstige“/“Anderes“ integrieren
Die vorgegebenen Antwortmöglichkeiten müssen
erschöpfend sein (d.h. sie müssten alle relevanten
Möglichkeiten enthalten). Ist eine erschöpfende
Aufzählung der Antwortalternativen nicht möglich,
sollte eine Kategorie "sonstige", "anderes" vorgesehen
werden. Dies gilt vor allem bei Faktfragen.
Skalen, Stufen der Skalen
Werden mehrere Antwortmöglichkeiten angeboten,
dann sollte die Zahl der Antwortmöglichkeiten "rechts" und "links" von
der Mittelposition gleich sein, weil von einer Überzahl
von Kategorien auf einer Seite suggestive Wirkungen ausgehen.
Der Befragte bevorzugt die Seite, die mit mehr Antwortmöglichkeiten
vertreten ist.
Beispiel: Falsch ist: sehr gut, gut, weder noch, schlecht.
Richtig: sehr gut, gut, weder noch, schlecht, sehr schlecht.
Meist finden Skalen mit 5,6,7 oder 10 Stufen Anwendung.
Skalen mit gerader Stufenzahl ermöglichen die Angabe
einer Mittelkategorie. Ungerade Skalen vermeiden die
sogenannte Tendenz zur Mitte. Ungerade Skalen mit Mittelkategorie
sind vor allem dann gut vertretbar, wenn eines solche
auch inhaltlich gesehen existiert, z.b. in der Polarität
zwischen „sehr schlecht“ und „sehr
gut“ existiert durchaus die Mittelkategorie „neutral“,
die dann über eine ungerade Skala mit beispielsweise
sieben Punkten erschlossen werden kann.
Tendenz zur „Ja“-Antwort
Zu beachten ist, dass positive Antwortalternativen häufig
negativen Antwortalternativen vorgezogen wird (Tendenz
zu "Ja-Antworten"). Speziell bei Fragebatterien
müssen deshalb negative und positive Aussagen "gemischt" werden.
„Weiss nicht“ integrieren
Auch keine Antwort ist eine Antwort, und Meinungslosigkeit
ist eine sozial wichtige Dimension. Zu den Antwortvorgaben
gehört oft auch die Vorgabe "keine Meinung",
bzw. "unsicher", "ist mir egal",
oder "weder noch". Onlineumfragen.com bietet
standardmässig bei allen Fragetypen die Option „weiss
nicht/keine Angabe“ an, die Teilnehmer von der
Abgabe sogenannter „Trash-Antworten“ abhält
und die Datenqualität erhöht.
Literaturnachweis
Diekmann, Andreas (1999): empirische Sozialforschung.
Hamburg: rororo. Seite 412ff.
Edwards, Allen L. (2008): ohne Titel. In: Mummendey,
Hans Dieter: Die Fragebogen-Methode. 2., korrigierte
Auflage. Göttingen u.a.: Hogrefe Verlag für
Psychologie. S. 67.
Höpflinger, François: Befragung: Wichtige
Regeln der Fragenbogen-Konstruktion. Im Internet unter: http://www.hoepflinger.com/fhtop/fhmethod1B.html [Stand
14.7.08]
Petersen, Thomas (2002): Das Feldexperiment in der Umfrageforschung.
Frankfurt: Campus.
Porst, Rolf (2008): Question Wording - Zur Formulierung
von Fragebogen-Fragen. Im Internet unter: http://www.social-science-gesis.de/Publikationen/Berichte/ZUMA_How_to/index.htm [Stand
14.07.08]
Pratzner, Axel (2008): Aufbau der Fragen. Im Internet
unter http://www.fragebogen.de/aufbau-der-fragen-bei-umfragen.htm [Stand
18.8.2008]
Schumann, Siegfried, 1999: Repräsentative Umfrage:
praxisorientierte Einführung in empirische Methoden
und statistische Analyseverfahren, 2. Auflage. München,
Wien: Oldenbourg.
|
3. |
Repräsentativität
Zum Thema Repräsentativität...
das weiss keiner so genau ;-) Repräsentativ ist
eine Umfrage im Prinzip dann, wenn die Befragten so ausgewählt
werden, dass sie die gesamte Bevölkerung repräsentieren
oder eben den Teil, dessen Stimmung, Vorlieben oder Meinungen
abgebildet werden soll. Um das zu erreichen, müssen
die zu Befragenden nach Alter, Geschlecht, Wohnort usw.
ausgewogen ausgewählt werden. Fehler können
entstehen, wenn die Meinungsforscher bei der Auswertung
nicht beachten, dass bestimmte Personen oder Gruppen
an der Befragung nicht teilnehmen konnten, z. B. weil
sie telefonisch nicht zu erreichen waren, oder nicht
wollten, weil sie an der Frage kein Interesse hatten.
Viel wichtiger als Repräsentativität sind für
die Qualität einer Umfrage aber andere Kriterien,
wie z. B. die Art der Fragestellung bzw. Ansprache der
Befragten. Hiermit könnten – beabsichtigt
oder unabsichtlich – bestimmte Antworten nahe gelegt
oder ausgeschlossen werden. Bei Ranglisten ist es entscheidend,
wie detailliert nachgefragt und wie stark bei der Auswertung
differenziert wird. Dass eine Umfrage repräsentativ
ist, unabhängig davon, ob der Anspruch auch erfüllt
wird oder nicht, dient häufig nur als Etikett, um
das Ergebnis aufzuwerten.
Eine Umfrage, die offensichtlich repräsentativ ist,
kann immer von "Gegenstudien" in Ihrer (getroffenen
oder angefallen) Stichprobenauswahl kritisiert werden,
plötzlich merkt man z.B. das eine Umfrage nur in
Städten durchgeführt wird, ein Kriterium, welches
nicht klassisch im Rahmen der Kurzversion von soziodemografischen
Daten abgefragt wird, bei politischen Meinungsumfragen
z.B. sehr entscheidend, wenn dann im Nachhinein "auskommt",
dass nur die Landmenschen Herr Kohl behalten wollten
usw. usw. In dem Sinne können streng genommen nie
alle Merkmale in einer Stichprobe natürlich anfallen,
wenn auch bei tendenziell hohen Rücklaufraten meist
recht sauber auf den Kreis der Angemailten geschlossen
werden darf. (Die Grundgesamtheit ist dann je nach Design
nochmals etwas anderes, z.B. alle Deutschen KMU, wovon
dann 500 angefragt und 72 teilgenommen). Vielleicht hat
man die 500 erwischt, die im Verband der Hasenzüchter
sind, weil man von dort die Adressen gratis bekommen
hat usw. (Die lieben alle Hasen und antworten in der
Frage X dann anders als die restlichen Deutschen KMU)
usw. usw. Es gibt keine Patentlösung, wichtig ist,
alle für das Auswahlverfahren der Stichproben relevanten
Aspekte wissenschaftlich korrekt zu erwähnen, dann
ist die Studie transparent und nachvollziehbar, das ist
viel wichtiger und wertvoller als eine repräsentative
Studie, die nicht genügend Transparenz ausweist.
Ein klassisches Beispiel, welches spannend und beeindruckend
ist, ist der "Gallup Case": es ist unter http://www.mesosworld.ch/lerninhalte/Grund_Stichprob/de/html/unit_Fallbeispiel.html zu
finden und wir zitieren es hier:
"Franklin D. Roosevelt beendete 1936 seine erste Amtszeit
als Präsident der
Vereinigten Staaten von Amerika. Sein republikanischer Herausforderer bei den
Wahlen hiess Alfred Landon, Gouverneur aus Kansas. Zwar waren die Aufrüstung
Deutschlands unter den Nationalsozialisten und der Spanischer Bürgerkrieg
Leitthemen in den grossen Tageszeitungen wie etwa der New York Times. Den Wahlkampf
dominierten allerdings wirtschaftspolitische Themen. Die USA kämpften noch
immer mit den Folgen der Grossen Depression: Mehr als neun Millionen Menschen
waren arbeitslos und die realen Einkommen waren zwischen 1929 und 1933 etwa um
einen Drittel gesunken.
Die meisten Beobachter des Wahlkampfes sagten Roosevelt einen einfachen Sieg über
seinen Herausforderer Landon voraus, nicht aber die bekannte Zeitschrift "Literary
Digest". Diese prognostizierte Roosevelt einen Stimmenanteil von lediglich
43% und damit einen klaren Sieg für Landon. Die Zeitschrift basierte ihre
Voraussage auf der grössten Stichprobe an Personen, welche je auf eine kommerzielle
Umfrage geantwortet hatten: 2,4 Millionen! Zudem hatte das "Literary Digest" seit
1916 jeweils den richtigen Gewinner der Präsidentschaftswahlen vorausgesagt.
Wie wir allerdings wissen, hat dennoch Franklin Roosevelt die Wahl gewonnen,
und zwar mit einer überwältigenden Mehrheit von 62% der Stimmen. Alfred
Landon erzielte lediglich einen Stimmenanteil von 38% für seine Person!
Selbst die riesige Stichprobe konnte somit nicht verhindern, dass das "Literary
Digest" den wahrscheinlich grössten Prognosefehler in der Geschichte
der Umfrageforschung publizierte: ganze 19 Prozentpunkte! Nicht zuletzt diese
krasse Fehlprognose dürfte dazu geführt haben, dass die Zeitschrift
wenig später (im darauf folgenden Jahr) eingestellt wurde.
Im Gegensatz zum "Literary Digest" sagte Georg Gallup, dessen eigenes
Umfrageinstitut gerade im Aufbau war, korrekterweise Roosevelt als Sieger voraus,
auch wenn seine eigenen Prognose ebenfalls um 6 Prozentpunkte vom tatsächlichen
Ergebnis abwich. Erstaunlicherweise gelang es Gallup allerdings, das falsche
Ergebnis des "Literary Digest" vor dessen Veröffentlichung mit
einer Abweichung von lediglich einem Prozentpunkt korrekt vorauszusagen!
Stimmenanteil (Roosevelt) Abweichung (in Prozentpunkten)
Tatsächliches Ergebnis 62% 0
Prognose des "Literary Digest" 43% -19
Gallup's Prognose 56% -6
Gallup's Prognose des"Literary Digest" 44% +1
Es stellt sich somit die Frage, weshalb die Umfrage des "Literary Digest" trotz
der riesigen Stichprobe ein so falsches Resultat liefern konnte. Wir wollen uns
zunächst die (kontrafaktische, wie wie unten sehen werden) Situation betrachten,
dass tatsächlich eine korrekte Zufallsstichprobe gezogen wurde. Mit den
vorhandenen Angaben ergibt sich das folgende 99%-Vertrauensintervall für
den Stimmenanteil von Roosevelt:
Setzt man die obigen Angaben in diese Formel ein, erhält man das folgende
99%-Vertrauensintervall für den Stimmenanteil für Roosevelt:
Unter der Annahme, dass das "Literary Digest" seine Stichprobe korrekt
gezogen hätte, wäre die Wahrscheinlichkeit für einen Stimmenanteil
von 62% für Roosevelt mehr als unwahrscheinlich gewesen!
Dies lässt nun die Feststellung zu, dass wohl eine sehr selektive Stichprobe
vorgelegen haben muss:
Das "Literary Digest" versandte insgesamt rund 10 Millionen Fragebögen.
Allerdings wurden die angeschriebenen Personen nicht zufällig ausgewählt,
sondern die meisten dieser Personen wurden aus vorhandenen Listen von Zeitschriftenabonennten,
Automobilbesitzern sowie aus Telefonverzeichnissen gezogen. Zu jener Zeit (1936)
waren nun allerdings wohlhabendere Personen in solchen Listen klar übervertreten.
Die Stichprobe damit klarerweise verzerrt, indem reichere Personen mit einer
grösseren Wahrscheinlichkeit Eingang in die Stichprobe fanden als ärmere
Personen. Es waren aber gerade reichere Personen, welche Alfred Landon ihre Stimme
gaben. Der erste Fehler des "Literary Digest" bestand somit in einem
Selektionsfehler.
Das zweite - und wahrscheinlich das ausschlaggebende - Problem der Stichprobe
war die enorme Zahl an Personen, welche nicht auf die Umfrage antworteten (nur
gerade 2.4% aller angeschriebenen Personen schickten den Fragebogen zurück).
Offensichtlich antworteten primär Personen mit einem starken Interesse am
Ausgang der Umfrage. Und dies waren vor allem Personen, welche sich einen Wandel
an der Spitze der USA wünschten und somit Alfred Landon ihre Stimme gaben.
Wähler, welche Landon ihre Stimme gaben, antworteten weitaus häufiger
auf die Umfrage der Zeitschrift als die Anhänger Roosevelts.
Die Stichprobe des "Literary Digest" war somit sowohl durch einen Nichtstichprobenfehler
(nonresponse) als auch durch einen Stichprobenfehler (Selektionsfehler) verzerrt.
Wie wir wissen, hilft bei einer solch selektiven Stichprobe auch eine noch so
grosse Stichprobengrösse nicht aus, um Populationskennwerte präzise
zu schätzen." (Quelle: Internet http://www.mesosworld.ch/lerninhalte/Grund_Stichprob/de/html/unit_Fallbeispiel.html [Stand
1.12.2009]
|
|
|
4. |
Rücklaufquote / Steigerung
Es gibt dazu eine Diplomarbeit (1995) von
Axel Bischoff mit dem Titel "Möglichkeiten
zur Erhöhung der Rücklaufquote
bei schriftlichen Befragungen" im Internet unter: http://www.diplom.de/Diplomarbeit-3318/Moeglichkeiten_zur_Erhoehung_der_Ruecklaufquote_bei_schriftlichen_Befragungen.html
Dillman, D.A. (2000). Mail and Internet
Surveys. The Tailored Design Method. (2nd Ed.). New York:
John Wiley & Sons, Inc. empfehlen für die Erhöhung
der Rücklaufrate folgende Punkte zu beachten:
1. Erklären Sie in Ihrer Einladungs-E-Mail die
Relevanz des Themas für den Befragten.
2. Gestalten Sie die Einladungsmail oder Einladungsunterlagen
so, dass sie nicht mit SPAM oder Webung verwechselt wird,
also in der Regel "seriöser" und weniger "bunt" formuliert
als Werbemails, eher sanfte Marketingsprache.
3. Identifizieren Sie sich im Anschreiben als Institution
und Person im Detail (Erhöhung des Vertrauens), und nennen
eine direkte Telefonnummer für
eventuelle Rückfragen des Befragten.
4. Sichern Sie die Anonymität bzw. Vertraulichkeit
aller Angaben glaubwürdig zu, wenn dies konzeptionell
möglich ist.
5. Bedanken Sie sich im voraus bei den Befragten für Zeit
und Engagement, sowohl im Anschreiben als auch am Ende
des Fragebogens.
6. Erläutern und erklären Sie bei einer Stichprobenauswahl
Ihr Auswahlverfahren (Befragter:
Warum gerade ich?)
7. Erklären sie den Zweck der Studie im Vorfeld (z.B.
Ankündigungsschreiben) und im Anschreiben! (z.B. Vorankündigung,
Anschreiben, Unterstützung
durch Meinungsführer)
8. Erklären Sie im Anschreiben, wie mit eingehenden
Fragebogen bei der Auswertung verfahren wird, respektive
auch, wozu und mit welcher Intention die Daten verwendet
werden.
9. Gewinnen sie einflussreiche Unterstützer (Empfehlungsschreiben,
Signaturen, Beiräte, Projektpartner im Begleitschreiben
erwähnen)
10.
Gestalten Sie den Fragebogen übersichtlich, formal
und ansprechend.
11. Bauen Sie den Fragebogen thematisch gruppiert und
z.B. durch Zwischentitel und Überleitungen so
auf, dass es den Befragten leicht fällt zu antworten.
12. Machen Sie den Fragebogen nicht zu lang.
13. Verwenden Sie überwiegend geschlossene Fragen
(höherer Rücklauf aber weniger Horizonterweiterung als
mit offenen Fragen)
14. Erklären Sie gegebenenfalls, wie der Fragebogen
anonym zurückgegeben werden kann.
15. Geben sie einen festen Rücksendetermin vor, der
nicht zu lange in der Zukunft liegt. 50% der Antworten
erhalten Sie in der Regel (online) in den ersten vier
Tagen.
16. Setzen Sie Anreize („incentive“) zur Erhöhung
der Beteiligungsbereitschaft (materiell:
Preis aussetzen, Gewinnspiel, Spenden, usw..;
symbolisch: Hilfeappell, Mitwirkung bei Verbesserungsmassnahmen,
Angebot zur Information über Ergebnisse, usw..)
17. Fassen Sie bei Nichterreichten/Nichtantwortern mehrfach
(max. 2-3 mal) und ausserordentlich freundlich nach (schriftlich
oder telefonisch) (bei Offline-Befragungen z.B. Urnen
an einem nicht einsehbaren Platz)
18. Starten Sie Ihre Befragung zu einer Nicht-Ferienzeit,
bei Büro- oder an der Arbeit zu erreichenden
Zielgruppen am besten DI-DO ca. 9 Uhr oder zielgruppenspezifisch
(reflektieren Sie, wann Ihre Zielgruppe am meisten Zeit
und Motivation hat, teilzunehmen).
19. Aktivieren Sie allenfalls die Funktion "Teilnehmer > Gratis-Gutscheine für Ihre Teilnehmenden". Hier erhalten alle Ihre Teilnehmenden, die den Fragebogen komplettieren (d.h. bis zur Dankeseite vorstossen), einen kostenlosen Gutschein über unseren Partner Salenti. Es handelt sich um Rabattgutscheine für eine Masse von nahmhaften und alltagspräsenten Unternehmen, meist im Bereich von 5-15% oder 5 bis 20 Euro, die bei einem Einkauf angerechnet werden können. Machen Sie bereits in Ihrer Einladungsmail oder im Vorwort der Umfrage darauf aufmerksam, dass jede vollständige Teilnahme einen Einkaufsgutschein erhält. Dies kann der Rücklauf steigern und stellt zudem eine freundliche Dankesgeste dar. Bitte beachten Sie, dass eine ausschliesslich monetäre Motivation Ihre Zielgruppe resp. die realisierte Nettostichprobe beeinflussen kann (sog. Bias).
|
|
|
5. |
Teilnehmer-Stammdaten verwenden -
Erweiterung der Auswertungsmöglichkeiten
Mit onlineumfragen.com können Sie bevor
Sie die Befragung starten Teilnehmerdaten erfassen resp.
importieren. Es handelt sich dabei im Wesentlichen um
die E-Mail-Adressen Ihrer Teilnehmenden, welche Sie einladen
möchten (welche die Einladungsmail zur Befragung
erhalten). Diese Liste können Sie mit weiteren Angaben
vervollständigen. Erfassen Sie z.N. Vorname, Name,
Anrede zusätzlich, lassen sich Einladungsmails für
Befragungen personalisieren (persönliche Anrede), zudem
bei geschlossenen Umfragen mit Passwort oder personalisiertem
Link (System erkennt anhand des Links, wer teilnimmt) lassen
sich auch die Inhalte des Fragebogens personalisieren,
d.h. der Teilnehmer wird im Vorwort oder in Fragen mit
seinem Namen angesprochen.
Die Möglichkeiten sind natürlich nicht kosmetisch
begrenzt: durch den Import weiterer Stammdaten wie Abteilung,
Region, Zugehörigkeit zu einer Subgruppe, Kundensegment,
etc. etc. (Ihren Ideen sind hier keine Grenzen gesetzt)
lassen sich diese Parameter für den Fragebogen verwenden.
Diese Variablen können im Fragebogen beliebig eingesetzt
werden (zitiert in Fragen, z.b. "Sie wohnen ja in
der Region XY") aber auch zur Filterung und Pfadsteuerung
eingesetzt werden, so dass zum
Beispiel alle Teilnehmer
nur den Teil des Fragebogens sehen und bearbeiten können,
der für die Abteilung, in welcher diese arbeiten, angedacht
ist. Natürlich lassen Sie auch alle Stammdaten in den
Auswertungen verwenden und es können damit z.B. Subsamples
gebildet werden, für die einzelne Tabellenbände
erzeugt werden können. |
|
|
|
|
|
Springen Sie zu... |
|
|
|
Lexikon der Markt- und Meinungsforschung:
http://www.umfragen.info/marktforschung/lexikon-der-marktforschung
Welche Stichprobengrösse benötige ich für meine Studie?
http://www.statisticsconsultant.com
Was ist der Unterschied zwischen Regression und Korrelation?
http://www.statisticsconsultant.com
|