Zum Thema Repräsentativität... das weiss keiner so genau ;-) Repräsentativ ist eine Umfrage im Prinzip dann, wenn die Befragten so ausgewählt werden, dass sie die gesamte Bevölkerung repräsentieren oder eben den Teil, dessen Stimmung, Vorlieben oder Meinungen abgebildet werden soll. Um das zu erreichen, müssen die zu Befragenden nach Alter, Geschlecht, Wohnort usw. ausgewogen ausgewählt werden. Fehler können entstehen, wenn die Meinungsforscher bei der Auswertung nicht beachten, dass bestimmte Personen oder Gruppen an der Befragung nicht teilnehmen konnten, z. B. weil sie telefonisch nicht zu erreichen waren, oder nicht wollten, weil sie an der Frage kein Interesse hatten.

Viel wichtiger als Repräsentativität sind für die Qualität einer Umfrage aber andere Kriterien, wie z. B. die Art der Fragestellung bzw. Ansprache der Befragten. Hiermit könnten – beabsichtigt oder unabsichtlich – bestimmte Antworten nahe gelegt oder ausgeschlossen werden. Bei Ranglisten ist es entscheidend, wie detailliert nachgefragt und wie stark bei der Auswertung differenziert wird. Dass eine Umfrage repräsentativ ist, unabhängig davon, ob der Anspruch auch erfüllt wird oder nicht, dient häufig nur als Etikett, um das Ergebnis aufzuwerten.

Eine Umfrage, die offensichtlich repräsentativ ist, kann immer von "Gegenstudien" in Ihrer (getroffenen oder angefallen) Stichprobenauswahl kritisiert werden, plötzlich merkt man z.B. das eine Umfrage nur in Städten durchgeführt wird, ein Kriterium, welches nicht klassisch im Rahmen der Kurzversion von soziodemografischen Daten abgefragt wird, bei politischen Meinungsumfragen z.B. sehr entscheidend, wenn dann im Nachhinein "auskommt", dass nur die Landmenschen Herr Kohl behalten wollten usw. usw. In dem Sinne können streng genommen nie alle Merkmale in einer Stichprobe natürlich anfallen, wenn auch bei tendenziell hohen Rücklaufraten meist recht sauber auf den Kreis der Angemailten geschlossen werden darf. (Die Grundgesamtheit ist dann je nach Design nochmals etwas anderes, z.B. alle Deutschen KMU, wovon dann 500 angefragt und 72 teilgenommen). Vielleicht hat man die 500 erwischt, die im Verband der Hasenzüchter sind, weil man von dort die Adressen gratis bekommen hat usw. (Die lieben alle Hasen und antworten in der Frage X dann anders als die restlichen Deutschen KMU) usw. usw. Es gibt keine Patentlösung, wichtig ist, alle für das Auswahlverfahren der Stichproben relevanten Aspekte wissenschaftlich korrekt zu erwähnen, dann ist die Studie transparent und nachvollziehbar, das ist viel wichtiger und wertvoller als eine repräsentative Studie, die nicht genügend Transparenz ausweist.


Ein klassisches Beispiel, welches spannend und beeindruckend ist, ist der "Gallup Case": es ist unter http://www.mesosworld.ch/lerninhalte/Grund_Stichprob/de/html/unit_Fallbeispiel.html zu finden und wir zitieren es hier:
"Franklin D. Roosevelt beendete 1936 seine erste Amtszeit als Präsident der Vereinigten Staaten von Amerika. Sein republikanischer Herausforderer bei den Wahlen hiess Alfred Landon, Gouverneur aus Kansas. Zwar waren die Aufrüstung Deutschlands unter den Nationalsozialisten und der Spanischer Bürgerkrieg Leitthemen in den grossen Tageszeitungen wie etwa der New York Times. Den Wahlkampf dominierten allerdings wirtschaftspolitische Themen. Die USA kämpften noch immer mit den Folgen der Grossen Depression: Mehr als neun Millionen Menschen waren arbeitslos und die realen Einkommen waren zwischen 1929 und 1933 etwa um einen Drittel gesunken.

Die meisten Beobachter des Wahlkampfes sagten Roosevelt einen einfachen Sieg über seinen Herausforderer Landon voraus, nicht aber die bekannte Zeitschrift "Literary Digest". Diese prognostizierte Roosevelt einen Stimmenanteil von lediglich 43% und damit einen klaren Sieg für Landon. Die Zeitschrift basierte ihre Voraussage auf der grössten Stichprobe an Personen, welche je auf eine kommerzielle Umfrage geantwortet hatten: 2,4 Millionen! Zudem hatte das "Literary Digest" seit 1916 jeweils den richtigen Gewinner der Präsidentschaftswahlen vorausgesagt.

Wie wir allerdings wissen, hat dennoch Franklin Roosevelt die Wahl gewonnen, und zwar mit einer überwältigenden Mehrheit von 62% der Stimmen. Alfred Landon erzielte lediglich einen Stimmenanteil von 38% für seine Person! Selbst die riesige Stichprobe konnte somit nicht verhindern, dass das "Literary Digest" den wahrscheinlich grössten Prognosefehler in der Geschichte der Umfrageforschung publizierte: ganze 19 Prozentpunkte! Nicht zuletzt diese krasse Fehlprognose dürfte dazu geführt haben, dass die Zeitschrift wenig später (im darauf folgenden Jahr) eingestellt wurde.

Im Gegensatz zum "Literary Digest" sagte Georg Gallup, dessen eigenes Umfrageinstitut gerade im Aufbau war, korrekterweise Roosevelt als Sieger voraus, auch wenn seine eigenen Prognose ebenfalls um 6 Prozentpunkte vom tatsächlichen Ergebnis abwich. Erstaunlicherweise gelang es Gallup allerdings, das falsche Ergebnis des "Literary Digest" vor dessen Veröffentlichung mit einer Abweichung von lediglich einem Prozentpunkt korrekt vorauszusagen!

Stimmenanteil (Roosevelt) Abweichung (in Prozentpunkten)
Tatsächliches Ergebnis 62% 0
Prognose des "Literary Digest" 43% -19
Gallup's Prognose 56% -6
Gallup's Prognose des"Literary Digest" 44% +1
Es stellt sich somit die Frage, weshalb die Umfrage des "Literary Digest" trotz der riesigen Stichprobe ein so falsches Resultat liefern konnte. Wir wollen uns zunächst die (kontrafaktische, wie wie unten sehen werden) Situation betrachten, dass tatsächlich eine korrekte Zufallsstichprobe gezogen wurde. Mit den vorhandenen Angaben ergibt sich das folgende 99%-Vertrauensintervall für den Stimmenanteil von Roosevelt:

Setzt man die obigen Angaben in diese Formel ein, erhält man das folgende 99%-Vertrauensintervall für den Stimmenanteil für Roosevelt:

Unter der Annahme, dass das "Literary Digest" seine Stichprobe korrekt gezogen hätte, wäre die Wahrscheinlichkeit für einen Stimmenanteil von 62% für Roosevelt mehr als unwahrscheinlich gewesen!

Dies lässt nun die Feststellung zu, dass wohl eine sehr selektive Stichprobe vorgelegen haben muss:

Das "Literary Digest" versandte insgesamt rund 10 Millionen Fragebögen. Allerdings wurden die angeschriebenen Personen nicht zufällig ausgewählt, sondern die meisten dieser Personen wurden aus vorhandenen Listen von Zeitschriftenabonennten, Automobilbesitzern sowie aus Telefonverzeichnissen gezogen. Zu jener Zeit (1936) waren nun allerdings wohlhabendere Personen in solchen Listen klar übervertreten. Die Stichprobe damit klarerweise verzerrt, indem reichere Personen mit einer grösseren Wahrscheinlichkeit Eingang in die Stichprobe fanden als ärmere Personen. Es waren aber gerade reichere Personen, welche Alfred Landon ihre Stimme gaben. Der erste Fehler des "Literary Digest" bestand somit in einem Selektionsfehler.
Das zweite - und wahrscheinlich das ausschlaggebende - Problem der Stichprobe war die enorme Zahl an Personen, welche nicht auf die Umfrage antworteten (nur gerade 2.4% aller angeschriebenen Personen schickten den Fragebogen zurück). Offensichtlich antworteten primär Personen mit einem starken Interesse am Ausgang der Umfrage. Und dies waren vor allem Personen, welche sich einen Wandel an der Spitze der USA wünschten und somit Alfred Landon ihre Stimme gaben. Wähler, welche Landon ihre Stimme gaben, antworteten weitaus häufiger auf die Umfrage der Zeitschrift als die Anhänger Roosevelts.
Die Stichprobe des "Literary Digest" war somit sowohl durch einen Nichtstichprobenfehler (nonresponse) als auch durch einen Stichprobenfehler (Selektionsfehler) verzerrt. Wie wir wissen, hilft bei einer solch selektiven Stichprobe auch eine noch so grosse Stichprobengrösse nicht aus, um Populationskennwerte präzise zu schätzen." (Quelle: Internet http://www.mesosworld.ch/lerninhalte/Grund_Stichprob/de/html/unit_Fallbeispiel.html [Stand 1.12.2009]

Es gibt dazu eine Diplomarbeit (1995) von Axel Bischoff mit dem Titel "Möglichkeiten zur Erhöhung der Rücklaufquote bei schriftlichen Befragungen" im Internet unter: http://www.diplom.de/Diplomarbeit-3318/Moeglichkeiten_zur_Erhoehung_der_Ruecklaufquote_bei_schriftlichen_Befragungen.html

Dillman, D.A. (2000). Mail and Internet Surveys. The Tailored Design Method. (2nd Ed.). New York:
John Wiley & Sons, Inc. empfehlen für die Erhöhung der Rücklaufrate folgende Punkte zu beachten:

1. Erklären Sie in Ihrer Einladungs-E-Mail die Relevanz des Themas für den Befragten.
2. Gestalten Sie die Einladungsmail oder Einladungsunterlagen so, dass sie nicht mit SPAM oder Webung verwechselt wird, also in der Regel "seriöser" und weniger "bunt" formuliert als Werbemails, eher sanfte Marketingsprache.
3. Identifizieren Sie sich im Anschreiben als Institution und Person im Detail (Erhöhung des Vertrauens), und nennen eine direkte Telefonnummer für eventuelle Rückfragen des Befragten.
4. Sichern Sie die Anonymität bzw. Vertraulichkeit aller Angaben glaubwürdig zu, wenn dies konzeptionell möglich ist.
5. Bedanken Sie sich im voraus bei den Befragten für Zeit und Engagement, sowohl im Anschreiben als auch am Ende des Fragebogens.
6. Erläutern und erklären Sie bei einer Stichprobenauswahl Ihr Auswahlverfahren (Befragter: Warum gerade ich?)
7. Erklären sie den Zweck der Studie im Vorfeld (z.B. Ankündigungsschreiben) und im Anschreiben! (z.B. Vorankündigung, Anschreiben, Unterstützung durch Meinungsführer)
8. Erklären Sie im Anschreiben, wie mit eingehenden Fragebogen bei der Auswertung verfahren wird, respektive auch, wozu und mit welcher Intention die Daten verwendet werden.
9. Gewinnen sie einflussreiche Unterstützer (Empfehlungsschreiben, Signaturen, Beiräte, Projektpartner im Begleitschreiben erwähnen)
10. Gestalten Sie den Fragebogen übersichtlich, formal und ansprechend.
11. Bauen Sie den Fragebogen thematisch gruppiert und z.B. durch Zwischentitel und Überleitungen so auf, dass es den Befragten leicht fällt zu antworten.
12. Machen Sie den Fragebogen nicht zu lang.
13. Verwenden Sie überwiegend geschlossene Fragen (höherer Rücklauf aber weniger Horizonterweiterung als mit offenen Fragen)
14. Erklären Sie gegebenenfalls, wie der Fragebogen anonym zurückgegeben werden kann.
15. Geben sie einen festen Rücksendetermin vor, der nicht zu lange in der Zukunft liegt. 50% der Antworten erhalten Sie in der Regel (online) in den ersten vier Tagen.
16. Setzen Sie Anreize („incentive“) zur Erhöhung der Beteiligungsbereitschaft (materiell: Preis aussetzen, Gewinnspiel, Spenden, usw..; symbolisch: Hilfeappell, Mitwirkung bei Verbesserungsmassnahmen, Angebot zur Information über Ergebnisse, usw..)
17. Fassen Sie bei Nichterreichten/Nichtantwortern mehrfach (max. 2-3 mal) und ausserordentlich freundlich nach (schriftlich oder telefonisch) (bei Offline-Befragungen z.B. Urnen an einem nicht einsehbaren Platz)
18. Starten Sie Ihre Befragung zu einer Nicht-Ferienzeit, bei Büro- oder an der Arbeit zu erreichenden Zielgruppen am besten DI-DO ca. 9 Uhr oder zielgruppenspezifisch (reflektieren Sie, wann Ihre Zielgruppe am meisten Zeit und Motivation hat, teilzunehmen).
19. Aktivieren Sie allenfalls die Funktion "Teilnehmer > Gratis-Gutscheine für Ihre Teilnehmenden". Hier erhalten alle Ihre Teilnehmenden, die den Fragebogen komplettieren (d.h. bis zur Dankeseite vorstossen), einen kostenlosen Gutschein über unseren Partner Salenti. Es handelt sich um Rabattgutscheine für eine Masse von nahmhaften und alltagspräsenten Unternehmen, meist im Bereich von 5-15% oder 5 bis 20 Euro, die bei einem Einkauf angerechnet werden können. Machen Sie bereits in Ihrer Einladungsmail oder im Vorwort der Umfrage darauf aufmerksam, dass jede vollständige Teilnahme einen Einkaufsgutschein erhält. Dies kann der Rücklauf steigern und stellt zudem eine freundliche Dankesgeste dar. Bitte beachten Sie, dass eine ausschliesslich monetäre Motivation Ihre Zielgruppe resp. die realisierte Nettostichprobe beeinflussen kann (sog. Bias).

Mit onlineumfragen.com können Sie bevor Sie die Befragung starten Teilnehmerdaten erfassen resp. importieren. Es handelt sich dabei im Wesentlichen um die E-Mail-Adressen Ihrer Teilnehmenden, welche Sie einladen möchten (welche die Einladungsmail zur Befragung erhalten). Diese Liste können Sie mit weiteren Angaben vervollständigen. Erfassen Sie z.N. Vorname, Name, Anrede zusätzlich, lassen sich Einladungsmails für Befragungen personalisieren (persönliche Anrede), zudem bei geschlossenen Umfragen mit Passwort oder personalisiertem Link (System erkennt anhand des Links, wer teilnimmt) lassen sich auch die Inhalte des Fragebogens personalisieren, d.h. der Teilnehmer wird im Vorwort oder in Fragen mit seinem Namen angesprochen.

Die Möglichkeiten sind natürlich nicht kosmetisch begrenzt: durch den Import weiterer Stammdaten wie Abteilung, Region, Zugehörigkeit zu einer Subgruppe, Kundensegment, etc. etc. (Ihren Ideen sind hier keine Grenzen gesetzt) lassen sich diese Parameter für den Fragebogen verwenden. Diese Variablen können im Fragebogen beliebig eingesetzt werden (zitiert in Fragen, z.b. "Sie wohnen ja in der Region XY") aber auch zur Filterung und Pfadsteuerung eingesetzt werden, so dass zum

Beispiel alle Teilnehmer nur den Teil des Fragebogens sehen und bearbeiten können, der für die Abteilung, in welcher diese arbeiten, angedacht ist. Natürlich lassen Sie auch alle Stammdaten in den Auswertungen verwenden und es können damit z.B. Subsamples gebildet werden, für die einzelne Tabellenbände erzeugt werden können.