Pre-Test einer berlinweiten Studie zu Spiritualität in der Konfirmandenarbeit

Ziel und Zweck des Pre-Tests war es, danach zu fragen, wie ein Fragebogen sinnvoll gestaltet sein kann und worauf zu achten ist, wenn man ihn speziell für eine Umfrage bei Jugendlichen im Alter zwischen 12 und 14 Jahren erstellt. Es konnten u.a. folgende Erkenntnisse sowohl in Vorbereitung für die Hauptstudie als auch für Studien in der Arbeit mit Kindern und Jugendlichen im Allgemeinen festgehalten werden:

  • Substantivierte Verben sollten vermieden werden (Bsp.: Statt "Wie wichtig ist dir das Lernen?", besser "Wie wichtig ist es dir, dass du etwas lernst?").
  • Das Vokabular sollte so einfach wie möglich gewählt sein, solange es dabei nicht an der nötigen Schärfe verliert, um auf das Ziel der Frage hinzuwirken.
  • Es sind Begriffe zu vermeiden, die zwar leicht verständlich, aber bereits konkret (negativ konnotiert) und singulär im Sprachgebrauch der Jugendlichen genutzt werden (wie bspw. „Hausaufgaben“).
  • Werden Einschätzungen zum Verhalten oder der Einstellung von Jugendlichen abgefragt, die in der Vergangenheit liegen, so sollte der Rahmen, auf den sich diese Abfrage bezieht, mit der Angabe eines konkreten Zeitraumes (z.B. „in der letzten Woche“) gesetzt werden.
  • Bedürfen Fragen einer gründlicheren Reflexionsphase bei den Jugendlichen, um eine verwertbare Antwort zu erhalten, die auf Grund des Zeitdrucks beim Bearbeiten des Fragebogens im Rahmen der Konfi-Zeit nicht gegeben wäre, ist es hilfreich, ein Item mit freier Texteingabe zu diesem Thema vor das eigentlich zu beantwortende Item zu setzen, damit die Befragten sich zwingend mehr Zeit dafür nehmen und ihre Aussage durch die Erarbeitung eigener Formulierungen tiefer durchdenken.
  • Eine ungerade Anzahl von Kategorien ist in numerischen Skalen zu vermeiden, weil Mittelkategorien auch als neutrale Antwortmöglichkeit genutzt werden, wenn die Befragten nicht auf die Frage antworten möchten oder können.

Insbesondere der kritische Rückblick auf die Verständlichkeit des verwendeten Vokabulars macht deutlich, dass es, ganz gleich, wie es gewählt wird, immer schwer sein wird, Begriffe und Formulierungen zu finden, die auf die unterschiedlichen Milieus und Entwicklungsstufen der einzelnen Jugendlichen in jedem Fall angemessen eingehen können. Die von den Jugendlichen selbst formulierten, freien Texte haben geholfen, ein Verständnis von ihrer je individuellen Sprachwelt und Auffassung zu bekommen. Da aber nun nicht alle Worte, die im Fragebogen verwendet werden, einzeln über Freitextfelder abgefragt werden können, die ansonsten eher Charakteristikum einer qualitativen Erhebung wären, verstärkt dies die Bedeutung des Vorhabens, an die quantitative Erhebung eine qualitative anzuschließen. Es seien daher noch zwei weitere Punkte der Erkenntnis als Hinweise für zukünftige Studien hinzugefügt:

  • Die qualitative Erhebung ist bei der Befragung von Konfirmandinnen und Konfirmanden einer quantitativen vorzuziehen.
  • Wird dennoch eine Forschung mittels Fragebogen angestrebt, sind die Items dieses Fragebogens im Idealfall mit Konfirmandinnen und Konfirmanden gemeinsam zu formulieren.
  • Im Sinne der Qualitätssicherung lohnt es sich bei jeder Form der Datenerhebung, Fragen einzubauen, die zu überprüfen helfen, ob und wie weit die Fragestellungen verstanden worden sind.

Spezielle Hinweise für Online-Umfragen

Für Online-Fragebögen kommen bestimmte technische Aspekte hinzu, die beachtet werden müssen:

  • Der Zugang und die Fragebögen müssen vollumfänglich tauglich für die Darstellung auf mobilen Endgeräten sein (egal, ob sich diese in der horizontalen oder vertikalen Ansicht befinden).
  • Sicherheitsfragen, die eine Denkleistung (wie Rechenaufgaben) von den Jugendlichen fordern, welche das bloße Wiedergeben (z.B. die Eingabe sichtbarer Zeichen oder die Eingabe eines vorgegebenen Kennwortes) kognitiv übersteigen, sind zu vermeiden. Ebenso zu vermeiden sind Sicherheitsabfragen, die ein für Jugendliche schwieriges Vokabular (z.B. „Summanden“) verwenden.
  • Bei der Generierung von zufälligen, einmaligen Codes muss gewährleistet sein, dass wahlweise von Anfang an genug Codes zur Verfügung stehen oder aber jederzeit neue Codes generiert werden können, ohne dabei die Einmaligkeit der bereits generierten Codes zu kompromittieren.
  • Werden Anschreiben und/oder Zugangsdaten elektronisch per E-Mail versendet, sollten alle E-Mail‑Adressen vor dem Versenden auf Gültigkeit getestet und ggf. korrigiert bzw. aktualisiert werden.