Fehlermultiplikation und Pfadabhängigkeit: Ein Blick auf Schattenseiten von Sekundäranalysen standardisierter Umfragen

Abstract

Sekundäranalysen, d. h. Analysen von Daten, die nicht zu diesem Zweck und/oder nicht von diesen Personen erhoben wurden, haben eine große Verbreitung, wurden aber methodologisch kaum beleuchtet. Die Vorteile der Sekundäranalyse sind enorm und begründen ihre weite Verbreitung. Mögliche Nachteile für die Wissensentwicklung in einem Fach wurden dagegen bisher sehr selten diskutiert. Deshalb widmet sich der Beitrag insbesondere möglichen Nachteilen von Sekundäranalysen. Basieren empirische Erkenntnisse in einem Feld auf wenigen Datensätzen, fließen in den veröffentlichten Wissensbestand erkannte und unerkannte systematische Fehler sowie Zufallsfehler mehrfach ein. Es kommt zu einer Fehlermultiplikation. Der Raum unerkannter Fehlerquellen nimmt bei Trennung von Analysierenden und Erhebenden zu. Zudem folgt aus der Beschränkung auf wenige Datensätze eine Pfadabhängigkeit der Wissensgewinnung, denn nur die verfügbaren Variablen können in die Untersuchungen eingehen. Folgen sind der Eigenwert von Primärerhebungen, ergänzende Vorteile nicht ganz einschlägiger Datenquellen, die Berücksichtigung von Datensätzen bei der Beurteilung des Forschungsstandes und die Nutzung indirekter Messungen oder ergänzender Makrovariablen zur Integration unkonventioneller Konzepte. Nutzerkonferenzen können die Wissenslücke zwischen Erhebenden und Analysierenden verringern.

Secondary analyses, i.e. analyses of data which were not collected for this purpose and/or not by these people, are widely used due to their outstanding advantages. However, their methodological implications are seldom discussed. The widespread secondary use of few data sets has implications for the published knowledge base of the discipline. Known and unknown biases and random error in a particular data set are multiplied in published knowledge. The realm of undetected errors increases if data producer and data user are separated. Furthermore available data sets limit the possibility of introducing new concepts resulting in a path dependency of scientific progress. Consequently, primary data should be valued; using only partly appropriate data sets can improve and validate our knowledge; data sets have to be considered in literature reviews; and indirect measurement or additional macro variables may be used to integrate unconventional concepts. User conferences help closing the gap between data producers and users.