Direkt zum Inhalt

SOEP Nutzerbefragung

Um die besten Voraussetzungen zum Arbeiten mit den SOEP-Daten bereitstellen zu können, erheben wir regelmäßig die Nutzerumfrage zu verschiedenen Themen.

Von November des Jahres 2022 bis Anfang Januar 2023 hatten alle NutzerInnen des SOEP die Möglichkeit, an der jährlichen SOEP-Nutzerbefragung teilzunehmen. In dieser Online-Umfrage können alle NutzerInnen ihre Meinungen, Wünsche und Einschätzungen, sowie ihre Erfahrungen mit unseren Daten und mögliche Probleme an das SOEP-Team übermitteln. Im Vergleich zum Vorjahr wurde der Fragebogen auf 35 Fragen gekürzt.

In diesem Jahr lag der Fokus auf die Art der Auslieferung der Daten. Da wir uns nur durch kontinuierliche Vorschläge und Anregungen unserer NutzerInnen verbessern können, möchten wir uns bei den 974 RespondentInnen für ihre Teilnahme und ihr Engagement bedanken.

SOEP-NutzerInnen

Rund 63% der Befragten nahmen im November 2022 das erste Mal teil. Über die Hälfte der teilgenommenen Nutzer waren männlich. 62% der NutzerInnen sind zwischen 21 und 40 Jahre alt. Das Durchschnittsalter der Befragten lag bei 40 Jahren. Etwa 70% der NutzerInnen verwenden weiterhin Stata als Statistikprogramm zur Analyse der SOEP-Daten.

Datenqualitätsaspekte

In diesem Jahr wurde die Frage nach der Zufriedenheit mit verschiedenen Aspekten der Datenqualität der SOEP-Daten gestellt. Auf einer Skala von 0 bis 10, wo 0 „ganz und gar unzufrieden“ und 10 „ganz und gar zufrieden“ ist, sollten die Befragten verschiedene Aspekte der Datenqualität bewerten. In Abbildung 1 werden die Mittelwerte der verschiedenen Datenqualitätsaspekte dargestellt. Besonders mit der Vertrauenswürdigkeit kann das SOEP bei seinen Nutzenden punkten. Ebenfalls überzeugen können die Bereiche Vergleichbarkeit, Stichprobenzusammensetzung, Relevanz der Daten und deren Zugänglichkeit für Forschende. Durch die Reichhaltigkeit der Daten und den langen Erhebungszeitraum wird der Einstieg in das Datenprodukt SOEP-Core im Hinblick auf Dokumentation und Benutzerfreundlichkeit weniger positiv wahrgenommen.

Mit einer Getting Started Initiative wurde dieses Problem bereits adressiert und es wird an vielen Lösungen gearbeitet. Die Datendokumentationsplattform paneldata.org wird permanent um Informationen und neue Features erweitert. Für Neunutzende wurden die SOEPtutorials und der SOEPcompanion erschaffen, um den herausfordernden Einstieg in das SOEP zu erleichtern. Auch Hands-On Sessions in Präsenz oder digital des SOEPcampus erfreuen sich großer Beliebtheit und stellen einen hervorragenden Einstieg in die Daten dar. Wir hoffen diese tollen Angebote werden zukünftig von den Nutzenden wahrgenommen und erhöhen die Zufriedenheit mit Benutzerfreundlichkeit und Dokumentation.

Abbildung 1

SOEP-Angebot

Ein weiteres Thema in diesem Jahr war das SOEP-Angebot. Die Aufbereitung und Zusammenführung der SOEP-Daten aus den unterschiedlichen Stichproben, sowie die Erstellung zusätzlicher generierter Variablen, der Gewichtung und Imputation von fehlenden Werten ist ein aufwändiger Prozess. Aus dem Grund vergehen zwischen Abschluss der Arbeiten beim Feldinstitut und der Weitergabe der Daten an alle NutzerInnen zwischen 6 und 12 Monate. Aus diesem Grund haben wir ein erhöhtes Interesse daran zu erfahren, wie NutzerInnen einer früheren Datenlieferung gegenüberstehen. Grundsätzlich kann man sagen, dass die Befragten sich nicht ganz einig sind. Interesse an einer früheren Datenlieferung wurde von rund 46% der NutzerInnen angekündigt (Abbildung 2). Davon fänden 11% eine frühere Datenlieferung mit Gewichtungsvariablen und zusätzlich generierten Daten hilfreich, 9% möchten Daten nur mit Gewichtungsvariablen und 26% der NutzerInnen fänden die nur geprüften Befragungsdaten bereits hilfreich. Allerdings sind mehr als die Hälfte der NutzerInnen nicht daran interessiert, die Daten früher zu erhalten und sind durchaus bereit zu warten.

Abbildung 2

Nach einer einjährigen Pause gab es von November 2021 bis Anfang Januar 2022 für alle NutzerInnen des SOEP die Möglichkeit, an der SOEP-Nutzerbefragung 2021 teilzunehmen. Ihnen wurde die Möglichkeit gegeben Meinungen, Wünsche und Ideen, aber auch Kritik und potentiell aufkommende Probleme an das SOEP-Team zu übermitteln. Neben den klassischen Fragen bezüglich unserer Serviceleistungen und Infrastrukturarbeit wurde dieses Jahr nach der Nutzung bestimmter Datensätze gefragt. Wir bedanken uns bei den insgesamt 1011 TeilnehmerInnen für ihr reichhaltiges Feedback und die vielen Anregungen.

Nutzung der Nettodatensätze

Unsere Umfrage hat dieses Jahr einen größeren Themenblock über die Nutzung der Nettodatensätze. Darunter waren auch Fragen zu den Gründen bei Nichtnutzung der Nettodatensätze. Es wurde nach 4 Datensätzen aus folgenden Fragenbögen gefragt: Eltern-Kind-Fragebögen (bioagel), „Schülerinnen und Schüler“ oder „Frühe Jugend“ Fragebögen (biopupil), Jugendfragebögen (jugendl) und „Verstorbene Person" Fragebögen (vpl). Im Zuge dessen konnten wir feststellen, dass jeweils 3/4 der Teilnehmenden bisher noch nie die Daten aus den jeweiligen Fragebögen genutzt haben (Abbildung 1). Etwas weniger als ein Drittel der NutzerInnen arbeitet regelmäßig mit dem Datensatz bioagel.

Abbildung 1

Bei der Nachfrage, warum die Daten nie für eine Ihrer Analysen genutzt wurden, haben mehr als die Hälfte der NutzerInnen angegeben, kein Forschungsinteresse an den Bevölkerungsgruppen zu haben (Abbildung 2). Ca. 18% der NutzerInnen haben keine Kenntnisse über die Daten aus den Fragebögen. Andere sind der Meinung, dass die Daten sich nicht für die Analyse ihrer Forschungsfrage eignen.

Abbildung 2

Datennutzung

In diesem Jahr wurde die Frage nach der größten Zeitspanne gestellt, die NutzerInnen je in einer relevanten Analyse ausgewertet haben. Fast 1/5 der NutzerInnen verwenden alle 36 Wellen, das bedeutet die Zeitspanne zwischen 1984 und 2019 (Abbildung 3).  9 % aller NutzerInnen haben bereits mit 35 Wellen gearbeitet, 34 Wellen nutzen 5 % der TeilnehmerInnen. Weniger als 5 % der Befragten nutzen eine Zeitspanne unter 33 Jahren. Dies deutet darauf hin, dass für die Mehrheit der NutzerInnen alle 36 Wellen relevant für die Arbeit mit den SOEP-Daten sind.

.

Abbildung 3

Ein weiteres Thema dieses Jahr war die Kenntnis bzw. die Nutzung von speziellen Stichproben. Die meist genutzten Stichproben unserer NutzerInnen sind die Migrationsstichprobe M1/2 und die Stichprobe für Geflüchtete M3-5 (Abbildung 4). Beide Stichproben stoßen auf großes Interesse. Die Stichroben Soziale Stadt und LGB* sind vermutlich eher für spezielle Fragestellungen relevant und werden somit weniger allein genutzt.

Abbildung 4

SOEP-NutzerInnen

Etwa 71% der Befragten haben noch nie an einer Nutzerbefragung des SOEP teilgenommen und nahmen im November das erste Mal teil. Insgesamt waren 2021 ungefähr 58% aller NutzerInnen männlich. 70% der Nutzer sind zwischen 21 und 40 Jahre alt. Die meisten NutzerInnen sind wie bisher in den Wirtschafts- und Sozialwissenschaften zu finden, mehr als 74% aller Antwortenden verorteten sich in diesen beiden Disziplinen.

Wir bedanken uns nochmal bei allen Teilnehmerinnen und Teilnehmern für die rege Beteiligung!

Die SOEP-Nutzerbefragung feierte 2019 ihr zehnjähriges Jubiläum. Zum zehnten Mal berichteten uns die DatennutzerInnen von ihren Erfahrungen bei der Arbeit mit den SOEP- Daten. Dabei ging es vor allem um technische Voraussetzungen zur Datenanalyse, die Datenqualität und unsere „Getting Started“ -Services.

Wir möchten uns herzlich bei den insgesamt 812 TeilnehmerInnen der Befragung für ihr Engagement bedanken. Dank ihrer Hilfe können wir das SOEP stetig weiter entwickeln.

Technische Voraussetzungen

Grundlegende technische Voraussetzungen sind essenziell, um effektiv mit allen Daten, die das SOEP zur Verfügung stellt, arbeiten zu können. In den mittlerweile 35 Jahren der Datenerhebung haben manche Datensätze eine Größe und Komplexität erreicht, die eine Datenanalyse mit einigen Analyseprogrammen erschweren. Welche technischen Probleme hatten NutzerInnen und welche Hard- und Softwarevoraussetzungen müssen gegeben sein, damit sie optimal mit den Daten arbeiten können? Der überwiegende Teil unserer NutzerInnen kann die SOEP-Datensätze problemlos öffnen. Einige hatten jedoch beispielsweise Schwierigkeiten, mit der Stata/IC Version die Vielzahl an Variablen in unserem Personendatensatz im long-Format zu verarbeiten (Abbildung 1).

Abbildung 1

© DIW Berlin

Unsere Empfehlung ist, für die Arbeit mit den SOEP-Daten Stata/MP oder Stata/SE mit einem Arbeitsspeicher von 16GB zu nutzen. Für NutzerInnern mit Stata/IC oder weniger leistungsstarken Rechnern ist die Nutzung der Daten natürlich ebenfalls möglich, hier sind dann aber Anpassungen hilfreich. Beispielsweise kann mit den Befehlen „describe using pl.dta“ und „use pid syear plVARS using pl.dta“ effektiv und mit geringen Leistungsanforderungen an die Hard- bzw. Software mit dem größten unserer Datensätze gearbeitet werden.

Datenqualität

Welche Meinung haben die DatennutzerInnen zu verschiedenen Aspekten der Qualität unserer Daten? Unsere Befragung zeigt: Besonders stark ist das SOEP in den Bereichen Vertrauenswürdigkeit und Fristen/Pünktlichkeit. Das größte Optimierungspotenzial sehen die Nutzenden in der Dokumentation und der Benutzerfreundlichkeit. Dies haben wir als Ansporn genommen, unser Angebot hier weiter auszubauen, zum Beispiel mit unseren neuen Getting Started-Services.

Abbildung 2

SOEPUsersurvey2019_de_Abb2.jpg
- Befragung mittels Likert-Skala (10 Ausprägungen), gruppiert nach Status der Forschenden
 - blaue Line = Mittelwerte, rote Punkte = Mediane

Getting Started

Im vergangenen Jahr haben wir verstärkt an unseren Getting Started-Services gearbeitet, die den Umgang mit unseren Daten und vor allem den Einstieg erleichtern sollen. Dazu gehören Paneldata.org, der SOEPcompanion, die SOEPtutorials und SOEPhelp.

Wie bewerten die DatennutzerInnen des SOEP diese Services? In unserer Befragung konnten die Befragten angeben, ob sie sie kennen, regelmäßig, gelegentlich oder gar nicht nutzen. Danach sollten sie einschätzen, ob sie die Angebote weiterempfehlen würden, und sich dazu zwischen den Ausprägungen „Ja“, „Unsicher“ und „Nein“ entscheiden. Bei der Auswertung haben wir nur die Empfehlungen von Nutzenden berücksichtigt, die schon mindestens einmal mit dem jeweiligen Getting Started-Angebot gearbeitet haben.

Das erfreuliche Ergebnis: Viele NutzerInnen würden unsere Angebote weiterempfehlen.

Abbildung 3

Einen herzlichen Dank an alle Teilnehmenden der SOEP-Nutzerbefragung.

Wir freuen uns auf die nächsten 10 Jahre des gemeinsamen Forschens und Arbeitens.

Wie jedes Jahr gab es auch im Dezember des Jahres 2018 bis Mitte Januar 2019 für alle NutzerInnen und VertragsnehmerInnen des SOEP die Möglichkeit, an der SOEP-Nutzerbefragung teilzunehmen. In unserer inzwischen neunten Onlineumfrage wurde ihnen die Möglichkeit gegeben Meinungen, Wünsche und Ideen, aber auch Kritik und potentiell aufkommende Probleme an das SOEP-Team zu übermitteln. Im Vergleich zum letzten Jahr wurde der Fragebogen ein wenig gekürzt, der Fokus auf die Nutzung und Bewertung der unterschiedlichen Datensätze gelegt und die Möglichkeit für mehr offenes Feedback gegeben. Die kontinuierlichen Anregungen unserer NutzerInnen tragen wesentlich dazu bei unseren Service weiter zu verbessern, daher danken wir den insgesamt 797 RespondentInnen für ihre Teilnahme und ihr Engagement.

Datenanalyse

Um am Puls der Zeit zu bleiben und die besten Voraussetzungen zum Arbeiten mit den SOEP-Daten bereitstellen zu können, wollen wir regelmäßig wissen, mit welcher Statistik-Software die NutzerInnen arbeiten. Während sich in den letzten Jahren „Stata“ einer immer größer werdenden Beliebtheit erfreuen durfte, setzte dieses Jahr nun eine rückläufige Nutzungsfrequenz dieses Statistik-Pakets ein (Abbildung 1, Mehrfachnennungen waren möglich). Zwar nutzen immer noch über zwei Drittel der SOEP-NutzerInnen „Stata“, allerdings ist nun auch „R“ von etwa 30% der Personen, die selbst mit den Daten arbeiten, in Gebrauch und stellt somit das Programm mit den zweitmeisten AnwenderInnen dar. Daher werden wir für die zukünftigen Datenweitergaben auch eine Version im R-Format bereitstellen.

Abbildung 1

© DIW Berlin

Nutzung der Studien

Selbstverständlich ist nicht nur interessant, mit welcher Software ausgewertet wird, sondern auch, was damit analysiert wird. Die Frage, welche Formen der SOEP-Daten in regelmäßiger Nutzung sind, ist deshalb schon viele Jahre ein fester Bestandteil der Nutzerbefragung. Dieses Jahr geben die Ergebnisse dieser Frage ein stabiles Bild wieder (Abbildung 2). So ist SOEP-Core mit 36% regelmäßiger NutzerInnen die meistgenutzte Form der SOEP-Daten. Über zwei Drittel der AnwenderInnen haben mindestens schon einmal mit SOEP-Core gearbeitet. Etwas weniger als ein Drittel der NutzerInnen arbeitet regelmäßig mit SOEPlong, die analysefreundlich aufbereitete und damit einfacher zu nutzende Form der Daten. Insgesamt ist diese aber etwas unbekannter als SOEP-Core. Allerdings ist die regelmäßige Nutzung von SOEP-IS, einer Stichprobe für besonders innovative Forschungsvorhaben, vergleichsweise gering (3%). Etwa ein Drittel aller Nutzenden kennen dieses Angebot gar nicht.

Abbildung 2

© DIW Berlin

Wichtige Aspekte im SOEP

Wie schon letztes Jahr, wurde auch bei dieser Nutzerbefragung darum gebeten, verschiedene Qualitätskriterien des SOEP zu evaluieren (Abbildung 3). Erneut wurde mit einer Likert-Skala (7 Ausprägungen) die Erwartungshaltung der Nutzergemeinschaft an einigen Qualitätskriterien gemessen und mit der tatsächlich wahrgenommenen Umsetzung dieser verglichen. Die größten Erwartungen setzen die NutzerInnen in die Nachvollziehbarkeit des Generierungsprozesses und der Möglichkeit schnell festzustellen, ob ihre Forschungsvorhaben mit den SOEP-Daten realisierbar sind. In beiden Kategorien gibt es eine negative Differenz zwischen den Erwartungen und der Erfüllung selbiger. Wo hingegen die Erwartungen übertroffen werden, ist die pünktliche Datenlieferung und der automatischen Information der Nutzergemeinschaft über neue Studien/Projekte im SOEP per Mail.
Für eine Übersicht über die Ergebnisse dieser Frage im letzten Jahr, gehen Sie zu Ergebnisse der Nutzerbefragung 2017.

Abbildung 3

© DIW Berlin

Stärken und Schwächen

Man selbst nimmt sich oft anders wahr als andere es tun. Um auch in Zukunft die Stärken des SOEP weiter auszubauen und vorhandene Schwächen zu verbessern, war ein wichtiger Bestandteil der diesjährigen Nutzerbefragung die Bitte, uns die drei größten Stärken und Schwächen des SOEP in einer offenen Angabe mitzuteilen. Die Vielzahl der daraus resultierenden Antworten ließen sich in 16 Themengebiete einsortieren. Die abgegebenen Stimmen, ob die jeweiligen Schwerpunkte Stärken oder Schwächen darstellen, wurden gegeneinander gerechnet und so konnte eine eindeutige Übersicht ausgegeben werden (Abbildung 4). Die drei größten Stärken kann das SOEP in seiner Vielfalt und Anzahl der Inhalte bzw. Variablen, der Dauer der Studie sowie der Datenqualität und dem Datenformat verzeichnen. Weniger ausgeprägte Stärken wie dem Datenzugang stehen die NutzerInnen überwiegend positiv gegenüber, sehen aber auch teilweise noch Entwicklungspotential, während deutliche Schwächen in der Nutzerfreundlichkeit der Daten und der Dokumentation aufgezeigt wurden. Beides sind Punkte, die wir auch für diese Datenweitergabe angegangen sind. So liefern wir jetzt eine integrierte Version der Daten aus, d.h. SOEP-Core und SOEPlong werden in einem Datenfile verschickt und die Neuauflage des Desktop Companions, jetzt SOEPcompanion genannt, (companion.soep.de/) ist bereits online.

 Abbildung 4

© DIW Berlin

Auch dieses Jahr haben wir wieder wegweisende Hinweise und Feedback erhalten, um unsere Arbeit und die zur Verfügung gestellten Services weiterhin zu verbessern. Wir bedanken uns dafür an dieser Stelle erneut bei allen TeilnehmerInnen!

Einleitung

Am 20. November 2017 hatten wieder zahlreiche SOEP Nutzer*Innen die Chance an der Nutzerbefragung teilzunehmen. Bis zum 03. Januar 2018 konnten die SOEP-Vertragsnehmer*Innen und Datennutzer*Innen mit ihren Meinungen, Wünschen und Ideen an der kontinuierlichen Weiterentwicklung des SOEP-Serviceangebots mitwirken. Neben den klassischen Fragen bezüglich der verschiedenen Serviceleistungen und Infrastrukturarbeit, lag dieses Jahr die Optimierung der Nutzerfreundlichkeit im Vordergrund. Wir bedanken uns bei den insgesamt 757 Teilnehmer*Innen für ihr reichhaltiges Feedback und die vielen Anregungen.

SOEP-Nutzer*Innen

Die erstmalige Arbeit mit den SOEP Daten kann für Neunutzer*Innen sehr schwierig sein. Um die Nutzerfreundlichkeit und die spezifischen Probleme der Nutzer*Innen zu identifizieren, muss die SOEP-Nutzergemeinschaft klar definiert werden. Etwa 63% der Befragten haben in den Jahren 2016 oder 2017 erstmalig mit den SOEP Daten gearbeitet und können als Neunutzer bezeichnet werden. Etwa 37 % der Befragten haben erstmalig vor 2016 mit den SOEP Daten gearbeitet und können als Altnutzer verstanden werden. Die Neunutzer*innen sind durchschnittlich 31 Jahre alt, überwiegend weiblich (53%), arbeiten hauptsächlich in der Fachrichtung Ökonomie (62%) und sind vorwiegend als Doktoranden*Innen (35%) oder wissenschaftliche Mitarbeiter*Innen (29%) vertreten. SOEP-Altnutzer sind ungefähr sieben Jahre älter und überwiegend männliche (65%)  Professoren (33%) oder wissenschaftliche Mitarbeiter (39%)  der Fachrichtungen Ökonomie (43%) und Soziologie (42%).

SOEP-Service

Abbildung 1

SOEPUsersurvey2017_Abb1

Dieses Jahr sollten die Befragungsteilnehmer*Innen verschiedene Qualitätskriterien des SOEP evaluieren (Abbildung 1). Hierbei wurde mit einer Likert-Skala (7 Ausprägungen) die Erwartungshaltung der Nutzergemeinschaft an spezifische Qualitätskriterien gemessen und mit der tatsächlich wahrgenommenen Umsetzung dieser Kriterien verglichen. Bei Themen wie pünktliche Datenlieferung, Informationsangebot für neue Studien/Projekte und dem Einreichen von eigenen Fragen bei SOEP-IS konnte das SOEP die Erwartungshaltung der Nutzer*Innen übertreffen. Eine Diskrepanz zwischen Erwartungshaltung und Realität konnte allerdings beim Qualitätsmerkmal „Nachvollziehbarkeit Generierungsprozess“ ermittelt werden. Hier haben die Nutzer*Innen hohe Erwartungen an das SOEP, die nicht vollständig erfüllt werden konnten.

 Nutzerfreundlichkeit

Abbildung 2

SOEPUsersurvey2017_Abb2

Um mögliche Probleme beim erstmaligen Arbeiten mit dem SOEP zu identifizieren, wurde dieses Jahr der Bedarf nach Anleitungen zu bestimmten Themengebieten abgefragt (Abbildung 2). Die Nutzer*Innen sollten sich in die Zeit zurück versetzten, als sie zum ersten Mal mit den SOEP Daten arbeiteten. Sie sollten auf einer Likert-Skala mit 7 Ausprägungen angeben, wie wichtig Ihnen ein Anleitungsangebot für spezifische Themen wäre und ob die aktuell bereitgestellten Informationen des SOEP ausreichen. Die Nutzergemeinschaft gibt an, dass zu Beginn der Datennutzung vor allem Anleitungen zum Finden von Fragen-und Variablenhistorie (Mittelwert: 5,6) und auch das Verstehen der Bedeutung von Datensatz- und Variablenbezeichnungen (Mittelwert: 5,6) für den Einstieg überaus wichtig sind. Vor allem beim „Finden von Fragen-und Variablenhistorie“ haben die Nutzer Probleme und die bereitgestellten Informationen des SOEP (Mittelwert: 4,6) sollten erweitert werden. Im Bereich „Erhebungsinstrumente und deren Inhalte“ decken sich die bereitgestellten Informationen des SOEP mit der Erwartungshaltung der Nutzergemeinschaft. Das Anleitungsangebot für die Nutzergemeinschaft würden 67% der Nutzer*Innen am liebsten in Textform mit Screenshots präsentiert bekommen (Abbildung 3).

SOEPcampus

Abbildung 3

SOEPUsersurvey2017_Abb3

Abbildung 4

SOEPUsersurvey2017_Abb4

Zusätzlich bietet das SOEP verschiedene SOEPcampus Veranstaltungen an, um den Arbeitseinstieg zu erleichtern. Damit das Schulungsangebot optimal an die Bedürfnisse der Alt-und Neunutzer*Innen angepasst werden kann, sollten die Befragten angeben, wie wichtig ihnen die verschiedenen Schulungsangebote sind (Abbildung 4). Beim Vergleich der Anteile an Altnutzer*Innen und Neunutzer*Innen, die ein Schulungsangebot als sehr wichtig bezeichnen, zeigen sich unterschiedliche Schulungsansprüche. Für Neunutzer*Innen sind Einführungsveranstaltungen in den „Techniken zur Aufbereitung von analysefähigen Datensätzen“ (Unterschied: 18%) und „Methoden zur Analyse von Längsschnittdaten (z.B. Panelregression)“ deutlich wichtiger. Bei den Altnutzer*Innen hingegen ist eine höhere Nachfrage nach einer „Einführung in die Nutzung von paneldata.org“(Unterschied: -14%) zu beobachten.

Dank des sehr umfangreichen Feedbacks unserer Befragungsteilnehmer*innen haben wir wieder wertvolle Hinweise bekommen, um unsere Arbeit und unseren Service kontinuierlich zu verbessern. Wir bedanken uns nochmal ganz herzlich bei allen Teilnehmer*Innen der Nutzerbefragung 2017!

Galerie

Einleitung

In den letzten beiden Monaten des Jahres 2016 war die Teilnahme an unserer Nutzerbefragung wieder erfreulich hoch. Neben den klassischen Fragen bezüglich unserer Serviceleistungen und Infrastrukturarbeit, ging es in diesem Jahr vor allem auch um die Bekanntheit unserer verschiedenen Studien und wie die SOEP-Daten genutzt werden. Von den insgesamt 713 Personen, die an der Befragung teilnahmen, arbeiteten im Jahr 2016 30% zum ersten Mal mit den SOEP-Daten. Im 6. Jahr in Folge richtete sich unsere Befragung an alle SOEP-VertragsnehmerInnen und DatennutzerInnen.

Bekanntheit der Studien

Unser Fragebogen hat dieses Jahr einen größeren Themenblock zur Bekanntheit und dem Interesse an unseren SOEP-basierten Studien, sowie zu deren Stärken und Schwächen enthalten. Im Zuge dessen konnten wir feststellen, dass etwa die Hälfte der Teilnehmenden bisher noch keine Kenntnisse über die Möglichkeiten von SOEP-IS hatte, diese aber durchaus sehr interessant findet und möglicherweise die Nutzung in Zukunft anstrebt (Abbildungen 1 und 2). Dies beinhaltet die Möglichkeiten, selbst Fragen und Experimente bei SOEP-IS vorzuschlagen, oder auch die Fragen und Experimente anderer Forschender nach einem entsprechenden Embargo auszuwerten.

© DIW Berlin

© DIW Berlin

Ein erfreulich hohes Interesse wurde an der IAB-BAMF-SOEP-Befragung von Geflüchteten und der Nutzung des im Herbst 2017 erscheinenden Datensatzes angekündigt. (Abbildung 3).

© DIW Berlin

Nutzung der Daten

Bei der Nutzung unserer Daten wollten wir auch herausfinden, welche Statistikprogramme wie stark vertreten sind (Abbildung 4). „Stata“ wird inzwischen von drei von vier NutzerInnen verwendet und hat sich als das überwiegend genutzte Programm etabliert. Außerdem gibt es einen stetigen Anstieg bei „R“ zu verzeichnen.

© DIW Berlin

Dank des sehr umfangreichen Feedbacks der Teilnehmenden haben wir außerdem wertvolle Hinweise bekommen, um unsere Arbeit und unseren Service weiterhin zu verbessern. Wir nehmen vor allem die Verbesserungswünsche zur Dokumentation zum Anlass, uns in diesem Punkt übersichtlicher und nutzerfreundlicher aufzustellen. Uns ist bewusst, dass bei der wachsenden „Landscape of SOEP Studies“ die Bereitstellung von geeigneten Hilfsmitteln ein wichtiger Bestandteil für den Einstieg in das SOEP bzw. für eine fortbestehende Nutzung darstellt. Neben der Überarbeitung des Metadatenportals „paneldata.org“ ist daher geplant, die SOEPlong-Dokumentation neu aufzusetzen und bei der Integration der IAB-BAMF-SOEP-Befragung von Geflüchteten sowohl die bestehende SOEP-Datenstruktur fortzuschreiben, als auch zusätzlich und separat rein migrationsbezogene generierte Variablen bereitzustellen und verständlich zu dokumentieren. Über den Stand dieser Aktivitäten werden wir Sie über unsere bekannten Kanäle (u.a. SOEPnewsletter und SOEP-Homepage) auf dem Laufenden halten.

Wir bedanken uns nochmal ganz herzlich für die Teilnahme an der Nutzerbefragung 2016!

Einleitung

Im Winter 2015 waren wieder 771 SOEP-Nutzerinnen und Nutzer so freundlich, an der Nutzerbefragung teilzunehmen. Neben den klassischen Fragen bezüglich unserer Serviceleistungen und Infrastrukturarbeit wurden dieses Jahr die Themenbereiche „Data Sharing in Academia“ und „Re-Analyse“ erstmals implementiert. Die Einladung zur Teilnahme wurde an die langjährigen Vertragsnehmer*innen, die neuen Untervertragsnehmer*innen im jeweiligen Befragungsjahr, die  Bezieher*innen der Daten via Download und die Mitglieder der SOEP-Mailingliste geschickt. Wir können mit Stolz berichten, dieses Jahr die höchste Teilnehmeranzahl seit Beginn der Nutzerbefragung erreicht zu haben. Im Vergleich zum Jahr 2014 freuen wir uns über einen Anstieg von 13 % (siehe Abbildung 1). Dafür möchten wir uns bei allen Teilnehmern und Teilnehmerinnen herzlich bedanken.

Wir kennen die Charakteristika unserer gesamten Nutzergemeinschaft nicht. Im folgenden verwenden wir den Begriff "Nutzergemeinschaft" für diejenigen Nutzer*innen, die an unserer Befragung teilgenommen haben.

Unsere Nutzergemeinschaft besteht im Jahr 2015 zu 41 % aus Nutzerinnen und zu 59 % aus Nutzern. Im Vergleich zum Vorjahr ist das ein Anstieg von 8 Prozentpunkten der Frauen und damit auch die höchste weibliche Teilnehmerzahl seit Beginn der Befragung im Jahr 2004.

Die wissenschaftlichen Mitarbeiter*innen und Post-Docs bilden mittlerweile 1/3 unserer Antwortenden, wohingegen ein Rückgang der Professor*innen zu verzeichnen ist. Im Zuge dessen konnten wir auch einen Rückgang der Datennutzung für Lehrtätigkeit (von 69 % in 2014 auf 61 % in 2015) feststellen.

Auch in den verschiedenen Fachrichtungen stellten wir Änderungen fest. Die Nutzer*innen, die sich der Ökonomie zugeordnet haben, sind mit insgesamt 45% weniger stark repräsentiert als im Jahr zuvor. Etwa 41% unserer Nutzergemeinschaft sind aus den Sozialwissenschaften/Soziologie.

Datenweitergabe

In der diesjährigen Nutzerbefragung wollten wir die Präferenzen der Nutzergemeinschaft zum Thema Datenweitergabe ermitteln. Die zunehmende Komplexität der Stichprobe erhöht auch den internen Generierungsaufwand, daher wird das Verfahren zur Datenaufbereitung und Datenweitergabe SOEPintern ständig weiterentwickelt. Um die Wünsche der Nutzer*innen bestmöglich umsetzen zu können, wollten wir ihnen die Möglichkeit geben, uns ihre Präferenzen mitzuteilen. Die Dimension „Frühzeitige Bereitstellung“, „Prüfqualität“ und „Vollständigkeit“ konnten per Drag & Drop-Verfahren in eine individuelle Reihenfolge gebracht werden (siehe Abbildung 2). Es hat sich herausgestellt, dass für unsere Nutzer*innen die „Frühzeitige Bereitstellung“ weniger wichtig ist als vielmehr die Prüfqualität und Vollständigkeit der Datenweitergabe. Daraus folgt, dass bei der Datenaufbereitung stärker auf Vollständigkeit und entsprechende Prüfungsverfahren Wert gelegt werden soll, auch wenn dies mit einer eventuellen zeitlichen Verzögerung einherginge. Die Abbildung 2 verdeutlicht, wie unsere Nutzergemeinschaft ihre Prioritäten setzt.

Datendokumentation

Wir nutzen unsere jährliche Befragung auch für eine Evaluation der einzelnen Servicebereiche. Auf einer Skala von 0 bis 10 konnte die Zufriedenheit unserer Serviceleistung in den Bereichen „Vertragsmanagement“, „Daten“, „Download“ und „Dokumentation“ bewertet werden. In allen Bereichen ist die überwiegende Mehrheit der Nutzer zufrieden mit unseren Leistungen. Zum Teil konnten die guten Ergebnisse aus dem Jahr 2014 sogar noch übertroffen werden.

Die Wichtigkeit des Bereichs  Datendokumentation zeigt sich auch in der kritischsten Beurteilung durch unsere Nutzer*innen. Wir sehen uns daher darin bestätigt gerade hier verstärkt an einer weiteren Verbesserung zu arbeiten. Ein wichtiger Schritt dazu ist die schrittweise Einführung eines neuen Metadatenportals. Dass bewährte Arbeitsweisen von unseren Nutzern nicht einfach umgestellt werden können, zeigt sich in Abbildung 3. Viele unserer Nutzer*innen arbeiten nach wie vor regelmäßig mit unserem alten Metadatenportal SOEPinfo, das wir weiterhin parallel zu paneldata.org angebieten.

Knapp die Hälfte der befragten Personen kennt allerdings auch noch nicht unser SOEPinfo-Metadatenportal paneldata.org, jedenfalls nicht unter seinem neuen Namen, den wir jetzt statt SOEPinfo v2 nutzen. Dank des umfangreichen Feedbacks unserer Befragungsteilnehmer*innen haben wir wertvolle Hinweise bekommen, wie wir den Umstieg auf paneldata.org noch einfacher und leichter gestalten können.

Wir arbeiten mit Hochdruck daran, paneldata.org zu optimieren und die Nutzung so komfortabel wie möglich zu machen. Wir möchten alle Nutzer*innen dazu ermutigen, den Umstieg zu wagen, da paneldata.org nicht nur unsere Hauptstudie SOEP-Core abbildet, sondern auch erstmals das praktische neue Format SOEPlong sowie die SOEP Innovationsstichprobe (SOEP-IS) und weitere Studien dokumentiert.

Wir bedanken uns nochmals ganz herzlich für die Teilnahme an der Nutzerbefragung 2015!

Im Herbst 2014 waren wieder 662 SOEP Nutzer im Rahmen der diesjährigen Nutzerbefragung so freundlich, Feedback zu aktuellen Fragen bezüglich unserer Serviceleistungen und Infrastrukturarbeit zu geben. Wir können uns bei der seit 2011 jährlich bereitgestellten Onlinebefragung an einem stabilen Teilnehmerkreis erfreuen. Die Zahl der Teilnehmer, die die Umfrage vollständig ausgefüllt haben, ist über die letzten vier Jahre kontinuierlich gestiegen (siehe Abbildung 1). 2004 wurde die Befragung noch per schriftlichen Fragebogen durchgeführt. Neben den langjährigen Vertragsnehmern und den neuen Untervertragsnehmern im jeweiligen Befragungsjahr, wird beim Versand der Einladungen neuerdings auch auf die Emailadressen der Downloadbezieher zurückgegriffen.

Abbildung 1

- Professoren zunehmend als Multiplikatoren des SOEP -

Bei der Zusammensetzung der Teilnehmer konnten wir eine Veränderung in Bezug auf den beruflichen Status registrieren. Während sich der Anteil der Studenten von 14,5 % im Jahr 2013 auf 8,7% reduziert hat, haben mit 45,7% nun deutlich mehr Professor_innen teilgenommen (im Vorjahr: 24,7%). Gleichzeitig wächst der Anteil von Befragten, die nicht selbst mit den SOEP-Daten arbeiten oder arbeiteten. Die Abbildung 2 verdeutlicht den Zuwachs von Professor_innen, die die Daten passiv nutzen und eher eine weitervermittelnde Rolle für das SOEP einnehmen. Die zusätzlich gestellte Frage, ob sie Nachwuchswissenschaftler_innen im Rahmen einer SOEP-Arbeit betreuen, beantworteten 63,4 % der Lehrenden mit „Ja“. Wir freuen uns über diesen Trend einer Vervielfältigung der Nutzergemeinschaft über diesem Weg, wenngleich viele Fragen unserer Nutzerbefragung nur mit einer eigenen SOEP-Erfahrung zu beantworten sind.

Abbildung 2

- Datendownload gut angenommen, Dokumentation verbesserungswürdig -

Wir nutzen unsere Befragung jährlich auch für eine Evaluation der einzelnen Servicebereichen. Die aus den SOEP-Erhebungsinstrumenten übernommene 11er-Skala wurde dabei zur Zufriedenheitsmessung angewandt. Für die Auswertung wurde sie auf drei Ausprägungen reduziert, um das Abschneiden der vier großen Servicebereiche zusammenzufassen. Die Abbildung 3 zeigt, dass die Nutzer_innen den Ende 2013 eingeführten Daten-Download positiv angenommen haben. Sowohl die Qualität als auch die vertragliche Abwicklung der Daten können dasselbe Zufriedenheitsniveau vorzeigen.

Spielraum nach oben wird uns hingegen im Bereich Dokumentation nahegelegt. Wir sind uns der zentralen Bedeutung der Datendokumentation bewusst und arbeiten stets an der Verbesserung dieses Bereiches. Ein Beispiel ist das jetzt wieder aktualisierte Handbuch DTC. Da wir mit all unseren Related Studies (SOEP-RS) weiterhin expandieren, ist eine detaillierte Dokumentation stets auch mit wachsendem Aufwand verbunden. Beispielsweise stellt die Integration der bis 2014 separat gelaufenen FiD-Studie in SOEP Core eine Herausforderung dar. Im Jahr 2015 soll sich u.a. der Anpassung dieser Daten verstärkt gewidmet werden, um eine einheitliche und nutzerfreundliche Dokumentation gewährleisten zu können.

Abbildung 3

- Dokumentation soll durch SOEPinfo v.2 zugänglicher werden -

Darüber hinaus soll sich das neuentwickelte Metadatenportal SOEPinfo v.2 weiter etablieren. Basierend auf dem Open-Source-Projekt „DDI on Rails“, beinhaltet es nicht nur die umfangreiche Dokumentation von SOEP Core aus dem Vorgänger SOEPinfo, sondern bildet auch die SOEPlong-Daten und weitere Studien (BASE II, SOEP-IS ...) ab. Die Nutzerbefragung ergab, dass nur wenige Monate nach der Bereitstellung des Portals bereits knapp ein Drittel der Teilnehmer_innen schon mal mit SOEPinfo v.2 gearbeitet hat (Abbildung 4). Anschließend bewertete diese Gruppe die bislang genutzte Version mit durchschnittlich 7 von 10 möglichen Punkten. In vier von sechs Unterkategorien, nämlich optische Gestaltung, Informationsgehalt, Qualität der generierten Syntax und Antwortgeschwindigkeit, lag die durchschnittliche Bewertung über 7. In der Summe sind die Bewertungspunkte für das neue Angebot auf vergleichbar gutem Niveau wie 2011 die Bewertungen für SOEPinfo in denselben Kategorien.

Abbildung 4

Befragungsteilnehmer_innen, die noch keine Erfahrungen mit dem neuen Metadatenportal gesammelt haben, gaben überwiegend an, dass sie aus Gewohnheit weiterhin auf das alte SOEPinfo zurückgreifen oder dass noch keine Notwendigkeit für einen Wechsel bestand. Der Entwicklung in der Frage, welche Dokumentationsquellen von den Nutzer_innen hauptsächlich herangezogen werden, blicken wir auch im kommenden Befragungsjahr mit großem Interesse entgegen. Bis dahin möchten wir alle dazu ermutigen, das neue Angebot SOEPinfo v.2 und vor allem dessen Feedbackmöglichkeit zu nutzen.

Auch 2013 wurde das Projekt als Online-Befragung mit dem webbasierten Instrument LimeSurvey© durchgeführt. Befragungsmonat war November 2013, es wurde auf strikte Einhaltung der Datenschutzbestimmungen geachtet. Außer den Unterzeichnern eines SOEP-Datenweitergabevertrages, die zur Teilnahme eingeladen worden waren, hatten auch andere Nutzer die Möglichkeit der Teilnahme, indem sie sich über dei DIW Berlin-Webseite anmeldeten. Insgesamt konnten 585 anonymisierte Antworten für die Analyse genutzt werden.

Bei den Unter-30jährigen gibt es mehr weibliche als männliche Datennutzer_innen. Bei den Nutzer_innen über 30 zeigt die Statistik ein umgekehrtes Ergebnis.
Insgesamt waren 2013 ungefähr 61% aller Nutzer_innen männlich.

Die meisten Nutzer_innen der SOEP-Daten sind wie bisher in den Wirtschafts- und Sozialwissenschaften zu finden.
2013 verorteten sich mehr als 80% aller Antwortenden in diesen beiden Disziplinen.

¹ Includes public health, other social sciences, and in 2004 also psychology.
² Also includes information science.

Falls Sie an weiteren Ergebnissen Interesse haben: Wir haben sie auf einem englischsprachigen  Poster zusammengefasst.

Insgesamt nahmen 574 NutzerInnen an der Befragung, die im Frühjahr 2012 durchgeführt wurde, teil, was einer Response Rate von 21 % entspricht. Die meisten unserer User kommen weiterhin aus der Ökonomie (49%) und der Soziologie (36 %).

Da das SOEP als Längsschnittstudie konzipiert wurde, war es uns besonders wichtig, mehr darüber zu erfahren, ob diese Eigenschaft der Daten auch für Analysen genutzt wird. Hier zeigt sich, dass nur 19 % der User, die uns antworteten, die Daten ausschließlich im Querschnitt nutzen, 22 % nutzen sie ausschließlich im Längsschnitt. Die Mehrheit (59%) nutzte die Daten sowohl im Querschnitt als auch im Längsschnitt.

Eine deutliche Veränderung zeigt sich bei der Nutzung statistischer Software. Im Jahr 2004 war SPSS die meistgenutzte Software (66 %), gefolgt von Stata (28 %) und SAS (5 %). Im Jahr 2012 belegt Stata den ersten Platz (55 %), SPSS den zweiten (26 %) und auf Platz drei wird SAS von der Open Source Software R mit 9 % abgelöst.

Um einen umfassenden Überblick zur Zufriedenheit der SOEP-NutzerInnen mit den verschiedenen Bereichen wie Datenqualität, Datenzugang und Dokumentation zu bekommen, werden im SOEP regelmäßig Befragungen unserer nationalen wie internationalen Datennutzer durchgeführt. So war es auch das zentrale Anliegen des im letzten Sommer durchgeführten „User-Survey 2011", wichtige Hinweise und Anregungen zur Verbesserung unseres Services zu erhalten.

Wir verschickten 1996 Emails an unsere Vertrags- und UntervertragsnehmerInnen. Von 443 Usern (22,2 %) erhielten wir eine Antwort. Diese Zahl entspricht ziemlich genau der Anzahl der „aktiven" SOEP-NutzerInnen, die im Jahr 2010 eine Daten-DVD angefordert haben und ausgeliefert bekamen (N = 420). Wir bedanken uns herzlich bei allen, die unserer Einladung gefolgt sind und den Fragebogen ausfüllten.

Großteil der SOEP Nutzer aus der Ökonomie und Soziologie

Wie schon in der Vergangenheit stammt auch diesmal der größte der Teil der Antwortenden aus den Disziplinen Ökonomie (50%)und Soziologie (33%). Es folgen NutzerInnen aus dem Bereich Psychologie (6 %), Statistik (4 %) und Politikwissenschaft (2%). Die restlichen 6 % stammen aus der Medizin, Pädagogik und Geografie. Die meisten Antwortenden leben in Deutschland (70 %) und der europäischen Union (20%). Aus Nordamerika und anderen Teilen der Welt erhielten wir 6 % bzw. 4 % der Antworten.

Insgesamt lässt sich eine hohe Zufriedenheit der User feststellen: Im Mittel betrug die Zufriedenheit mit den Daten 8,3, mit dem Datenzugang 8,6 und mit der Dokumentation 7,9 (möglicher Wertebereich von 0 bis 10). Nur fünf Antwortende gaben an, unzufrieden zu sein (Werte zwischen 0 und 4).

Vier von fünf nutzen den Längsschnittaspekt der SOEP Daten - ein Fünftel bereits SOEPlong

Die Ergebnisse zur Datennutzung zeigen, dass mehr als 80 % auch den Längsschnittaspekt der Daten nutzen. Für uns ist das sehr erfreulich, denn damit haben wir einen Hinweis erhalten, dass die Bereitstellung unseres neuen Datenformats SOEPlong der richtige Weg ist und die Arbeit mit dem SOEP für viele NutzerInnen erleichtern wird. SOEPlong reduziert die Anzahl der Datensätze extrem, da alle ähnlichen Datensätze zusammengefasst werden. Weiterhin wird durch SOEPlong das Problem der von Welle zu Welle unterschiedlichen Variablennamen gelöst. Trotz seines Beta Stadiums wird das neue Datenformat bereits von 20 % der Antwortenden genutzt. In der neuen Datenlieferung dieses Jahres stellen wir bereits die zweite, verbesserte Beta-Version dieses Formats zur Verfügung.
Über Rückmeldungen und Anregungen sind wir nach wie vor dankbar.

Lehrversion der SOEP-Daten

Ebenfalls sehr interessant sind die Ergebnisse zur Nutzung der SOEP-Daten in der Lehre. Obwohl 68 % der Antwortenden Lehrveranstaltungen durchführen, wird die spezielle Lehrversion der SOEP-Daten nur von 17 % der in der Lehre tätigen Antwortenden eingesetzt. Die Existenz einer speziellen Lehrversion war sogar 42% der User unbekannt. Daher werden wir in Zukunft stärker über die Lehrversion der SOEP-Daten informieren.

SOEPinfo fast allen bekannt

Auch in Bezug auf SOEPinfo hat die Nutzerbefragung Erkenntnisse geliefert. So zeigte sich zwar, dass nur 13% der antwortbereiten SOEP-NutzerInnen SOEPinfo nicht kennen. Dennoch wollen wir in Zukunft SOEPinfo auf unserer Homepage noch sichtbarer machen. Weiterhin wollen wir die Möglichkeiten von SOEPinfo noch weiter verbessern. Ein Ziel ist es beispielsweise, in Zukunft auch Metadaten-Informationen über das SOEPlong-Format in SOEPinfo einzubinden.

Rund zwei Drittel der SOEP-NutzerInnen verwenden Stata

Im Vergleich mit der NutzerInnen-Befragung des Jahres 2004 lässt sich eine Veränderung in der für die Arbeit mit den SOEP-Daten eingesetzten Software erkennen. Anders als im Jahr 2004 wird nun von den meisten Antwortenden Stata eingesetzt, SPSS hat seine Führungsposition verloren. Die Open-Source Software R wird von 8 % der Antwortenden eingesetzt. Mplus (3%), SAS (3 %) und TDA (2 %) werden kaum für die Arbeit mit den SOEP-Daten verwendet.

Die Stata-NutzerInnen wurden darüber hinaus nach der eingesetzten Stata-Version befragt. Die Befragung zeigte, dass drei Viertel der Stata-NutzerInnen über die Stata Versionen SE oder MP verfügen. Die begrenzte Intercooled Version von Stata, die nur eine limitierte Anzahl der nutzbaren Variablen innerhalb eines Datensatz erlaubt und daher den Personen-Datensatz von SOEPlong nicht komplett öffnen kann, wird von einer deutlich kleineren Gruppe genutzt (Hinweis: Es ist allerdings möglich über eine Auswahl der Variablen direkt mit dem `use' Befehl dennoch die benötigten Variablen in STATA IC zu laden: `use HID PID varlist using pl.dta'.)  

Danke für Ihre Teilnahme!

Wie wichtig die regelmäßige „Kommunikation" mit Ihnen, den SOEP-NutzerInnen ist, zeigt unter anderem die Tatsache, dass uns auf dem Wege der Befragung zwei kleinere Fehler in den Daten mitgeteilt wurden, die wir bereits mit der neuen Datenlieferung SOEP.v27 beheben konnten (ein Fehler in der Variablenkorrespondenz und ein Fehler in einem englischen Label). Wir bedanken uns ausdrücklich bei allen TeilnehmerInnen und werden die uns auf den Weg gegebenen Anregungen bestmöglich umsetzen.

In der Zukunft werden wir Sie erneut befragen. Wir planen das jährlich zu tun und zwar in der vorlesungsfreien Zeit, in der Hoffnung, dass das Ihren Bedürfnissen entgegenkommt und noch mehr NutzerInnen an der Befragung teilnehmen. Zudem wollen wir die Befragung noch nutzungsfreundlicher gestalten und den Umfang reduzieren. Der nächste SOEP User Survey kommt also bestimmt. Wir hoffen, dass Sie dann (wieder) dabei sind!

Ansprechpartner

Florian Griese
Florian Griese

Survey Manager (SOEP-Core) in der Infrastruktureinrichtung Sozio-oekonomisches Panel

keyboard_arrow_up