Öppna data 2 – Replikerbarhet av figurer om livstillfredsställelse baserade på data från Eurobarometer och SOM

Ett argument för öppen vetenskap är att replikerbarheten ökar. När data ligger ute så kan vem som helst med tillräckliga kunskaper kontrollera och återskapa de analyser som ligger till grund för forskningsresultaten.

Jag tänkte att det hela kunde prövas. Vissa talar nämligen om en replikationskris.

Häromdagen läste jag en intressant artikel av Brülde och Nilsson (2010) som innehåller följande figur:


I förra bloggposten skrev jag om hur man kan analysera data från SOM-institutets stora enkäter. Figuren ovan innehåller dock även data från Eurobarometern. Dessa data är öppet tillgängliga från EU-kommissionens hemsida. Jag skrev en liten Jupyter-anteckningsbok med Pythonkod som beskriver hur man kan analysera den lätt.

Det intressanta med figuren är att den visar på en ganska stor skillnad mellan Eurobarometerns besöksintervjuer och SOM-institutets postalenkäter, trots att man ställer samma fråga. Brülde och Nilsson skriver:

Att besöksintervjuer tenderar att generera mer positiva svar blir särskilt tydligt i en jämförelse av utfallet i SOM-undersökningen och Eurobarometern (EB) över tid (figur 1). Det ska emellertid noteras att även svarsskalan skiljer sig åt i dessa undersökningar; där SOM på den ”missnöjda sidan” använder sig av ’inte särskilt nöjd’ och ’inte alls nöjd’ har EB lite starkare formuleringar – ’ganska missnöjd’ och ’mycket missnöjd’ – något som rimligen också det bidrar till den genomgående mer nöjda svenska befolkningen i EB:s mätning. (s. 5)

Jag tog således resultaten från SOM och Eurobarometern, bakade ihop dem till en csv-fil och skrev några rader kod. Viktigt är att man bara tar de mätningar från Eurobarometern som är genomförda på hösten (samma tid som SOM går i fält). Så här blev min figur (har lagt till några extra år som bonus):

Det ser ju bra ut. Eller… vänta nu. Min figur har 39% mycket nöjda år 2000 medan Brülde och Nilsson bara har 35%. Det kan knappast vara ett avrundningsfel. Tillbaka till källdatan från Eurobarometern:

Det ser ut som att Brülde och Nillson har tagit data från mätningen den fjärde maj istället för den fjortonde november (men det kan likagärna vara jag som har blandat ihop korten).

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Time limit is exhausted. Please reload CAPTCHA.