Karin Nelsson: Därför är det viktigt att förstå statistik

Karin Nelsson är expert på statistik och undersökning. Här ger hon sina bästa råd till journalister som rapporterar om undersökningar och förklarar varför det är viktigt för journalister att förstå statistik.

 

Vilka är dina fem bästa tips till journalister när det gäller statistik/undersökningar?

  1. Kom ihåg att undersökningar är förknippade med osäkerhet.
  2. Små förändringar från en mätning till en annan kan bero på slumpen.
  3. Flytta fokus från kortsiktiga till långsiktiga förändringar.
  4. Redovisa mer utförligt information om metod och felkällor.
  5. Om undersökningen visar ett sensationellt resultat som inte synts i någon annan undersökning, ta det lite lugnt med löpsedlarna.

Vilka är de största farorna med att inte hantera statistik/undersökningar rätt som journalist?
– Det är att tro att ett undersökningsresultat är det samma som ett definitivt resultat. Undersökningar som görs på delar av en population, så kallade stickprov, är alltid förknippade med osäkerhet. Och när det gäller undersökningar inför val är det så att folk allt oftare ändrar sig när det verkliga valet närmar sig och att de också påverkas av undersökningar som publiceras.

– I folkomröstning om EU-medlemskapet i Storbritannien var det ungefär lika många människor som var för och som var emot. Eftersom mätningarna visade viss övervikt för stanna, blev slutsatsen att Storbritannien skulle rösta för att stanna kvar i EU. Med den statistiska felmarginalen medtagen i beräkningen borde slutsatsen ha varit att det var lika många som skulle rösta för att stanna som för att lämna och att utfallet av folkomröstningen var osäkert.

– Ett annat exempel är presidentvalet i USA 2016. Mätningarna på hela riket, visade att Clinton skulle vinna. Och det blev också fallet. Men presidentvalet i USA vinns inte på det sättet utan delstat för delstat. Trump vann fler delstater och därmed blev han också president.

– Här har vi undersökare ett ansvar att tydligare berätta hur statistik kan användas. Det är också bakgrunden till att vi nu försöker föra ut vårt kunnande och bättre försöka förmedla hur statistik kan tolkas och användas.


Läs mer: Checklista för att rapportera om statistiska undersökningar >>


Vad tycker du att journalister ska tänka på om de vill göra egna undersökningar? Finns det några särskilda fallgropar för den som inte är proffs?
– Det svåraste och där vi undersökare skiljer oss från journalister är urvalet, vilka vi frågar och hur många vi ska fråga för att det ska vara statistiskt säkert och hur urvalet är sammansatt. Vid urvalsdragning behöver vi därför göra beräkningar för att se till att vi inte frågar för få och för att säkerställa att bortfallet inte blir för stort. När resultatet har kommit in använder vi olika vägningsmetoder för att säkerställa att resultatet speglar den målgrupp vi vill undersöka. I dessa fall krävs statistisk kompetens.

– Det finns många andra felkällor som vi undersökare tar särskild hänsyn till, till exempel om frågan är vinklad.

– Journalister har höga etiska krav och är generellt väldigt duktiga på att ställa frågor. Journalister och undersökare förenas även i källskyddet där uppgiftslämnaren till en journalisti får vara anonym och våra respondenter är också anonyma när de lämnar sina svar på enkäter.

Kan du förklara vad som menas med viktning? Exempel?
– Det handlar om att korrigera för skevheter i resultatet i opinionsudersökningar. Ett vanligt exempel är när man gör en undersökning bland allmänheten. Vi vet att fördelningen mellan män och kvinnor över 18 år i Sverige, är ungefär 50 procent i vardera grupp. När vi tittar på resultatet visar det sig att vi har fått svar från 40% män och 60% kvinnor. Att vikta resultatet innebär att männens svar får väga lite mer – vi viktar upp resultatet så att svaren representerar 50 procent och vi viktar ned resultatet för kvinnor så att de svaren också representerar 50 procent. Allt större fokus inom dagens statistik handlar om att vikta och att skapa viktmatriser för att kompensera för bortfall, när det är svårare att nå vissa grupper i en population.

Hur ska man få fram den information som ni rekommenderar att journalister kontrollerar i checklistan?
– I de branschetiska regler som vi undersökningsföretag verkar efter är vi skyldiga att lämna denna information. Vill eller kan det undersökande företaget inte lämna denna information ifrån sig ska man vara försiktig med att rapportera resultatet.

Karin Nelsson är ordförande i branschorganisationen Svenska marknadsundersökningsföretag, SMIF, och styrelseledamot i Surveyföreningen och till vardags partner i analysföretaget Inizio.