Foto: Fredrik Sandberg / TT

Förtroendet för opinionsundersökningar sjunker: Är trygg med våra metoder

Uppdaterad
Publicerad

I dag presenterade SCB årets andra stora mätning om partisympatier i landet. Samtidigt sjunker förtroendet för opinionsundersökningarna efter att flera mätningar i år visat på fel vinnare.

John Kling, ansvarig Partisympatiundersökningar SCB, menar att undersökningarna är att lita på.

– Jag är trygg med våra metoder, säger Klin till SVT Nyheter.

Statistiska Centralbyråns stora mätning om partisympatier görs två gånger per år och startades i början av 70-talet. I mätningen som presenterades på torsdagen har 9.000 slumpvis utvalda personer fått förfrågan att delta och resultatet är meningen att påvisa vilket parti som är populärast i dag.

Men en rad fiaskon med olika prognoser runt om i världen under de senaste åren har gjort att många blivit allt mer tveksamma till om opinionsmätningarna går att lita på överhuvudtaget.

Kan man lita på opinionsundersökningar? 

– Självklart. Men man kan inte bara säga absolut ja eller absolut nej. Det är ungefär som att säga ”kan man lita på att det byggs ett hus ordentligt?”, säger Torbjörn Sjöström, VD på undersökningsföretaget Novus.

– Man måste ju se så att hantverkaren vet sitt jobb, säger Sjöström.

Flera mätningar har visat fel

I närmare 80 åren har valprognoserna haft en hög trovärdighet i samhället. Men under senare år har det varit en rad av misslyckanden i mätningar – som exempelvis valprognoserna för USA-valet, Brexit, valet på Island, folkomröstningen om fredsavtalet med FARC-gerillan i Colombia – som gjort att många börjat tvivla på om mätningar av väljaropinioner går att lita på.

Kostnaderna har blivit högre 

På opinionsinstitutet Novus menar man att massmedia som beställer valprognoserna är ovilliga att betala för de ökade kostnaderna. 

– Undersökningsföretagen får mindre pengar för sina undersökningar och det är en mer komplicerad metod att göra. Och då har undersökningsföretagen två val – göra en bra undersökning utan att få betalt för det eller inte göra den alls. Men man väljer ett tredje val som inte är jättebra. Man gör en sämre undersökning som matchar betalningsviljan och hoppas att det inte ska vara så mycket förändringar, när allt talar mot att det ska vara väldigt stora förändringar, säger Torbjörn Sjöström.

Dessutom har väljarna på senare tid blivit alltmer ombytliga i sina partisympatier. Samtidigt som allt färre vill svara på undersökarnas frågor, svarar vissa fel medvetet eller är svåra att få tag på. Detta gör att det tar längre tid för dem som gör mätningarna att få ihop ett resultat med så litet bortfall som möjligt, vilket innebär att kostnaderna blir större. 

”Trygg med våra metoder”

På SCB, vars undersökningar betalas med skattemedel, tycker man att deras undersökningarna går att lita på. 

– Ja, det tycker jag nog att man kan göra och framförallt så kan man ju lita på partisympatiundersökningen som SCB genomför, säger John Kling, ansvarig Partisympatiundersökningar SCB. 

Undersökningen är gjord genom ett slumpmässigt urval där 9.000 personer, två gånger om året, tillfrågas om de vill ställa upp i undersökningen. 

– Sedan så försöker vi se till att så många som möjligt av dem också svarar på undersökningen. Man kan alltså inte själv anmäla sig till den och med det så är jag trygg med våra metoder, säger John Kling. 

Massmedia tolkar fel 

Dan Hedlin, professor i statistik vid Stockholms universitet, menar att massmedia tolkar undersökningarna fel och måste bli bättre på att förklara osäkerheten kring undersökningarna. 

Hedin säger bland annat att om man rapporterar om partisympatier och säger att alla förändringar ligger inom de statistiska felmarginalen betyder det att inga förändringar kan beläggas.

– Då är hela resonemanget om vilka partier som har gått upp och vilka som har gått ned helt meningslöst. Där tycker jag nog att media har en roll att spela att vara mycket tydliga, mycket bättre att beskriva osäkerheten i statistiska undersökningar.

POLICY ANGÅNDE OPINIONSUNDERSÖKNINGAR PÅ SVT NYHETER

1. Är urvalet slumpmässigt? För att svaren i urvalet ska kunna representera en specifik grupp, ex ”svenska folket” så krävs det att urvalet är slumpmässigt. I självrekryterade webb-paneler, ”fråga folk på stan-undersökningar” m.m. är det inte slumpen som avgör vilka som får delta vilket gör det svårt att säga vilken grupp svaren ska sägas representera. Därför publicerar SVT enbart undersökningar där urvalet är slumpmässigt.

2. Är frågan vettigt ställd? Var observant på ledande och villkorade frågor. Kontrollera även att svarsalternativen inte är skeva, dvs att det inte finns tre olika ja-alternativ, men bara ett nej-alternativ.

3. Hur stort är urvalet? 1 000 svar är ett bra riktmärke – men färre svar kan godkännas om urvalet är gjort på ett bra och säkert sätt

4. Vilken insamlingsmetod har använts? De vanligaste insamlingsmetoderna är telefonintervjuer, brev och webbenkäter. Om en undersökningen är genomförd i en webbpanel krävs att paneldeltagarna är slumpmässigt rekryterade. Observera att även ett slumpmässigt urval från en självrekryterad panel inte är godkänt, Grundprincipen är att vi inte accepterar självrekryterade paneler. (se punkt 1)

5. Hur stort är bortfallet? Ett stort bortfall är ett problem på så sätt att det riskerar att snedvrida resultaten. Är bortfallet stort (40% eller mer kan ses som en riktlinje) skall undersökningsföretaget kunna svara på att man kontrollerat för eventuella skevheter i bortfallet. Är skevheterna väldigt stora bör resultaten inte publiceras.Om bortfallet är större än 60% (dvs svarsfrekvensen understiger 40%) måste man allvarligt ifrågasätta hur representativa resultaten är och därmed också publiceringen. I dessa fall är det extra viktigt att få en kvalitetsredovisning från den som genomfört undersökningen. 

6. Vem har beställt undersökningen? Om någon organisation eller företag har gjort en beställd undersökning som vi erbjuds är de förstås nöjda med resultatet. Nyhetsvärdera hårt i dessa fall! 

7. Finns det skillnader i åsikter? För att vi ska kunna säga något om t. ex mäns och kvinnors åsikter i en fråga verkligen skiljer sig åt, så krävs att skillnaderna i deras svar är större än vad som kan förklaras av slumpen, dvs att den är större än felmarginalen.

För partisympatiundersökningar gäller dessutom:

8. Ligger förändringen inom felmarginalen? Då påpekar vi det. 

9. Partisympatiundersökningar som SVT använder sig av SCB, Sifo, Novus, Ipsos, Skop och Demoskop 10. Antal svarandePartisympatiundersökningar ska ha minst 1 000 svarande.

Så arbetar vi

SVT:s nyheter ska stå för saklighet och opartiskhet. Det vi publicerar ska vara sant och relevant. Vid akuta nyhetslägen kan det vara svårt att få alla fakta bekräftade, då ska vi berätta vad vi vet – och inte vet. Läs mer om hur vi arbetar.