Som man spør...

Minerva har laget spørreundersøkelse om viljen til å kutte skatt. Spørreundersøkelsen legges frem slik for respondenten:

• Norge er ett av få land er man får utbetalt full lønn når man er syk. Sykefraværet i Norge er høyt sammenlignet med andre land. Dersom noen foreslo å redusere sykelønnen til 75 prosent og bruke innsparingen til å senke skatten for en vanlig inntekt med 4000 kroner, ville du være positiv eller negativ?
• Dersom innsparingen man får ved å redusere sykelønnen til 75 prosent istedenfor skattelette ble brukt til å øke offentlige utgifter til ulike formål, ville du være positiv eller negativ?

Det er et søtt forsøk, fordi det vil så mye. Minerva ønsker å være redelige, og ikke lage ledende spørsmål. Derfor må mye forklares, og det må være bestemte tall, og du kan nærmest se hvordan de har sittet og regnet for å komme frem til akkurat kombinasjonen 75 % - 4000 kr.

Likevel feiler disse spørsmålene på nesten alle kriterier for god surveydesign. La oss ta utgangspunkt i en enkel innføringsbok i surveydesign, Fowlers Improving Survey Questions: Design and Evaluation. Den oppgir en rekke forskningsbaserte tommelfingerregler for hva du bør spørre om. Minervas undersøkelse bryter mot et flertall:

Prinsipp 1b: Vær på vakt mot hypotetiske spørsmål

For som Fowler skriver, er folk «veldig dårlige til å forutsi hva de selv ville gjøre eller hva de ville føle i en ukjent situasjon».

Prinsipp 1d: Vær på vakt mot å stille respondenter spørsmål om komplekse sammenhenger

«Det er fort gjort for de som er involvert i en sak å overvurdere hvor interesserte folk flest er i deres kjepphest», skriver Fowler. Det er bedre å stille folk spørsmål om hva de opplever som problemer – førstehånds problemer – enn å be dem vurdere løsninger, fortsetter han.

Prinsipp 2a: Ikke still to spørsmål på en gang

Det er bedre surveydesign å stille folk ett og ett spørsmål, slik at de ikke tar stilling til en hel pakke. Det er selvsagt Minervas poeng at man ikke kan både skattelette og sykelønn på en gang her, men problemet er at ved å stille spørsmål sammensatt av flere forhold blir validiteten svakere. Hvis du ikke kan stille spørsmålet uten å stille flere spørsmål på en gang, er det trolig et tema som vanskelig kan opplyses ved spørreundersøkelse.

Prinsipp 2b: Ikke still spørsmål som gjør unødige forutsetninger

Mens prinsipp 2a kalles «toløpsspørsmål», er denne typen «ett-og-et-halvt-løp», og Fowlers eksempel er et spørsmål som «med økonomien slik den er, tror du det er en god idé å investere i aksjer?». Minervas innledende kommentarer til spørsmålene («100 % sykelønn er veldig uvanlig» og «Norge har veldig høyt sykefravær») lader en slik ett-og-et-halvt-løpsbørse. Du svarer på noe mer enn bare hva du mener om skatt og sykelønn.

Fowler underspiller også dette poenget, fordi han egentlig har forsket på markedsundersøkelser og annet der politiske poenger og styrt surveydesign ikke er et problem. Men den innledende lille historien på Minervas spørsmål har en enorm effekt. Dette vet vi fra mange studier på framing av spørsmål. Hadde spørsmålet begynt med «Som et av de første landene i verden fikk Norge sykelønn. Norge har det største overskuddet på statsbudsjettet i OECD-området», hadde svarene blitt noe helt annet.

Minerva forteller ikke faktafeil, men problemet er hvilke fakta de velger å presentere. Svarene på slike spørsmål påvirkes av særlig to ulike psykologiske tilbøyeligheter. Den ene er den såkalte framing-effekten, der konteksten informasjonen inngår i endrer folks oppfatning av informasjonen.

Den andre er response bias: folk tilpasser svarene sine etter spørreren, på en slik måte at man forsøker å gjøre spørreren fornøyd ved å gjette hva han eller hun mener er riktig svar. Dette er vår sosiale hjerne på høygir: vi opplever underbevisst en spørreundersøkelse som en autoritet, og vil gjerne svare riktig for å vise oss som en som har forstått. Derfor må spørreundersøkelser formuleres slik at det er vanskelig å forstå hvilket svar spørreren ønsker. Når man begynner med «Norge er et av få land med sykelønn og har veldig høyt sykefravær» er spørrerens politiske ståsted gjort overmåte tydelig for svareren.

Det er strengt tatt ingen grunn til å ta med de to første setningene i teksten. Den eneste effekten man oppnår, er å klusse til resultatene. Men jeg tror ikke Minerva gjorde dette bevisst for å drive en kampanje mot sykelønn. Kanskje har de tenkt at dette er objektiv informasjon, som folk burde ha før de svarer. Dermed har Minerva blitt fanget av en annen psykologisk tilbøyelighet: nemlig den at vi tror vi selv ikke er påvirket av slike psykologiske tilbøyeligheter.

Prinsipp 3a & 3b: Alle respondentene må forstå alle ordene likt, og definisjoner må gis på ord som ikke sannsynligvis tenkes likt om

Problembegrepet er «offentlige utgifter», og delvis «sykelønn» – ikke kjempestore problemer for undersøkelsen, men det er svake valg av ord. Psykologisk forskning viser at folk som er for «offentlige utgifter» ser gjerne for seg noe helt annet enn folk som er mot. Ingen er vel strengt tatt positive til offentlige utgifter, men mange liker offentlige tjenester – men enda verre – det ville oppstå stor uenighet dersom man skulle trekke opp skillelinjene mellom offentlig og ikke.

For å si det litt enkelt: hadde man spurt om folk ville ha mer pengebruk på vei og jernbane eller skattelette, hadde man fått et helt annet svar. Abstrakte, unyttige offentlige utgifter er folk mot, mens konkrete, nyttige syns de er helt topp.