Bryr seg mindre, skårer bedre?

I Sverige har Pisa-debatten blomstret de siste dagene, grunnet en «avsløring» i Dagens nyheter: Svenske elever bryr seg minst om å prestere på testen.

Denne forklaringen har med jevnlige mellomrom dukket opp i landene som gjør det dårligere enn selvbildet tilsier. Ifølge noen rapporter er det hornmusikk og flaggheising når koreanske barn patriotisk kaster seg over testen for å ære landet og forfedrene, mens vi her i Norden utenom Finland knapt orker å krysse av. Sannnheten er nok litt mindre spennende.

Elevenes innsats på testen kan definitivt påvirke resultatene, så dersom det finnes systematiske, kulturelle forskjeller vil det gi seg utslag. På den andre siden: Om norske og svenske elever ikke gidder å prestere og jobbe, kan det nok tenkes å ha effekter på ferdighetene, også.

Dagens Nyheter har laget en smart indeks på den egen-oppgitte underprestasjonen. De sammenligner elevenes selvrapporterte innsats på prøven, som i utgangspunktet er litt for kulturelt sensitiv til å brukes direkte, med et annet spørsmål, nemlig hvor mye innsats eleven ville lagt inn dersom prøven påvirket karakteren. Sverige har det største gapet her, med Norge på fjerdeplass.

Men DN ser ikke på spørsmålet om det faktisk er noen sammenheng. Det kan kanskje skyldes at DNs hypotese fort blir veldig hårete i møte med data. Vi setter opp denne prestasjonsindeksen mot gjennomsnittlig resultat på de tre områdene i PISA. Hypotesen er at dette skal gi en synkende tendens: Jo mer man rapporterer underprestasjon, jo dårligere skal prestasjonen bli.

Men nei. Det viser det seg at underpresterer-landene skårer bedre enn de andre. Faktisk forklarer underprestasjonsvariabelen en firedel av variasjonen i resultatet. Om man ga et hakk mer blaffen, på en skala fra 1-10, økte resultatene med 48 poeng:

Dette resultatet er selvsagt drevet av en annen, underliggende årsak. De mest autoritære regimene har både dårlige resultater og mye innsats. De «minst underpresterende» landene er Vietnam, Indonesia og Kazakhstan, der elevene har høy innsats, men rammebetingelsene er veldig mye dårligere enn våre. Det er farlig å synse for mye om årsakssammenhenger her, men jeg våger meg til å antyde såpass som at en liberal skole som bygger selvstendig ungdom, så selvstendig at de tør å gi blaffen i prøver,  har vært en lønnsom strategi for både demokrati, økonomi og vitenskap. Samtidig er det mye lettere å være liberal i et land «der ingen trenger å være fattige», som det heter nå om dagen.

Utvalget av land er altså for ulikt til at en slik enkel korrelasjon kan fungere. Men hva om vi bare tar med de ordentlige medlemmene av OECD, altså rike, avanserte økonomier? Da skulle vel slikt forsvinne. Så autoritære er vel ikke Spania, USA og Finland, at ungene der ikke tør annet enn å krysse av for «maks innsats». Da bør jo effekten av at svensker og nordmenn bare ikke gidder Pisa slå inn:

Nei, fortsatt ser det poeng å hente på å gi blaffen. Men nå er korrelasjonen klart drevet av de tre punktene nederst til høyre, som også er de fattigste medlemmene av OECD; Chile, Mexico og Tyrkia. Om vi bare tar de bort…¹

Presto! Den positive effekten av å underprestere borte. Men hypotesen var altså det motsatte: At det skulle finnes en negativ sammenheng. Den er ingen steder å se.

Altså: Når vi sammenligner oss med landene som ligner oss mest, er det ingen dekning i Pisa-resultatene for at elevenes oppgitte underprestasjon påvirker resultatet på prøvene.

Pisa-kritikerne gjør klokt i å stoppe forsøkene på å underminere selve prøven, og heller konsentrere seg om den substansielle debatten: Hva er det den måler? Er det viktig å være over snittet på disse tingene?