Når Vampus har rett

12. oktober 2006 slaktet VamPus (i hennes sideprosjekt Vampus’ linkverden) en spørreundersøkelse som konkluderte med at invasjonen i Irak hadde kostet mellom 400.000 og 900.000 mennesker livet. Kritikken fra andre bloggere var klar. Jeg var en av dem, og skrev i kommentarfeltet:

Ja, du skulle nok fulgt med i statistikktimene, gitt. Det er naturligvis en viss usikkerhet i tall basert på en spørreundersøkelse. Dersom undersøkelsen er utført slik de beskriver i rapporten sin (det kan jo selvsagt hende at det er blank løgn), er det derimot 95 % sikkert at tallet ligger mellom 392.279 og 942.636.

Nå har noen andre publisert en grundigere undersøkelse med flere respondenter og bedre metoder. Resultatet deres er at antallet døde ligger mellom 104.000 og 223.000. Det er stadig svært høyt, og mye høyere enn selv de høyeste offisielle anslagene.

When underreporting was taken into account, the rate of violence-related death was estimated to be 1.67 (95% uncertainty range, 1.24 to 2.30). This rate translates into an estimated number of violent deaths of 151,000 (95% uncertainty range, 104,000 to 223,000) from March 2003 through June 2006.

Mea culpa. 

Hvordan kunne den opprinnelige undersøkelsen ta feil? Vel, for det første kan det hende at det rett og slett beror på tilfeldigheter. Statistiske estimater angir resultater med sannsynlighet - slik at tallet i den første undersøkelsen med 5 % sannsynlighet kan være utenfor rekkevidden. Det er dog ekstremt usannsynlig at tallet i virkeligheten ligger mellom de to undersøkelsenes resultater.

Den viktigste årsaken er nok metodiske svakheter i den opprinnelige undersøkelsen. Sørget de for å telle hvert dødsfall bare en gang? Sørget de for å ulike områder riktig, slik at tallene fra de mest voldsutsatte områdene ikke ble brukt til å estimere dødstallene i rolige områder? Ga de intervjuobjektene riktig informasjon?

Edit: Min hovedfeil var å sammenligne dette med generelle spørreundersøkelser. Det er naturligvis ikke riktig å gjøre. Dødsfall i familien på grunn av vold er – selv i Irak – et ganske uvanlig fenomen. Det kreves derfor langt flere respondenter for å få et presist tall. Selv om konfidensintervallet i prinsippet fanger opp denne usikkerheten, øker også innflytelsen fra metodiske utvalgsfeil markant når fenomenet er så lite i forhold til utvalget.