12. oktober 2006 slaktet VamPus (i hennes sideprosjekt Vampus’ linkverden) en spørreundersøkelse som konkluderte med at invasjonen i Irak hadde kostet mellom 400.000 og 900.000 mennesker livet. Kritikken fra andre bloggere var klar. Jeg var en av dem, og skrev i kommentarfeltet:
Ja, du skulle nok fulgt med i statistikktimene, gitt. Det er naturligvis en viss usikkerhet i tall basert på en spørreundersøkelse. Dersom undersøkelsen er utført slik de beskriver i rapporten sin (det kan jo selvsagt hende at det er blank løgn), er det derimot 95 % sikkert at tallet ligger mellom 392.279 og 942.636.
Nå har noen andre publisert en grundigere undersøkelse med flere respondenter og bedre metoder. Resultatet deres er at antallet døde ligger mellom 104.000 og 223.000. Det er stadig svært høyt, og mye høyere enn selv de høyeste offisielle anslagene.
When underreporting was taken into account, the rate of violence-related death was estimated to be 1.67 (95% uncertainty range, 1.24 to 2.30). This rate translates into an estimated number of violent deaths of 151,000 (95% uncertainty range, 104,000 to 223,000) from March 2003 through June 2006.
Mea culpa.
Hvordan kunne den opprinnelige undersøkelsen ta feil? Vel, for det første kan det hende at det rett og slett beror på tilfeldigheter. Statistiske estimater angir resultater med sannsynlighet — slik at tallet i den første undersøkelsen med 5 % sannsynlighet kan være utenfor rekkevidden. Det er dog ekstremt usannsynlig at tallet i virkeligheten ligger mellom de to undersøkelsenes resultater.
Den viktigste årsaken er nok metodiske svakheter i den opprinnelige undersøkelsen. Sørget de for å telle hvert dødsfall bare en gang? Sørget de for å ulike områder riktig, slik at tallene fra de mest voldsutsatte områdene ikke ble brukt til å estimere dødstallene i rolige områder? Ga de intervjuobjektene riktig informasjon?
Edit: Min hovedfeil var å sammenligne dette med generelle spørreundersøkelser. Det er naturligvis ikke riktig å gjøre. Dødsfall i familien på grunn av vold er — selv i Irak — et ganske uvanlig fenomen. Det kreves derfor langt flere respondenter for å få et presist tall. Selv om konfidensintervallet i prinsippet fanger opp denne usikkerheten, øker også innflytelsen fra metodiske utvalgsfeil markant når fenomenet er så lite i forhold til utvalget.
Nøt du denne? Da vil du kanskje like:
The Når Vampus har rett by Sigve Indregard, unless otherwise expressly stated, is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 3.0 Norway License.
Nå har jeg bare sett på denne nye undersøkelsen med et halvt øye, men måler ikke denne og den gamle undersøkelsen fra Lancet forsåvidt to forskjellige ting? (Ja, altså, ikke forskjellige da, begge måler vel døde mennesker)
Denne undersøkelsen fra NEJM måler “Violence-Related Mortality in Iraq from 2002 to 2006″ mens den forrige målte antall døde totalt, og sammenlignet det med “normalen”? Dermed kom man frem til at det var 600 000 flere døde enn det ville vært uten krigen, selv om ikke alle 600 000 ble drept av kuler og bilbomber?
Men korriger meg gjerne om jeg tar feil der altså. Jeg skal se litt mer på dette seinere når jeg får tid.