feb 07

Simpsons paradoks

Hvis statistik anvendes forkert kan det resultere i fejlagtige konklusioner. En af de mest omtalte fænomener er Simpsons Paradoks. Simpsons Paradoks opstår, når tendenser i et aggregeret datasæt efter opdeling i grupper, viser et ganske andet resultat. Et af de mest benyttede eksempler er fra et medicinstudie som sammenlignede succesraterne for to behandlinger for nyresten (eksemplet er fra den virkelige verden).

Tabellen nedenfor viser succesraterne for to forskellige behandlingsformer (behandling A og B). Ser vi på den samlede succesrate, så er behandling B at foretrække, da vi her summeret set kigger på en succesrate på 83%, mod behandling As 78%. Anskuer vi imidlertid succesraten ud fra, hvor stor nyrestenen som skal behandles er, så ser det ud til at behandling A er at foretrække i begge tilfælde – hov, hvordan skete det lige?

 

Behandlingsform A

Behandlingsform B

Små nyresten

Gruppe 1
93% (81/87)

Gruppe 2
87% (234/270)

Store nyresten

Gruppe 3
73% (192/263)

Gruppe 4
69% (55/80)

Samlet

78% (273/350)

83% (289/350)

 

Problemet opstår fordi vi ikke er opmærksom på en afgørende bagvedliggende faktor som i dette tilfælde er nyrestenens størrelse. Vi tror således, at vi konkluderer på den samme populationsstørrelse (350 i hver gruppe, men i virkeligheden er der en overvægt af de sværere patienter med store nyresten under behandlingsform A (Gruppe 3), hvilket derfor skævvrider resultatet (for begge behandlingsformer ses jo, at succesraterne for store nyresten er lavere end for patienter med små nyresten).

Simpsons Paradoks understreger vigtigheden af at have så meget viden tilgængeligt som muligt, og at forståelsen af konteksten er kritisk. Selvom man slynger om sig med fine statistiske begreber som goodness-of-fit og chi-square, så er det ingen sikkerhed for at have ret. Virkeligheden er ofte mere kompleks og statistiske modeller bør derfor aldrig stå alene – sund fornuft og grundig research er fundamentet.

Derfor er vi i Ineva optaget af historien bag, og stræber mod at opnå større indsigt og dybde ved blandt andet at gøre brug af interviews og observationer – før vi indsamler og analyserer data i eksempelvis spørgeskemaer.