IN-SIGT #65: FELTEKSPERIMENTER OG LODTRÆKNINGSFORSØG I EFFEKTEVALUERINGER

Du er her

Forfattere

Juniorkonsulent

Læs mere om

https://ineva.dk/sites/default/files/styles/top_billede/public/bill-oxford-tR0PPLuN6Pw-unsplash.jpg?itok=HZXJIMQH

Hvordan kan felteksperimenter som design bruges i effektevalueringer, og hvad er de centrale antagelser bag felteksperimentet?

I Ineva er vi ofte kritiske over for brug af felteksperimenter - ikke over for metoden, men fordi metoden ofte 'mases' ned over situationer og kontekster, hvor det ikke er muligt at gennemføre eksperimentet uden alt for mange fejlkilder. Væsentligt at nævne er, at felteksperimentet har de bedste vilkår i situationer, hvor udviklingen ikke påvirkes af andet end indsaten, da det vil forplumre effektestitmatet, hvis ikke den udvikling vi ser, kan peges direkte tilbage på indsatsen. Med dette in mente, så skal tilgangen aktiveres, når der opstår en situation, hvor felteksperimentet lader sig gøre uden at for meget 'klip en hæl og hug en tå', for her er det en særdeledes stærk tilgang. Her får du en kort præsentation af tilgang og opmærksomheder. 

Felteksperimentet anvendes ofte som design i effektevalueringer, idet designet gennem lodtrækningsforsøg gør det muligt at undersøge og evaluere om indsats X har en effekt på outcome Y. Sagt med andre ord er det altså muligt med lodtrækningsforsøg ikke blot at undersøge om indsatsen har virket, men også hvor stor en effekt indsatsen har haft. I et lodtrækningsforsøg trækkes der tilfældigt lod om hvem der tildeles indsatsen – indsatsgruppen, og hvem der ender i kontrolgruppen og som ikke får indsatsen. Det er forskeren eller evaluatoren, der foretager denne tilfældige lodtrækning.

Før forsøget er der én central antagelse, der skal være opfyldt. Kontrol- og indsatsgruppen skal, som nævnt ovenfor, være inddelt ud fra et tilfældighedsprincip – også det som kaldes randomisering. Dette skal sikre, at der ikke er systematiske forskelle mellem de to grupper man sammenligner og at de to grupper bliver så gennemsnitligt ens så muligt, så den eneste variation er, at indsatsgruppen har modtaget indsatsen. Udover at der skal være tale om tilfældig inddeling i kontrol- og indsatsgrupperne er det også væsentligt at forholde sig til forsøgets stikprøvestørrelse. Hvis stikprøvestørrelsen er tilpas stor, udlignes forskelle mellem kontrol- og indsatsgruppen og grupperne - i teorien - er således balanceret på forhold og karakteristika, der ellers ville kunne påvirke outcome Y. Dermed mindsker en stor stikprøve den statistiske usikkerhed ved effektestimatet og skaber mere valide resultater. Randomisering af kontrol- og indsatsgruppe og en stor stikprøve med mange deltagere gør det altså muligt at isolere den rene effekt af, at man i indsatsgruppen har modtaget en indsats sammenlignet med kontrolgruppen, der ikke har modtaget indsatsen.

Under forsøget er der ligeledes to centrale antagelser, som er afgørende for at sikre valide estimater. For det første må der ikke ske en forurening af forsøgsgrupperne, sagt på en anden måde er det vigtigt at sørge for, at kontrolgruppen ikke modtager indsatsen. Hvis kontrolgruppen på nogen måder kommer i kontakt med eller modtager indsatsen, udgør kontrolgruppen således ikke ’den kontrafaktiske situation’ som bruges til at estimere indsatsens effekt. Kontrolgruppen anvendes netop til at undersøge, hvordan udviklingen af indsatsgruppen ville se ud, hvis indsatsgruppen ikke havde modtaget indsatsen. For det andet er det vigtigt at forholde sig til frafald og om der er sket et systematisk frafald af enheder undervejs i eksperimentet.

Efter forsøget er det muligt at estimere om indsatsen har haft en effekt eller ej ved at sammenligne kontrol- og indsatsgruppen med hinanden. Endvidere er det relevant at vurdere eksperimentets generaliseringspotentialet, dvs. hvorvidt indsatsens effekter kan genfindes i andre kontekster og under andre omstændigheder.

Selvom felteksperimentet og lodtrækningsforsøg er et stærkt design ift. at estimere effekter, er det dog ikke altid muligt at gennemføre. Bl.a. kan der være ressourcemæssige spørgsmål og i visse tilfælde etiske forhold, der gør at felteksperimentet ikke er en mulighed.