IN-SIGT #81: Regressionsdiskontinuitetsdesign i effektevalueringer

Du er her

Forfattere

Juniorkonsulent

Læs mere om

https://ineva.dk/sites/default/files/styles/top_billede/public/Billede.jpeg?itok=xP1MVnko

Denne uges in-sigt giver en kort introduktion til regressionsdiskontinuitetsdesignet (RDD) og ideen bag designet. RDD kan være særligt anvendeligt til at foretage effektevalueringer og dermed besvare en række kausale spørgsmål. Designet udnytter det faktum, at der fra naturens side nogle gange opstår situationer, der inddeler enheder (f.eks. individer, skoler eller kommuner) i kontrol- og treatmentgruppe afhængigt af om disse enheder ligger over eller under en bestemt tærskelværdi – dvs. at en given tærskelværdi på tærskelvariablen slår interventionen ’til’ og ’fra’. 

Idet, det er ’naturen’, der inddeler enhederne i kontrol- og treatmentgruppen er antagelsen i designet, at enhederne på hver sin side af tærskelværdien ligner hinanden på både observerbare og uobservarbare karakteristika, udover at de befinder sig på hver sin side af tærsklen, hvorfor de tilnærmelsesvist tilfældigt er havnet i enten kontrol- eller treatmentgruppen. Dette gør os i stand til at besvare kausale spørgsmål uden en aktiv intervention fra evaluators side af, idet den pågældende tærskelvariabel er ”as if random”, hvilket betyder, at vi kan benytte den variansbaseret kausalitetsforståelse og kontrafaktisk tilgang, som vi kender fra lodtrækningsforsøg og eksperimenter, til at estimere kausaleffekter. 

For at give en forståelse for, hvordan designet kan anvendes i evalueringer giver vi her et eksempel fra virkeligheden. Leuven et al. (2007) har brugt RDD til at undersøge effekten af ekstra finansiering til udsatte elever på disse elevers præstation i hollandske skoler. På baggrund af et indeks, der rangerede alle skoler i Holland ud fra, hvor stor en andel af udsatte elever, der gik på skolen, inddeles skolerne på hver sin side af en tærskelværdi (se figuren til venstre nedenfor). På de skoler med en stor andel af udsatte elever, ville man gerne lave en særlig indsats (ekstra finansiering til at øge lærers undervisningsbetingelser, computerudstyr mm.). Man satte en tærskel på 0,7 – svarende til hvis en skole havde over 70 % udsatte elever, hvorefter man tog et udsnit af skolerne omkring denne tærskelværdi på +/- 0,1 (se figuren til højre). Skolerne, der lå lige akkurat over eller under denne tærskelværdi, forventes at ligne hinanden på alle andre parametre end den specifikke værdi på indekset – altså andelen af udsatte elever, og de skoler, der lå lige over tærskelværdien fik tildelt indsatsen i form af ekstra finansiering, mens de skoler, der lå lige under tærsklen ikke fik tildelt indsatsen og udgjorde dermed studiets kontrolgruppe.

 

Efter indsatsen havde kørt blandt de skoler, der befandt sig lige over tærsklen, var det muligt at estimere, om der var en effekt af ekstra finansiering til udsatte elever på disse elevers præstation. Dette gøres ved at sammenligne forskelle i elevernes gennemsnitlige præstationsniveau lige omkring interventionspunktet/tærskelværdien, hvor netop opdelingen af kontrol- og treatmentgruppen sker. Hvis indsatsen havde en effekt vil man ifølge designet logik se en diskontiunitet i form af et ’spring’ i regressionslinjen ved tærskelværdien på 0,7, og man vil derfor observere at regressionslinjen rykker et ’hak’ op på højre side af tærskelværdien. I figuren til venstre nedenfor ses elevernes præstation i fravær af indsatsen på de skoler med lige over 70 % udsatte elever. Som grafen illustrerer, falder elevernes præstation jo større andel af udsatte elever skolerne har. Modsat viser figuren til højre det tilfælde, hvor indsatsen i form af ekstra finansiering til de skoler med lige over 70 % udsatte elever har en positiv effekt på elevernes præstationsniveau. I dette tilfælde ser vi altså et spring i regressionslinjen, hvor den ekstra finansiering til de skoler med lige over 70 % udsatte elever øger elevernes performance.

 

Kilde: Jacob et al. (2012). Figure 1 – Two Ways to Characterize Regression Discontinuity Analysis (p. 5)

 

Vigtige overvejelser, når man anvender RDD i effektevalueringer er hvorvidt antagelsen om, at det eneste, der varierer mellem enhederne er om de er placeret i hhv. kontrol- eller indsatsgruppen, og der derfor ikke er systematiske forskelle mellem grupperne. Hvorvidt denne antagelse er opfyldt afhænger af en vurdering af, hvor plausibelt det er, at enhedernes placering på den ene eller anden side af tærsklen er tilnærmelsesvis tilfældig. Dertil hører også overvejelsen om selektionsprocessen – altså hvorvidt enhederne har kunne selvselektere sig over- eller under tærskelværdien eller at andre intentionelt har placeret enhederne og dermed påvirket om enhederne er endt i enten kontrol- eller indsatsgruppen, idet dette vil bryde med designet tilfældighedslogik. 

Derudover skal man ligeledes gøre sig overvejelser om, hvor mange enheder rundt om tærsklen, der skal inddrages i studiet, og til disse overvejelser eksisterer der et trade-off mellem at tage få enheder, der ligger tæt på tærskelværdien hvorved man får mere sammenlignelige grupper overfor at have et stort antal enheder men samtidig også et større ’vindue’ på hver side af tærsklen, som gør det nemmere at estimere effekter. I den forbindelse er overvejelser omkring den eksterne validitet også relevant at forholde sig til.

 

 

Kilder:

Olsen, Asmus Leth (2014). ”Tærskelvariable og tærskelværdier: en introduktion til regressionsdiskontinuitetsdesignet”, politica, 46. årg. Nr. 1 2014, 42-59

 

Leuven, Edwin; Lindahl, Mikael; Oosterbeek, Hessel ; Webbink, Dinand (2007). “The Effect of Extra Funding for Disadvantaged Pupils on Achievement”, The review of economics and statistics, 2007-11-01, Vol.89 (4), p.721-736

 

Jacob, Robin; Zhu, Pei; Somers, Marie-Andrée; Bloom, Howard (2012). ”A Practical Guide to Regression Discontinuity”, MDRC – building knowledge to improve social policy. 2012-07