HVAD VIL DU VIDE? OM FORSKNINGSBASERET EVIDENS OG KONTEKSTAFHÆNGIGE NUANCERINGER

Dato: 
november 2017

Evidensbaseret politik, evidensbaseret ledelse, evidensbaseret praksis - evidensbaseret alt-muligt. I de seneste årtier har evidensbølgen skyllet ind over dansk politik, forvaltning og ikke mindst den professionelle praksis (Rieper, O. & Hansen, H. F., 2007). Det er svært ikke at erklære sig enig i, at velfærdstiltag bør bygge på viden om, ’hvad der virker’. Men hvad dækker forskningsbaseret evidens over, og giver det overhovedet mening at lave forskningsbaserede studier af lokale og kontekstafhængig indsatser? 

Evidens er blevet et plusord i velfærdsdebatten, og som konsulenthus, der bl.a. er specialiseret i evalueringer af sociale indsatser og interventioner, oplever vi en stadig stigende efterspørgsel på forskningsbaseret evidens, herunder hvad begrebet dækker over samt hvordan det er muligt at etablere i egen praksis. I denne artikel brydes med forestillingen om, at evidens - og dermed forskningsmetoder - kan rangeres uafhængigt af undersøgelsesfeltet, og at der alene er én type forskningsdesign, som bringer mere valide resultater end andre. Evalueringer, undersøgelser og effektmålinger skal ikke være baseret på præfabrikerede forskningsmetoder. Efterspørgslen på viden skal definere metoden – ikke omvendt.

Sandhedsbegrebet og evidenshierarkiet 

»Forskningen siger…« eller endnu mere overbevisende: »Der er evidens for...«. Vendingerne har en attraktiv og beroligende klang, og virker som noget andet og bedre end gætteri, mavefornemmelser og ideologisk drevet politik. I ordbogen defineres evidens som ”en umiddelbar kendsgerning, som man ikke behøver at argumentere for eller bevise”. Grundlæggende opfattes evidensbegrebet altså som et sandhedsbegreb.

Inden for forskning er der ikke noget, der er evident, og dermed sandt, før der er ført videnskabeligt bevis for det. Men ifølge positivistisk tænkning er al evidens ikke lige ”sand”, og ikke alle forskningsdesign producerer samme niveau af validitet. Det såkaldte evidenshierarki repræsenterer en rangordning af forskningsdesign, og den helt centrale opfattelse er, at jo højere et forskningsdesign befinder sig i hierarkiet, jo mere troværdig er den viden, der produceres. Hierarkiet placerer evidens, som er opnået gennem randomiserede kontrollerede forsøg (RCT-studier), over andre typer af evidens såsom kvalitative og observerende studier. Ifølge forskningschef ved AKF Olaf Rieper og professor i offentlig forvaltning og organisation Hanne Foss Hansen, er evidensbevægelsens betoning af RCT-studier ofte så markant, at det næsten udelukkende er denne ”guldstandard”, der associeres med evidenshierarkiet og forskningsbaseret evidens (Rieper, O. & Hansen, H. F., 2007).

Når flere af vores kunder er begyndt at efterspørge RCT-studier af større såvel som mindre indsatser på f.eks. social- og uddannelsesområdet, kan det altså dels skyldes evidensbevægelsen som helhed, og dels at der i det politiske niveau synes at være opstået udbredt konsensus om, at den forskning, der frembringer den mest valide viden, er den forskning, der er baseret på RCT-studier. Men vi skal forstå evidens bredere. Viden kan godt være evident, selv om det ikke er knyttet til kontrolgrupper, korrelations-koefficienter og statistisk signifikans. Evidens er mere end, hvad der kan kvantificeres.

Når forskningsbaseret evidens kommer til kort

En af de væsentligste kritikker af RCT-studiet er, at produktet bliver ”smal” evidens, som tenderer til at borttænke eventuelle betydninger af lokale kontekster. RCT-studiet skaber alene viden om hvad der virker, og ikke viden om hvorfor det virker. Det er vigtigt at pointere, at det i visse sammenhænge sagtens kan give mening at benytte RCT-studiet i et evalueringsøjemed. Det er dog også vigtigt at gøre opmærksom på, at den lokale kontekst og den enkelte undersøgelses særtræk imidlertid ofte er af så stor betydning, at det ikke til enhver tid er muligt at generalisere og overføre resultatet til eksempelvis andre kommuner eller regioner.

 

                     

KORT FORTALT: RCT STUDIET OG DET KVALITATIVE DESIGN

RCT-studiet indebærer opdeling af deltagerne i en interventionsgruppe og en kontrolgruppe. Fordelingen mellem interventionsgruppe og kontrolgruppen er tilfældig. På den måde forebygges selektionsbias, og man sikrer, at indsats- og kontrolgruppen har de samme karakteristika (inden for statistisk tilfældige grænser). Tilfældigheden er med til at garantere, at kun ét karakteristika er forskelligt i indsats- og kontrolgruppe; nemlig den intervention, man ønsker at undersøge. På den måde sikrer RCT-studiet den bedst mulige påvisning af kausalitetsforholdet mellem intervention og effekt.

Det kvalitative forskningsdesign anvendes til at fremstille kontekstbaserede forklaringer ved hjælp af f.eks. semistrukturerede interviews, fokusgruppeinterviews og deltagerobservationer. Med dette forskningsdesign ønskes det at frembringe viden om forhold, der ofte kan være svære at kvantificere og måle. Styrken i dette studie er en høj realisme-evidens opnået igennem viden om individ- eller gruppebaserede forklaringer på effekten af en bestemt indsats. Dette er tæt knyttet til begrebet kontekst, og effektforklaringer kan nuanceres til at bestå af forklaringer på hvad der virker, for hvem og under hvilke omstændigheder.

                           

 

 

Som et eksempel på dette har et iværksætterunderstøttende projekt til hensigt at knytte etablerede virksomheder med iværksættere for på den måde at skabe rum for sparring. Projektet var i forvejen afprøvet med succes på et universitet i en af de store universitetsbyer, og en udrulning havde til hensigt at overføre samme effekt til andre uddannelsesinstitutioner - herunder et universitet i et område med stor geografisk spredning. Evalueringen viste dog blandt andet, at de geografiske rammer besværliggjorde projektets intention. Den fysiske afstand mellem iværksættere på dette universitet og de etablerede virksomheder i området var ofte var så stor, at det var svært at matche parterne, hvorfor lignende effekt udeblev. Eksemplet understreger, at indsatsers effekt er afhængig af den virkelighed, som de skal virke i. Som forfatter og evaluator Michael Quinn Patton udtrykker det: 

“In certain settings anything works,
in other everything fails”
- Michael Quinn Patton

Ifølge forsker og forfatter Ray Pawson, som er specialist i forsknings- og undersøgelsesmetoder indenfor socialvidenskaben, kan kontekstens betydning for, hvordan en indsats udvikler sig, og dermed effekten af indsatsen, ikke understreges nok. I sit arbejde har han beskrevet den kompleksitet, som indsatser og projekter lever i (Pawson, R. & Tilley, N., 1997; Pawson, R., 2013). Foruden kontekstens betydning nævner han blandt andet vilje, implementering, tid og rivaliserende indsatser. I RCT-studiet neutraliseres betydningen af disse elementer. Effekten tilskrives alene indsatsen som den eksisterer i den pågældende kontekst. I den sammenhæng snakker vi lav ekstern validitet - altså, at der er en lav grad af overførbarhed til andre kontekster. Dette er paradoksalt, når efterspørgslen på et sådant forskningsstudie netop er drevet af det politiske ræsonnement; at den offentlige sektor ønsker at overføre virkefulde indsatser fra én kontekst til en anden, for på den måde at forbedre den offentlige sektor (Krogstrup, H. K., 2011). Derudover konkluderer flere empiriske undersøgelser, at forskningsbaseret evidens kun i meget begrænset omfang anvendes instrumentelt i politisk beslutningstagning. Ifølge professor ved Aalborg Universitet Hanne Kathrine Krogstrup, er anvendelsen i højere grad af symbolsk karakter. Hvis anvendelsessigtet primært er symbolsk, så får en evalueringen mere rituel status, og bidrager kun minimalt til læring eller udvikling af den aktuelle situation.

I vores arbejde oplever vi ofte, at især de individuelle aktører, deres relationer, økonomi, lokale regler og kultur er afgørende for hvordan projekter udfolder sig, og dermed de effekter der opstår. Eksempelvis har Ineva evalueret et projekt, som havde til hensigt at skabe tættere samarbejde mellem kommune, skole og foreningsliv. Indsatsen blev udrullet i hele landet, og skulle dermed fungere i mange forskellige kontekster. Evalueringen viste, at effekten af indsatsen i høj grad var kontekstafhængig. Foreningens kultur, kommunens størrelse, økonomiske bidrag og ikke mindst den enkelte tovholder havde en afgørende rolle for projektets effekt.

For ikke kun at beskrive om det virker, giver det for os god mening at arbejde forandringsteoretisk og inddrage kvalitative case-studier i vores evalueringer, for på den måde at kunne give svar på hvad der virker for hvem under hvilke omstændigheder. Samtidig stiller denne metode sig udforskende overfor undersøgelsesfeltet, og giver mulighed for at observere uforudsete effekter af en given indsats. Det eksperimentelle RCT-studie, som er baseret på målopfyldelsesmodellen, undersøger udelukkende forudindtagede effekter. Med andre ord; vi ved ikke hvad effekten er, hvis ikke vi ved hvad vi skal se efter (Graedon, J., 2014). Resultatet bliver således potentielt et mangelfuldt og unuanceret billede af de faktiske effekter. For at understøtte pointen ville en målopfyldelsesevaluering af Columbus’ rejse til Indien blive karakteriseret som en fiasko, fordi den bieffekt, at han sejlede ”ind” i Amerika, ville blive negligeret (Dahler-Larsen, P. & Krogstrup, H. K., 2001).

Som konsulenthus ser vi det som vores opgave at levere evalueringer, der bidrager med viden til udvikling. Derfor er det nødvendigt at anerkende, at resultater og effekter ikke alene skabes af indsatser, programmer og bevillinger, men af de mennesker, der er involveret. Jo bedre vi forstår hvordan en intervention virker, hvilke faktorer som påvirkes af konteksten, og hvordan disse påvirker resultatet, jo bedre kan en intervention blive forbedret og implementeret på en mere effektiv måde et andet.

At vælge det rigtige forskningsdesign

Ifølge Michael Quinn Patton er det problematisk, at der overhovedet siges at være en ’guldstandard’ indenfor forskningsbaseret evidens. Når en metode siges at være bedre end andre, bliver alle andre metoder underlegen, og det risikeres at metoden bestemmer spørgsmålet frem for spørgsmålet bestemmer metoden. I tråd med Patton er vores holdning, at evidenshierarkiet ikke alene bør diktere, hvad der kan betragtes som valid og legitim viden. Men hvad er det rigtige forskningsdesign så?

Lad os slå det fast. Denne artikel har ikke til hensigt at være endnu et bidrag til den evige metodedebat mellem positivister og humanister, mellem naturvidenskaben og hermeneutikken, eller mellem kvantitative metoder og kvalitative metoder. I stedet er intentionen at give mulighed for metodisk refleksion - på politisk såvel som praksisnært niveau. Når ovenstående spørgsmål skal besvares lader det sig kun gøre ved at stille to nye: Hvad er det for en viden der efterspørges? Og lige så vigtigt; hvordan skal den bruges? Først når disse spørgsmål er besvaret kan den mest hensigtsmæssige forskningsmetode vælges.

I 2003 skrev Mark Petticrew og Robert H. Blanks, professorer i henholdsvis offentligt sundhedsevaluering og statskundskab, en artikel omkring hensigtsmæssig metodevalg     i ”Journal of Epidemiology and Community Health”. I artiklen beskriver de en ’evidenstypologi’ som alternativ til evidenshierarkiet (Petticrew, M. & Roberts, H., 2003). De argumenterer for, at forskellige forskningsmetoder ikke kan rangordnes, men i stedet bør grupperes efter hvad de er gode til at sige noget om. Dermed bliver metodevalget afhængig af hvilken viden der efterspørges, og vidensproduktionen vil således give mere nuancerede vurderinger af indsatsers kvalitet og effekter, og deres mulighed for at blive vellykket implementeret andetsteds (Rieper, O. & Hansen, H. F., 2007).

Ja, der er således forskel i den viden vi kan opnå ved RCT-studiet og den viden vi kan opnå ved det kvalitativt forankrede case-studie. Begge metoder har deres styrker og svagheder, og begge er meget vigtige. Begge metoder er sågar evidente og anerkendte inden for forskning. I valget må man spørge sig selv, om man vil vide hvad der virker eller hvorfor det virker. Ikke overraskende kombineres disse to elementer ofte i en mixed-method tankegang, som dermed ikke alene forklarer hvad der virker, men ogsåfor hvem under hvilke omstændigheder.

Lad os begrave begrebet ”guldstandard” og erstatte det med en altid gældende tommelfingerregel: lad efterspørgslen på viden definere metoden – ikke omvendt.

                     

 

Hvornår hvilket design giver mening

RCT-STUDIET
Når effekten af en indsats skal påvises. Dette gøres gennem kvantitative målinger på minimum to grupper, som er ens. Dette giver god mening at anvende ved nye indsatser, hvor der skal påvises forskningsbaseret evidens. Man neutraliserer derfor konteksten, således at man kan måle den rene effekt af indsatsen.

KVALITATIVT DESIGN
Når kontekstafhængige effekter af en indsats skal påvises, og når der er behov for at vide ikke kun om, men også hvorfor effekterne opstår. Dette gøres gennem interviews af aktørerne involveret i indsatsen. Dette giver god mening at anvende ved implementering af en indsats, som bygger på forskningsbaseret evidens. Det er dermed allerede vist, at indsatsen har effekt - nu skal det undersøges hvorledes og i hvilken grad indsatsen har effekt i bestemte kontekster.

MIXED-METHODS
Når både objektiv effekt og kontekstafhængig effekt af en indsats skal påvises, og hvorfor-forklaringerne ligeledes efterspørges. Dette gøres gennem kvantitative og kvalitative målinger, og giver god mening at anvende ved implementering af nye indsatser, som ikke bygger på forskningsbaseret evidens. Dermed undersøger man både om indsatsen har effekt, men også hvorledes og i hvilken grad indsatsen har effekt i bestemte kontekster.

 

 

                           

 

Litteraturliste

Dahler-Larsen, P. & Krogstrup, H. K., (2001). Tendenser i evaluering. Odense Universitetsforlag

Graedon, J. (2014), Randomized Controlled Trials (RCTs): A Flawed Gold Standard. The Peoples Pharmacy. Fundet d. 18. oktober 2017 på https://www.peoplespharmacy.com/2014/03/17/randomized-controlled-trials-...

Hansen, H. F., & Rieper, O., (2010). Evidensbevægelsens institutionalisering og arbejdsformer. Dansk Biblioteksforskning årg. 6, nr. 2/3

Krogstrup, H. K. (2011) Kampen om evidens. København: Hans Reitzel forlag.

Pawson, R. (2013). The Science of Evaluation. Thousands Oaks, Calfornia: Stage

Pawson, R. & Tilley, N. (1997). Realistic Evaluation. Thousands Oaks, Calfornia: Stage

Petticrew, M. & Roberts, H. (2003): Evidence, hierarchies, and typologies: horses for courses. Journal of Epidemiology and Community Health, vol. 57, s. 527-529.

Rieper, O. & Hansen, H. F. (2007). Metodedebatten om evidens. AKF Rapport

 

 

http://ineva.dk/sites/default/files/styles/top_billede/public/Billede1.png?itok=GKlrYZUC