Argumenterne for Innovativ evaluering

Vi hører ofte fra kunder og samarbejdspartnere, at der kan være behov for stærke argumenter for at igangsætte en innovativ evaluering i en (potentielt politisk) kontekst, hvor der bliver bedt om kvantitative svar på om indsatser virker eller ikke virker. I Ineva har vi altid været – og er stadig – optaget af at give nuancerede svar på hvad der virker for hvem under hvilke omstændigheder. Vi er nødt til at tage udgangspunkt i den kompleksitet, som vores indsatser, projekter og initiativer lever i og gennemføre en evaluering, der tager højde for dette.

Vi har længe været inspireret af Pawson og Tilleys tilgang Realistic Evaluation (Pawson og Tilley 1997), som bidrager med forståelse for, hvorfor konteksten er så væsentligt i en evaluering. I sin korteste form peger de på, at vi er nødt til at forstå og tage højde for den kontekst, som evalueringen igangsættes i, for at forstå og kunne forklare, hvad der virker under hvilke omstændigheder. Med dette afsæt giver det mening og en ramme at forklare ud fra, når man, som vi ofte hører realiteterne er i praksis, igangsætter den samme indsats i to forskellige afdelinger, institutioner eller forvaltninger – og helt forskellige niveauer af effekter opstår.  

Ray Pawson udgav i 2013 The science of evaluation – a realist manifesto. Pawson udvider her sine argumenter og forståelsesrammen for hvorfor, vi har brug for evalueringer, der har et realistisk udgangspunkt.

Pawson forsøger efter eget udsagn at italesætte alle kompleksitetens ”kroge og hjørner”. Dette sker blandt andet i en slags checkliste, der fremlægger de væsentligste karakteristika ved den kompleksitet, der nødvendigvis påstår og som man skal have for øje, når der igangsættes en evaluering. Checklisten kalde Pawson VIKTORE(Inevas danske oversættelse) og hvert bogstav i navnet repræsenterer et fokuspunkt, og i Ineva mener vi, at en væsentlig del af argumenterne for, hvorfor vi har behov for Innovativ evaluering ligger netop i forståelsen af, at virkeligheden er kompleks, og at indsatser altid vil blive påvirket af en lang række faktorer, som er nødvendige at medtage i sin evaluering. VIKTORE er dermed er argumentationsrække af virkeligheden.

Vilje: Et nyt evalueringssystem eller program vil som udgangspunkt være igangsat med den dagsorden at påvirke fremtidige valg – men hvilke holdninger lever i forvejen og hvordan er processen frem mod de holdningsændringer, som skal forekomme? Disse faktorer er i høj grad påvirket af den vilje, som bor i de mennesker, som er en del af systemet eller programmet.

Supplerende til Pawsons tanker om vilje kan der betragtes de systemiske beskrivelser af autopoiese som et udgangspunkt for menneskers erkendelse og valg (Maturana, 1987). Autpoiese er udtryk for, at vi alle er lukkede og selvreferende, men åbne for forstyrrelser udefra. I en forsimplet version vil det altså sige, at vi altid tolker og spejler de ting vi møder (eksempelvis projekter og indsatser) igennem vores værdier, erfaringer og holdninger. Dermed har vores autopoietiske forståelse af eksempelvis en indsats helt afgørende betydning for, om vi træffer de valg, som indsatsen forsøger at få os til at træffe. Hvis indsatsen eksempelvis ikke bliver forstået, opleves som meningsfuld eller tolkes som overvældende, er der væsentlig sandsynlighed for, at man afviser præmisserne i indsatsen. Igen betyder det, at de potentielle effekter ikke opstår. Og igen understøtter det argumentet for, at vi har brug for en evalueringsform, der har øje for de autpoietiske valg.

Implementering: Implementeringen af programmet gennemføres ofte over en lang tidsperiode. For at forstå programmet er det således nødvendigt også at forstå implementeringssystemet og den logik og rækkefølge, som ligger til grund herfor. Og nødvendigt at forstå, at implementering ikke er en simpel og lineær proces, men rigtig ofte netop det helt modsatte.   

Kontekst: Under denne overskrift findes 4 forskellige underoverskrifter, der alle beskriver en nuance af konteksten.

• Den første er de individuelle aktører, der er involveret i programmet, herunder deres evner og karakteristika
• Den anden er de relationer og forhold, som forekommer mellem de aktører, som ’bærer programmet’
• Den tredje er placering og referer til de lokale regler, normer og skikke, som findes der, hvor programmet gennemføres
• Den fjerde udgøres af den omgivende infrastruktur, som henfører til de sociale, økonomiske og kulturelle omgivelser for programmet.

I forståelsen af konteksten handler det altså om i sin evaluering at undersøge og forklare, hvordan disse fire elementer henholdsvis hæmmer eller fremmer at indsatsen opnår effekter, og hvem disse effekter indtræffer overfor.

Tid: Det er ligeledes afgørende for indføringen af et nye program eller system at have øje for timing og den tid, der omgiver programmet. Ligeledes er historik i forhold til tidligere forandringer relevant at tænke med.

Outcome: Det er væsentligt at forhold sig til, hvorvidt programmet er gennemført på det rette tidspunkt og i det rigtige antal.

Rivalisering: Der vil som oftest forekommer rivaliserende programmer, arbejdsopgaver eller gøremål, som indførelsen af et nyt program skal konkurrere med. Rivaliseringen har væsentlig betydning for de mulige effekter.

Emergens: Det vil til en hver tid forekomme, at et program kombineres og konvergeres med andre handlinger, som forekommer på samme tidspunkt som programmet.    

VIKTORE udgør således en forståelsesramme ud i den virkelighed, som evalueringen skal udfoldes i og bruges hos os som en nuancering af argumenterne for at bedrive Innovativ evaluering med realisme som validitetskriterium. Det handler altså om at kunne give nuancerede forklaring på, hvad der virker for hvem under hvilke omstændigheder, når omstændighederne er påvirket af alle de elementer og niveauer af kompleksitet, som VIKTORE er udtryk for.