INNOVATIV EVALUERING - EVALUERING DER SKABER INDFLYDELSE OG ANVENDELSE

Du er her

Forfattere

Malene Skov Dinesen

Indehaver og chefkonsulent

Læs mere om

Dato:

januar 2010

Skrevet af Malene Skov Dinesen og Camilla Kølsen og udgivet i Dansk Evalueringsselskabs nyhedsbrev

Evaluering skal drive innovation af praksis og give mening for praktikerne i deres organisatoriske opgaver. Det skal skabe udvikling og ikke bare måle praksis bagudrettet eller vurdere på ikke relevante mål. Men evaluering er kompleks, og det er ikke ligetil at lave kvalificeret evaluering, der får reel indflydelse og ska- ber udvikling. Denne artikel omhandler en ny tænkning og tilgang, nemlig Innovativ evaluering, der sætter spot på, hvordan evaluering kan blive meningsfuld for organisationerne gennem anvendelse af resultater- ne som driver for innovation af den professionelle praksis parallelt med, at eksterne parter får deres infor- mationsbehov tilfredsstillet.

Innovativ evaluering er blevet til som svar på de ram- mebetingelser der i disse år hersker inden for evalueringsfeltet i Danmark 1. Sagen er, at mange af de krav der stilles om evaluering og evidensbasering for beslutninger og udvikling ofte ikke bygger på en efter- spørgsel på viden fra institutionerne selv, men kommer fra deres bevillingshavende myndighed eller er en faktor for institutionens konkurrenceevne. Innovativ evaluering har fokus på at skabe evalueringer der har indflydelse på udviklingen af praksis og finder afsæt i den systemiske organisationsteori, Realistisk evaluering samt evalueringskapacitet.

Den systemiske organisationsteori bidrager med den teoretiske ramme og den grundlæggende epistemologi (se eksempelvis Hornstrup et. al, 2005)2. Realistisk evaluering (Pawson og Tilley, 1997)3 kan betragtes som en grundlæggende evalueringsmetodologi, der samtidig bidrager med interessante forklaringer på hvad det er relevant og muligt at vurdere i en evalue- ring, herunder kontekstens betydning. Evalueringska- pacitet er afgørende for opnåelse og succesen af at arbejde med Innovativ evaluering, fordi uden evalueringskapacitet i organisationen er der ikke mulighed for at opnå reel anvendelse og dermed innovation på baggrund af evalueringen (se eksempelvis Compton og Stockdill, 2002)4.

SYSTEMISK BIDRAG TIL INNOVATIV EVALUERING

Det systemiske og socialkonstruktionistiske felt er oprindeligt opstået som en tilgang til familieterapi (Cecchin, 1992)5, og har siden udviklet sig til at være en omfattende og anerkendt organisationsudvikling og –ledelsestilgang (se eksempelvis Haslebo, 2004 og Hornstrup et. al, 2005)6. I Innovativ evaluering betragter vi den systemiske teori og praksis i en evalueringskontekst og udvikler dermed feltet yderligere. Inspirationen fra det systemiske er omfattende, og i denne sammenhæng vil kun et mindre hjørne blive berørt (for yderligere udfoldelse se Dinesen og de Wit, 2010)7.

Noget af det helt centrale i Innovativ evaluering er, at evalueringer er relationelt skabte i samarbejde mellem evaluator og praktikere. Denne pointe hentes fra socialkonstruktionismen med inspiration fra Kenneth Gergen. Gergen gør op med forestillingen om, at vi som mennesker har en ’selvet kerne’, og præsenterer igennem socialkonstruktionismen forestillingen om, at alting opstår i relationerne mellem mennesker (Gergen, 2004)8.

Det relationelle perspektiv har betydning for, hvordan man anskuer sin position og sin påvirkning som evaluator. Den positivistiske forestilling om, at man som evaluator kan træde ind i et felt uden at påvirke og derigennem lave evaluering ”urørt af menneskehænder”, betragtes i Innovativ evaluering som en umulighed, da vi altid vil påvirke. Det, at man som evaluator påvirker feltet, betragtes i Innovativ evaluering ikke som en fejlkilde, man skal forsøge at minimere. I stedet arbejdes der mod mest mulig hensigtsmæssig påvirkning i forhold til det, der er formålet med evalueringen.

I praksis betyder det, at evalueringsindsatsen bliver en integreret del af den evaluerede indsats, og har dermed også har til hensigt at udvikle indsatsen både under og efter forløbet. Når evalueringen er i indsatsen, har det også betydning for, hvornår evalueringen får sin indflydelse og anvendelse. Typisk ses det, at evalueringens konklusioner har til formål at bidrage til beslutningsprocesser efter endt evaluering (se eksempelvis Vedungs definition på programevaluering i Vedung, 2005)9. I Innovativ evaluering opstår anvendel- sen og indflydelsen af evaluering undervejs i evaluering, igennem den måde evalueringen bliver designet og gennemført. Det ses fx ved brugen af de indsamlingsmetoder der anvendes, de evalueringsaktiviteter der gennemføres samt den måde evalueringens resultater løbende bliver præsenteret og diskuteret med praktikerne (Dinesen og de Wit, kommende).

Den anden centrale pointe fra det systemiske i denne sammenhæng handler om nysgerrighed. Nysgerrighed beskrives af Cecchin, som det systemiske alternativ til at være neutral (Cecchin, 1987)10. Jf. beskrivelserne af, at vi altid vil påvirke de relationer vi indgår i, er det i systemisk perspektiv ikke muligt at være neutral, forstået som objektiv (Hornstrup et. al., 2005 samt se beskrivelserne af autpoiese i Maturana og Varela, 1987)11. Det er være nysgerrighed handler om at være bevidst om at åbne så mange perspektiver som muligt (Cecchin, 1987).

Nysgerrighed har stor betydning for Innovativ evaluering, da det er en afgørende forudsætning for at kunne skabe evaluering med anvendelsespotentiale, at evaluator er nysgerrig over for den kontekst og praksis, som evalueringen gennemføres i. Humberto Maturana beskriver, at vi må betragte multiverset, altså de mange forskellige perspektiver, frem for universet, hvor der kun findes ét perspektiv og én sandhed (Maturana og Varela, 1987). I Innovativ evaluering er vi optagede af netop de mange perspektiver, og tilstræber ikke at lave endegyldige konklusioner. Som resultat af denne tilgang, er man i Innovativ evaluering ikke optaget af kvantitet i besvarelserne. Et perspektiv vægter altså ikke tungere udelukkende fordi mange har pointeret det, ud fra tanken om, at der kan være helt afgørende elementer af indsatsen, som kun en enkelt respondent kan se.

Nysgerrigheden har også afgørende betydning i dataindsamlingen og særligt den måde man gennemfører kvalitative interviews. Ved at stille spørgsmål der åbner for refleksion hos respondenterne, kan man både få nuancerede beskrivelser, samtidig med at inter- viewene understøtter respondenternes forståelse for deres praksis (se Tomm 1992, 1-3, Hornstrup, Tomm og Johansen, 2009 samt Dinesen og de Wit, 2010)12,13. Dermed skabes der, som beskrevet tidligere, indflydelse på baggrund af evalueringen undervejs i evaluering og ikke kun efterfølgende.

REALISTISK EVALUERING

Den anden primære inspirationskilde i Innovativ evaluering er Realistisk evaluering (RE). Det centrale udsagn fra RE, der beskriver formålet med evalueringer lavet i denne tilgang, er: hvad virker, for hvem og under hvilke omstændigheder? Det er med andre ord lige så vigtigt at kende konteksten for en virkning, og hvilke aktører der var involveret (hvem og hvilke omstændigheder), som kendskabet til hvad der rent fak- tisk virkede.

I forhold til den systemiske teori tager RE udgangspunkt i, at aktørerne i en evaluering, inkl. evaluatoren og opdragsgiveren, har et billede af virkeligheden, som i deres øjne svarer til virkeligheden. Afsættet i tilgangen er, at de unikke verdensbilleder kan indfanges og samles, sættes sammen og genkendes som mønstre i forbindelse med en evaluering, hvilket kan være afsæt for en vurdering af og forståelse af, hvad der er sket i indsatsen, og hvorfor det er sket. ’Realistisk’ i denne sammenhæng henviser da til ’realisme’ forstået som anerkendelse af omverdenskompleksitet repræsenteret ved aktørernes forskellige perspektiver.

Dvs. at RE anerkender at mening, resultater og effekter opstår i relationerne mellem aktører. Derfor er en anden central pointe i RE, at resultater ikke opstår som effekter af et program, men igennem mennesker med unikke verdensopfattelser, der udfører handlin- ger, som, når de lægges sammen, bliver til resultater af indsatser.

RE er en evalueringstype, der kan anvendes til at forbedre implementeringen af programmets mål og formuleringen af områdets indsatser gennem viden, forklaringer på resultater og kontinuerlig udvikling af indsatsen. Læring og videndeling er dybt forankret i denne evalueringstype. Afhængig af graden af inddragelse kan evalueringstypen også være deltagende. RE flytter sig altså fra fokus på ’virker programmet?’ til ’hvad er det ved programmet, der får det til at virke?’, for dermed at kunne understøtte den videre udvikling af det (Pawson og Tilley, 1997).

I praksis konceptuealiseres RE ofte gennem en programteori, der har sin grundopbygning i en CMO-struktur (Context, Mechanism, Outcome). Den centrale pointe i den praktiske anvendelse af RE er at forstå konteksten for evalueringen og på baggrund af de lave evalueringer, der favner de effekter der opstår i konteksterne, frem for at lave globaliserede konklusioner af indsatser og programmers effekter (for en yder- ligere udfoldelse af RE i praksis se de Wit og Togeby 2005 samt Dinesen og de Wit, kommende)14.

EVALUERINGSKAPACITET

Udviklingen af evalueringskapacitet kan abstrakt set opfattes som en måde at professionalisere evalueringsfeltet og den enkelte evalueringspraktiker på. I Innovativ evaluering er evalueringskapaciteten afgø- rende, fordi den understøtter at evaluering bliver en del af den daglige udvikling af praksis. Det handler om at kunne se både de enkelte træer og hele skoven forstået på den måde, at den enkelte evaluering er ét træ. Dvs. at en person eller organisation med en høj evalueringskapacitet både kan lære ved at reflektere over den nuværende evaluering (træet) og samtidig reflektere over evalueringen som en enkelt hændelse i sin samlede evalueringspraksis (skoven). Det er altså med afsæt i evalueringskapaciteten det bliver muligt at inddrage det systemiske og RE (samt evaluerings- kapaciteten) som én fælles tilgang til evaluering, hvor man trækker på de elementer, der giver mening og kan understøtte formålet med evalueringen.

Opbygningen af evalueringskapacitet understøtter en form for ledelse, der beror på involvering af medarbejderne og internt commitment til organisationens opgaver. Internt commitment er, når medarbejdere er optaget af at udvikle deres praksis, fordi de er interesserede i at gøre deres job så godt som muligt. Modsat er eksternt commitment en holdning, hvor man udfører sit job i overensstemmelse med kriterier, som andre har bestemt (Krag & de Wit, 2003 efter Argyris)15. Den eksterne commitment følges ofte ad med eksplicitte incitamentsstrukturer, som gør det vigtigere for praktikeren at opfylde målet end at reflektere over, hvorvidt målet overhovedet er meningsfuldt (Nørreklit & de Wit, 2000)16.

Afsluttende kommentarer

Denne artikel har tilbudt et overordnet blik på de teoretiske grundsten i Innovativ evaluering, og har i det små skabt koblinger til praksis. Der er præsenteret en række tankeværktøjer, hvor de tilknyttede handle værktøjer hentes dels i de tre præsenterede perspektiver, og udvikles dels som en sammensmeltning af dem.

https://ineva.dk/sites/default/files/styles/top_billede/public/Gennemsigtighed.jpg?itok=7JJu9J_4

Definitionen på Innovativ evaluering er:

”Innovativ evaluering er en refleksiv relationel proces, hvor kontekstbestemt viden om fortiden og nutiden anvendes til fremadrettede handlinger, der understøtter aktørerne i at skabe nye muligheder og forbedret praksis parallelt med, at eksterne krav om dokumentation opfyldes.”

Udgangspunktet skal tages i evalueringskompeencer frem for evalueringsfærdigheder.

Innovativ evaluering handler om at være refleksiv om sin praksis, og tage kompetente og kvalificerede valg for evalueringer, der tager afsæt i den aktuelle kontekst. Udgangspunktet skal tages i evalueringskompeencer frem for evalueringsfærdigheder. For at kunn skabe evalueringer, der har udviklingspotentiale skal både praktiker og evaluator forstå praksis, fordi det skaber mulighed for at vurdere, hvilke evalueringer og havn formål der er relevante. Samtidig giver det mulighed for at udfordre de myndighedsniveau vi indlednings- vist beskrev, og som ofte stiller krav til evalueringer. I Innovativ evaluering får evaluator en rolle som media- tor mellem praksis og myndighedsniveauet, og betrag- ter og beskriver praksis, på en måde som myndig- hedsniveauet kan forstå og koble sig på. Første skridt må være at kende sin praksis indgående nok til at kunne vurdere, hvordan evalueringerne skal understøtte og udvikle, og hvordan den praksis de skal have indflydelse på ser ud.

NOTER

Se eksempelvis Kvalitetsreformen på http:// www.kvalitetsreform.dk/ og http://www.fm.dk/Temaer/ Kvalitetsreform.aspx, Ressourceregnskabet i uddannelsessyste- met på http://www.uvm.dk/For%20institutioner/Tilsyn%20og% 20regnskab/Ressourceregnskab.aspx og Den Danske Kvalitets- model i sundhedsvæsnet på http://www.ikas.dk/Den-Danske- Kvalitetsmodel.aspx
Hornstrup, Carsten et al. (2005): Systemisk Ledelse – Den re- fleksive praktiker, Dansk Psykologisk forlag, Gylling

3. Pawson, R & Tilley, N (1997): Realistic Evaluation, SAGE Publica- tions, London

4. Compton, D W; Baizerman, M; Stockdill, S.H (eds.) (2002): The Art, Craft and Science of Evaluation Capacity Building, New Directions for Evaluation, Nr. 93, forår 2002, Jossey-Bass

Cecchin, Gianfranco (1992): The idea of irreverence, udgivet i: Cecchin et. al.: Irreverence (1992), Karnac Books.
Haslebo, Gitte (2004): Relationer i organisationer – En verden til forskel, Dansk psykologisk forlag, Gylling

7. Dinesen, Malene Skov og de Wit, Camilla Kølsen (2010): Innovativ evaluering, Dansk Psykologisk forlag

Gergen, Kenneth (2004): Virkelighed og relationer, Dansk Psyko- logisk forlag, Gylling
Vedung, Evert (2005): Public Policy and Program Evaluation, Transaction Publishers, London

10.Cecchin, Gianfranco (1987): Gensyn med hypotesedannelse, cirkularitet og neutralitet: En invitation til nysgerrighed, Family Proces; 26:405-413.

11.Maturana, Humberto og Varela, Francisco (1987): Kundskabens træ – den menneskelig erkendelses biologiske rødder, ASK

12.Tomm, Karl (1988): Interventive Interviewing, Fam. Proc., Vol 27, March, 1988; Tomm, Karl (1992): Planlægning som 4. Ret- ningslinie for terapeuten, Forum, 2/92; Tomm, Karl (1992): Refleksiv udspørgen som middel til at fremme selvhelbredelse, Forum, 3/92

13.Hornstrup, Carsten; Tomm, Karl og Johansen, Thomas (2009): Spørgsmål, der gør en forskel, udgivet på www.macmannberg.dk

14.De Wit, CK og Togeby, M (2005): Realistisk evaluering i en dansk sammenhæng – hvad virker i gymnasieskolen? Dansk Evalueringsselskabs nyhedsblad, forår 2005.

15.Krag L. & de Wit, C. K (2003): Ledelse af videnmedarbejdere - et spørgsmål om commitment?, i Videnledelse – et praksisfelt