Hvem sagde opskrift? - om at 'gøre' Innovativ evaluering uden en kogebog

Hvem sagde opskrift er udgivet i CEPRA-striben og omhandler hvilke processer og overvejelser, der med fordel kan gøres ved opstarten til en Innovativ evaluering

Forfattere

Indehaver og chefkonsulent
Dato: 
november 2011

Innovativ evaluering er en tilgang, ikke en metode. Derfor udløser det altid et ”nej”, når der bliver spurgt til, om der ikke findes eller kan laves en opskrift. Men hvad gør man så, når man igen – denne gang til et anerkendt tidsskrift om evaluering – bliver spurgt, om man ikke kan skrive noget om, hvordan man ”gør” Innovativ evaluering? Og når man samtidig støder ind i oplevelser, hvor det fremstår som både mærkeligt og uhensigtsmæssigt at holde så krampagtigt fast i, at det her er alt for komplekst til at tale om opskrifter? Mit svar og forsøg er at skrive noget om, hvordan jeg gør. Ikke som en opskrift, men som et forsøg på at bidrage med noget konkret, der forhåbentligt kan skabe refleksion og videreudvikling hos læseren. Jeg håber, at det er lykkedes. 

Jeg var for nylig til en større systemisk konference, hvor både en masse af de ”store” tænkere og teoretikere inden for feltet samt en masse garvede og ”nye” systemikere var samlet. En ung norsk mand holdt et oplæg om den Ph.d., som han var i færd med at skrive om systemisk familieterapi. Det var spændende, og han virkede både sympatisk og dygtig. Bestemt en mand, man både gerne ville i familieterapi hos (altså hvis man overhovedet ønsker sig at komme i familieterapi), og en man gerne ville lure i kortene, hvis man selv skulle lave noget familieterapi. En ung pige rakte hånden op og spurgte: ”Jamen hvordan gør du sådan helt konkret? Har du en metode eller en opskrift eller noget?”. Og det var lige der, der skete noget interessant. Man hørte suget fra alle de garvede systemikere (inklusive mig), der jo godt ved, at her taler man ikke om opskrifter. Det er jo helt usystemisk og helt forkert. Det systemiske handler om samskabelsen og relationer, og det kan man ærlig talt ikke sætte på opskrift.

Den unge piges kommentar og mængdens reaktion gav stof til eftertanke, fordi det rammer noget af det, jeg ofte bliver konfronteret med i mit arbejde som evalueringskonsulent. Camilla Kølsen de Wit og jeg udgav sammen med Dansk Psykologisk Forlag bogen ”Innovativ evaluering” for et års tid siden (Dinesen og de Wit, 2010). Vi har været heldige nok til, at overraskende mange mennesker synes, at det er interessant og relevant. Og komplekst. Vi underviser en del i tilgangen, og rigtig ofte kommer spørgsmålet: ”Jamen hvordan gør man? Kan I ikke lave sådan en slags opskrift på det?”. Svaret har hver gang været nej, det kan vi ikke, og det vil vi ikke. Bekymringen er, at ved at tilbyde en form for opskrift, så mister Innovativ evaluering sin berettigelse, fordi det bliver en for-tykkelse af den mad, der er den enkelte evaluering. Til trods for alt dette, har episoden til konferencen alligevel gjort, at jeg begynder at tænke anderledes om det. Derfor bliver svaret i denne artikel at sige noget om, hvordan jeg gør. Hvilke overvejelser, primært erfaringsmæssige men også teoretiske, bringer jeg i spil, når jeg arbejder med evaluering. Og så krydser jeg fingre for, at læseren ikke adopterer mine tanker og refleksioner til sine egne, men overfører dem til egne erfaringer, viden og kontekst. Så ingen opskrift her, men gerne et forsøg på at sige noget om, hvad jeg gør helt konkret i et forsøg på at inspirere til videre refleksion.

Hvad er Innovativ evaluering?

Denne artikel har ikke som mission at formidle Innovativ evaluering som tilgang, men det kan alligevel være nyttigt at have et helt overordnet 

billede af det, før vi går videre. Innovativ evaluering har som hovedfokus at give evaluering tilbage til praktikerne og sikre, at evaluering bliver en meningsfuld del af den organisatoriske hverdag. Fokus er, som navnet indikerer, at skabe evalueringer, der bidrager til innovation af praksis. Det handler altså om at gå fra evalueringer med prove-fokus (bevise), hvor der måles på om tingene virker, til i stedet at lave evalueringer, der har improve-fokus, hvor man er optaget af at få tingene til at virke (Dinesen og de Wit, 2010).

Innovativ evaluering har sit teoretiske ståsted i systemisk teori og praksis, Realistisk evaluering samt evalueringskapacitet. Det systemiske bidrager med den grundlæggende verdensopfattelse, herunder forståelse af erkendelse som noget, der opstår i relationer og i konteksten. Realistisk evaluering er en metodologisk ramme (Pawson og Tilley, 1997), og evalueringskapaciteten kan betragtes som fundamentet i Innovativ evaluering, fordi uden evalueringskapacitet bliver det ikke muligt at få de andre elementer i sving (Dinesen og de Wit, 2010). Med dette som teoretisk baggrundstæppe, tilbyder Innovativ evaluering en lang række ”håndtag”. Det vil sige teknikker, metoder og opmærksomheder, der kan anvendes til forskellige dele af evalueringen.

Hvad er første skridt? – Om efterspørgsel og kontekst

Jeg arbejder som evalueringskonsulent i min egen virksomhed Ineva. Det største privilegium ved mit arbejde er, at jeg får lov til at ”kigge ind” i en masse forskellige verdener, hvor jeg møder både søde, spændende og passionerede mennesker. Derfor ved jeg efterhånden en del om biomasseforbrænding, rekruttering til it-uddannelser, unges brug og misbrug af rusmidler på ungdomsuddannelser, rengøringsassistenters psykiske arbejdsmiljø, uddannelse for unge med særlige behov, tidsregulering på professionshøjskoler og en hel masse andet. Og netop i de forskellige verdener ligger første skridt i at gennemføre en evaluering: at forsøge at forstå den verden, jeg befinder mig i. Jeg er ofte i den heldige position, at jeg ikke er belastet af viden (som en kunde så venligt sagde engang), når jeg træder ind i et nyt felt. Derfor kan jeg med ro i sindet og ørerne helt åbne begynde at stille spørgsmål og bygge forståelsen op. Jeg tror ikke, at det er meget anderledes, hvis man skal gennemføre en intern evaluering. Det handler om at sætte sig ind i, hvad der er på spil i evalueringen og prøve at få et realistisk billede dels af den praksis, der skal evalueres, og ikke mindst de intentioner, der er med evalueringen. Det er kendt viden, at der ofte er mange forskellige interessenter i en evaluering, og at de typisk har forskellige mål og formål med evalueringen (Shaw et al, 2006). Denne udfordring er dog håndterbar, såfremt det er muligt at skabe et overblik over, hvem interessenterne er, og hvilke mål og formål de faktisk har. Så bliver det muligt at få overblik over de potentielt divergerende ønsker, og dermed prioritere og designe sin evaluering, så den retter sig mod den efterspørgsel eller efterspørgsler, som man, sammen med opdragsgiver, vælger som evalueringens omdrejningspunkt. Jeg finder det langt mere udfordrende, når opdragsgiver ikke er enig med sig selv om, hvad formålet med evalueringen er, og hvilken viden der efterspørges.

Det kan måske lyde som en banalitet og som en fortærsket floskel, at vi alt for ofte evaluerer uden at tænke os om og uden at reflektere over, hvad vi faktisk ønsker at vide, og hvad evalueringen skal bruges til. Ikke desto mindre oplever jeg det ganske ofte i min praksis. Jeg var for få dage siden til et møde med en række chefer i en kommune, der ønskede at evaluere sammenlægningen af nogle organisatoriske enheder. De havde valgt at igangsætte en evaluering, fordi de gerne ville vide, hvor langt de var kommet. ”Hvor godt går det?,” som de sagde. Til mødet kom mine spørgsmål meget hurtigt til at kredse omkring ”godt for hvem?”. Handlede deres nysgerrighed og deres efterspørgsel af viden om, hvordan medarbejdernes samarbejde og psykiske/fysiske arbejdsmiljø var blevet påvirket, og hvordan tingene fungerede nu? På denne baggrund kunne den reelle efterspørgsel, altså evalueringens anvendelsessigte, omhandle en organisatorisk udviklingsproces, hvor evalueringen bidrog til viden om, hvordan man med fordel kunne arbejde videre med samarbejde, trivsel, fordeling af arbejdsopgaver og så videre. En anden mulighed var at have fokus på, hvorvidt og hvordan sammenlægningen havde betydning for serviceniveauet til borgerne. På denne baggrund kunne evalueringens reelle efterspørgsel omhandle, hvordan man med fordel i kommunen sikrer service af høj kvalitet. Der er altså milevid forskel på, hvorvidt ”går det godt” refererer til medarbejderne eller til borgerne i dette tilfælde. Og det interessante er, at det rigtig ofte ikke er bevidst og eksplicit viden, hvad man egentlig gerne vil bruge sin evaluering til. Dette var også tilfældet i denne konkrete opgave, men det lykkes relativt hurtigt på mødet at indkredse, hvad efterspørgselen omhandlede.

Den næste kompleksitet, der skal afdækkes er: ”Hvem bestemmer om det er godt?”. Typisk taler man om tre forskellige syn på kvalitet. Der kan være den politiske bestemte kvalitet, der er afsæt for dels ressourcemæssige hensyn og politiske præferencer. Der kan være borgerens oplevelse af kvalitet, som beror på en subjektiv vurdering af, hvad ”jeg oplever som godt” (Schaarup, 2008). Til sidst kan der være frontmedarbejdernes vurdering og opfattelse af høj faglig kvalitet (Dahler-Larsen og Krogstrup, 2003). Disse tre opfattelser af kvalitet er ikke nødvendigvis sammenhængende, og derfor er det vigtigt, at man gør sig klart, hvad der er afsættet i evalueringen.

Lad os tage rehabilitering som eksempel. Mange steder er man begyndt at arbejde med rehabilitering blandt andet i forhold til ældreplejen. Devisen er kort fortalt, at man hjælper Fru. Olsen, der har brækket sin hofte, med så hurtigt som muligt at blive selvhjulpen frem for at tilbyde øget hjemmepleje. Det politiske system kan antages at have en økonomisk interesse i denne tænkning. Frontmedarbejderne kan med afsæt i evidens og erfaring være optaget af, at det giver øget livskvalitet, frihed og værdighed at være selvhjulpet i så høj grad som muligt. Nogle borgere er formentlig enige med frontmedarbejderne, men et andet synspunkt kunne også være en utilfredshed med, at man bliver tilbudt en ny støvsuger og træning i stedet for rengøringshjælp. ”Man har jo trods alt betalt skat hele livet.” Eksemplet viser, at man er nødt til at gøre sig klart, hvad referencepunktet er i evalueringen. Dette skyldes, at det vil have fuldstændig afgørende betydning for, hvad der skal spørges om, og hvilke resultater, man får i sidste ende. 

Det vanskelige er, at man jo rigtig gerne vil vide det hele, og nogle gange har man også en forestilling om, at det sagtens kan lade sig gøre at besvare alle spørgsmål igennem en evaluering. Det tror jeg ikke på. Man er nødt til at tage et standpunkt i forhold til at forholde sig ærligt og kritisk til, hvad man faktisk gerne vil vide noget om.

Derfor er de det første skridt for mig altid: stil spørgsmål om hvilken viden der efterspørges, hvad den skal bruges til, og hvad referencepunktet er for evalueringen. Det giver både mig, som evaluator, en forståelse for, hvilket felt jeg er ved at bevæge mig ind i, ligesom det ofte også giver opdragsgiveren større forståelse. Det at vide hvad efterspørgslen er, mindsker risikoen for at indsamle ikke-relevant data – og endnu mere vigtigt bidrager til at sikre, at man indsamler relevant data.

Processen omkring at indkredse efterspørgslen er ikke altid lige nem. Der kan være en tendens til, at opdragsgiver gerne hurtigt vil tale om teknikker, respondenter og formidlingsformer. Jeg forsøger så vidt muligt at vente med den snak til noget senere i forløbet, fordi der er alt for stor risiko for forkerte valg, hvis man ikke har overblik over efterspørgsel. Hvis vi ser tilbage fra eksemplet fra før, ville det være en kæmpe fejl at spørge medarbejderne om deres interne samarbejde og trivsel, hvis evalueringen i virkeligheden skulle omhandle, hvorvidt borgerne fik den service, der var politisk bestemt. Men det kan godt kræve noget holden-fast i processen fra evaluators side.

Jeg stiller typisk en hel række spørgsmål, som hjælper mig til at få overblik over kontekst og sammenhæng. Med fare for at falde for fristelsen til at sige noget opskriftsagtigt, er her nogle af de spørgsmål, jeg ofte stiller ud over alle dem om efterspørgsel og reel efterspørgsel:

  • Hvorfor evaluere nu? Hvad har processen været frem til nu, der gør, at I tænker, at det kan være meningsfuldt/nødvendigt at evaluere nu?
  • Hvem er evalueringens interessenter? Hvad er dine/jeres forestillinger om, hvad interessenterne er interesseret i, i forbindelse med evalueringen?

  • Hvem skal bruge evalueringen, og hvem skal se resultaterne? (det kan i min erfaring have stor betydning, om det er en evaluering til intern brug, eller om den har politisk sigte/bevågenhed.)

  • Hvilke afrapporteringskrav er der? (der kan eksempelvis være helt specifikke krav fra myndigheder, der har givet midler til et projekt)

  • Hvad tror du/I medarbejderne/borgerne/... tænker om, at der skal laves en evaluering? (det er meget godt at vide, om man forventer modstand eller opbakning til en evaluering. Det hjælper forberedelsesprocessen)

 
Og ikke mindst:

• Hvad ved vi i forvejen? (der er eksempelvis ingen grund til at lave stor dataindsamling om fysisk arbejdsmiljø, hvis der for 2 måneder siden er gennemført en trivselsmåling)

 

Elliot Stern har udviklet en model, som er afsæt for en stor del af ovenstående refleksioner (Stern, 2004). Som det ses, har den første og største del af denne artikel haft sit helt klare fokus på den øverste kasse omkring efterspørgsel. Det er ikke tilfældigt. Jeg er nemlig af den overbevisning, at når ma

n har brugt tilstrækkelig tid på den del, er det intet problem at vælge metode, teknik, respondenter og så videre. Man får svarene foræret igennem refleksionen over efterspørgsel. 

Et sidepring – mere om konteksten

Før vi går videre til næste skridt, vil jeg bruge lidt energi på endnu mere om konteksten. Man kan ikke kalde det et ”skridt” i evalueringen, fordi forståelsen for konteksten er noget, der bygges op hele vejen igennem evalueringen. Det er centralt i Innovativ evaluering at være optaget af, hvad der virker for hvem under hvilke omstændigheder (Pawson og Tilley, 1997). Grundtanken er, at der kan være lokale forskelle, der gør, at indsats A virker forskelligt i organisation/institution/afdeling A og organisation/institution/afdeling B. For at kunne identificere disse forskelle, er man nødt til at have en forståelse for netop de kontekstuelle forskelle.

Endnu et eksempel: En kommune beslutter at gøre en særlig indsats for de unge i grundskolen, der ikke umiddelbart er uddannelsesparate. Det vil sige, at man ikke i skole og UU (Ungdommens Uddannelsesvejledning) forestiller sig, at de vil være parate til at starte på en ungdomsuddannelse efter endt grundskole. UU igangsætter et større projekt, der har til formål at understøtte de unge og, kort fortalt, hjælpe dem med at blive parate. På skole A er der et team af lærere i udskolingen, der er meget optaget af parathed og af at hjælpe de unge med de udfordringer, der har betydning for deres parathed. Det kunne være diagnoser (eksempelvis ADHD), dårlig forældreopbakning og 

andet. På skole B er der et par lærere i teamet omkring udskolingen, der ikke betragter det som deres opgave at arbejde med parathed. ”Det er UUs opgave,” som de siger. UUs projekt og indsats er ens på de to skoler, men resultaterne bliver meget forskellige, fordi indsatsen aktiveres i to meget forskellige kontekster.

Det er vanskeligt at give en konkret anvisning til, hvordan man ”opdager” disse lokale kontekstforskelligheder. Vigtigt er det nok, at være opmærksom på, at de er der og være bevist om, at der ikke er en direkte kausal sammenhæng mellem indsats og effekt. Der er altid ”noget” imellem og omkring indsats og effekt nemlig konteksten som kommer til udtryk både igennem de konkrete forskelle (eksempelvis demografiske forskelle) og de menneskelige forskelle, som vist i eksemplet fra før.

Det kan være en kæmpe udfordring at være i den kompleksitet, der naturligt følger med, når man anerkender og betragter forskelligheder. Jeg tænker tit, at det ville være nemmere, hvis man ”bare” skulle lave en summativ evaluering, hvor man kunne konkludere: ”Indsats A giver effekt B. Punktum.” Men sådan er virkeligheden ikke, og derfor er en af de allervigtigste kompetencer som evaluator at være nysgerrig både i forhold til afdækningen af efterspørgselen og til at se nuancerne i de lokale kontekster. I den systemiske verden tales der om nysgerrighed som et alternativt til objektivitet (Cecchin, 1992), og det giver god mening i evaluering. I stedet for at betragte sig selv som en neutral og objektiv observatør, kan man træde ind i en bevidst nysgerrig position, hvor man hele tiden forsøger at afdække nuancerne. En anden vigtigt pointe, som tit er en hjælp for mig i evaluering, er bevidstheden om vishedens fristelse (Maturana, 1987). Særligt i store evalueringer, hvor jeg laver rigtig mange interviews, kræver det en stor opmærksomhed ikke at tænke ”fint nok, det har jeg forstået”, når respondent 27 begynder at tale. Så forsøger jeg at huske den bevidste nysgerrighed og ikke at falde for vishedens fristelse. Jeg forestiller mig, at disse opmærksomheder også kan være gode, når man skal lave interne 

evalueringer. Så man ikke kommer til at bygge sin evaluering på, at ”jeg ved da lige præcis, hvad der er på spil her.”

Næste skridt – Forsyning

Når der er styr på efterspørgselen og bevidstheden om konteksten er aktiveret, er næste skridt i evalueringen forsyningen. Jeg skrev før, at teknik- og metodevalg kommer ret nemt, når man har brugt tid nok på at forstå efterspørgslen, og derfor vil jeg ikke bruge meget plads på det. Der er skrevet rigtig meget god litteratur om gode evalueringsmetoder og teknikker, og min erfaring fra blandt andet undervisning er, at det ikke er her evalueringen volder størst problemer. Dog kommer vi nogen gange til at vælge teknik uden at først at have forholdt os til paradigme.

Jeg arbejder ofte med to dimensioner som guidende for overvejelser om paradigmer. Den ene dimension omhandler, hvorvidt evalueringens formål (efterspørgsel) knytter sig til udvikling eller vurdering. Den anden dimension omhandler, hvorvidt det analytiske fokus primært er enkelthed (univers) eller kompleksitet (multivers). Med disse to dimensioner kan man blive klogere på evalueringen og dermed også tilnærme sig et paradigmatisk udgangspunkt. Med dette som afsæt bliver det igen nemmere at vælge eksempelvis dataindsamlingsmetode. Det er en logisk slutning, at hvis overvejelserne om de to dimensioner viser, at evalueringen skal være vurderende med et enkelthedsfokus, vil kvantitative indsamlinger være at foretrække. Yderpunkterne er ikke svære at få øje på. Men også de mere nuancerede slutninger bliver nemmere at lave. Min erfaring er, at man altid ender i netop koblingen enkelthed/vurdering eller i kompleksitet/udvikling – men forskellige steder på akserne, hvis man arbejder med de to dimensioner i et koordinatsystem. Man må tænke det som en prioritering, hvilket kan give både en selv som evaluator og opdragsgiver indsigt i, hvilken efterspørgsel (hvis der er flere, eksempelvis på baggrund af flere forskellige interessenter) der fokuseres på.

Så er vi klar til at vælge teknik og metode. I min praksis er den helt primære dataindsamlingsmetode interviews. Interviewet, og særligt 

fokusgruppeinterviewet, har i min optik størst potentiale i forhold til at skabe refleksion, læring og udvikling. Det giver mening, fordi Innovativ evaluering er optaget af netop at drive innovation i praksis, og da det er mit firmas profil, er det også den slags opgaver, jeg bliver inviteret ind i og siger ja tak til. Men det er bestemt ikke det samme, som at interviews er svaret på den gode evaluering. Igen må der peges tilbage på efterspørgselen som afsæt for valgene.

Opskrift eller?

Spørgsmålet er nu, om det lykkes at komme med konkrete anvisninger, der kan guide en praksis uden, at opskriften bliver så fastlagt, at det er nemmere at følge den blindt end at reflektere over, hvad der er mest hensigtsmæssigt i den givne situation? Jeg håber det, for med konferenceoplevelsen i frisk erindring vil jeg meget gerne imødekomme behovet for nogle håndtag, der gør det lettere at navigere i evalueringer. Samtidig tror jeg, at man som evaluator kan gøre sig selv en stor tjeneste ved at erkende, at evalueringer er komplekse. Næsten enhver profession i både den offentlige og private sektor forventes at evaluere i højere eller mindre grad, uden nødvendigvis at få tilbudt de nødvendige kompetencer til at gøre det. Vi siger: ”Og så skal det selvfølgelig lige evalueres”, når vi igangsætter noget nyt. Ja, det skal det, hvis der er en reel efterspørgsel på den viden, som evalueringen bidrager med. Hvis ikke den efterspørgsel er der, så brug da energien på noget andet. Men hvis den er der, så brug en masse energi og nysgerrighed på at blive klogere på efterspørgsel, kontekst og paradigme. Så kommer resten – næsten – af sig selv.

 

Litteraturliste

Dinesen, M. S og de Wit, C. K. (2010). Innovativ evaluering, Dansk Psykologisk Forlag

Cecchin, G. (1992). The idea of irreverence. i: Cecchin et al. (1992). Irreverence, Karnac Books

Krogstrup, H. K. & Dahler-Larsen, P. (2003). Nye veje i evaluering, Systime

Maturana, H. & Varela, F. (1987). Kundskabens træ – den menneskelig erkendelses biologiske rødder. ASK

Pawson, R. & Tilley, N. (1997). Realistic Evaluation. London, SAGE Publications,

Schaarup, P. (2008): Kvalitet i ledelse, ledelse i kvalitet i: Sørensen mfl. (2008). Ledelse og Læring, Hans Reitzels Forlag

Shaw, I. A. et al (2006). The SAGE handbook of evaluation, SAGE Publications

Stern, E. (2004). What Shapes European Evaluation? i Evaluation, 2004, vol 10(1):7-15, SAGE publications 

 

http://ineva.dk/sites/default/files/styles/top_billede/public/Kogebog.jpg?itok=lcDiUOeo