Realistisk evalueringskapacitet

Realistisk evalueringskapacitet handler om, at evalueringskapaciteten skal være bæredygtig og samtidig gøre os i stand til at forstå, hvad der virker i virkeligheden

Forfattere

Indehaver og chefkonsulent
Seniorkonsulent
Dato: 
juni 2015

Evaluering er og bliver en del af vores organisatoriske liv, og dermed er det også en del af ledelsesopgaven at understøtte det at drive gode evalueringer i organisationer . Der er pres på både fra det politiske system og fra borgerne om at levere den højeste kvalitet til de færreste ressourcer, og medarbejderne har ansvar for at dokumentere og sandsynliggøre, at der er sammenhænge mellem deres praksis og opnåelse af kerneopgaven.

Et af de greb, der kan styrke evnen til - og et fokus på - fortsat udvikling og understøttelse af praksis er evaluering, og det at have en stærk evalueringskapacitet

Vores organisationer og det arbejde, der udføres i dem, bliver i stigende grad komplekse og bundet af en særlig kontekst (Preskill og Torres, 1999). Dette viser sig eksempelvis i de seneste års store fokus på afdækning af kerneopgaven, og hvordan den enkelte bidrager til opfyldelse af denne (Seneca og Christensen, 2012). Der er behov for, at vi som organisationer går efter denne viden, fordi individuelle erfaringer ikke længere er nok til at træffe beslutninger og drive organisationen fremad (Preskill og Torres). Det er der sådan set ikke så fantastisk meget nyt i (efter årtiers arbejde med Den lærende organisation), men evalueringskapaciteten bidrager med nye måder at se på dette udviklingsarbejde og andre forståelse for, hvilke processer der skal igangsættes for at få det udbytte og den læring, som kan opstå på baggrund af arbejdet.

Hvad er evalueringskapacitet?

Evalueringskapacitet handler kort fortalt om, at være organisatorisk dygtig til at evaluere, og kunne bruge evalueringerne til at reducere usikkerhed, tydeliggøre retning, opbygge fællesskab og understøtte at læring er en del af alles arbejde (Preskill og Torres, 1999).

Compton mfl. bidrager med denne arbejdsdefinition:

”At udvikle evalueringskapacitet vil sige at arbejde målrettet og vedvarende med organisatoriske processer, hvis formål er at udvikle evalueringer af høj kvalitet og fokusere på brugen af evalueringerne.” (Compton mfl. 2002)

Det vil altså sige, at der både på individniveauet og på det organisatoriske niveau skal være motivation, kompetencer og støttesystemer, der understøtter evalueringsarbejdet, så det bliver både fortløbende og refleksivt (Dinesen og de Wit, 2013).

Hvorfor er det vanskeligt?

Der er ingen tvivl om, at det er vanskeligt at opbygge en stærk evalueringskapacitet og bruge evaluering til at understøtte den daglige praksis. En af grundene til dette er, at det ikke er nogen enkel opgave at identificere hvilke dele af praksis, der giver hvilke resultater. Den kompleksitet, som er bærende i vores organisationer i dag, gør det vanskeligt at bruge evaluering til at sige præcist, at når vi gør A, så får vi B, fordi kompleksiteten vanskeliggør at dokumentere sammenhængen mellem praksis og resultaterne i forhold til kerneopgaven. Det er mere end svært at sætte nålen i lige præcis det punkt i borgerens kontakt til kommunens arbejdsmarkedsafdeling, og de øvrige aktører og praktikpladser omkring denne, der gør, at han eller hun får et job. Eller præcis hvilken del af den store indsats, der bliver iværksat over for den demente borger, der gør, at han eller hun langsommere, og måske med større værdighed, får en dårlige livskvalitet? Eller hvordan kan vi med sikkerhed vide, om det var indsatsen omkring eventyr i dagtilbuddet eller forældrenes ferie, der gjorde, at barnet pludselig tog et kvantespring sprogligt?

Der er med andre ord ikke noget at sige til, at ledere og medarbejdere kan blive en lille smule forpustede, når snakken går på evaluering og opbygning af evalueringskapacitet. For hvad er det, vi skal evaluere? Og hvornår skal vi bruge tiden på evaluering og måske mindst lige så vigtigt: hvornår skal vi bruge tiden på noget andet? I denne artikel forsøger vi at give et svar, som vi har valgt at kalde Realistisk evalueringskapacitet. Som det vil vise sig i løbet af artiklen, har realismen mere end ét interessant aspekt i sig.

Evalueringskapacitet som hverdagsbegreb

Evalueringskapacitet handler om, at vi som organisation bruger de erfaringer vi har, til at understøtte den fremtid, vi er på vej ind i. Der er nok ikke ret mange på de danske arbejdspladser, der ikke tænker i den retning. Udfordringen er, at vi tænker det – rigtig ofte for os selv på vej hjem fra arbejde eller mens blikket glider hen over køledisken i Føtex. Hvis det går godt, taler vi med vores kolleger om det. Det har den store force, at det så ikke kun er mig, der er blevet klogere. Det er min kollega også. Her er vi sådan set godt på vej, men vi har stadig den udfordring, at organisationen ikke nødvendigvis er blevet klogere. Det er denne klogskab og viden på organisatorisk niveau, som evalueringskapaciteten skal rette sig mod (Presskill og Boyle, 2008).

Evaluering er et bredt og mangesidet begreb, som favner alt fra hverdagsevaluering til store policyevalueringerr. Lad os slå det helt fast: i denne artikel fokuserer vi på evalueringskapacitet i hverdagen. De evalueringer, vi kommer til at fokusere på i denne tekst, er de evalueringer, som handler om vores praksis, altså alle de små og store indsatser vi udfører i hverdagen for at imødekomme de mål og den kerneopgave, som vi er en del af at løse.

Hverdagen er central, fordi det også er her, vi rigtig ofte oplever, at skoen trykker. En del af vores arbejde i Ineva er kurser, kompetenceudvikling og sparring med dygtige, kloge og engagerede medarbejdere. Det går oftest rigtig godt mens vi er sammen, der er højt humør og masser af gå-på-mod i forhold til evaluering. Deltagerne går fra kursus- og sparringsdagene med tro på og lyst til at integrere evaluering mere i deres praksis. Der hvor udfordringerne kommer, når de kommer, er at få omsat og fastholdt motivationen for arbejdet med evalueringskapacitet i hverdagen, hvor rivaliseringen om fokus og arbejdstid i høj. Og det peger på den første pointe omkring realismen i den realistiske evalueringskapacitet: kapaciteten skal være håndterbar, pragmatisk og bæredygtig. Det skal altså ikke være vanskeligt, højtragende og super svært. For så bliver det ikke gjort. Realisme betyder i den sammenhæng, at det faktisk skal være muligt.

Generativ kausalitet

Den anden væsentlige pointe i forhold til realisme er den videnskabelige realisme (Pawson og Tilley, 1997 og Pawson, 2013). Centralt i forståels

en af den videnskabelige realisme er, at der er fokus på forståelsen af de mekanismer, der påvirker hvad der sker (og i forhold til evaluering hvilke effekter og resultater, der opstår) (Ibid). Dette peger på, at vi i vores forståelse for, hvad der får ting til at virke (og ikke virke) er nødt til at forholde os til de mekanismer, der er på spil i den kontekst, som indsatsen eller projektet igangsættes i. Vi skrev tidligere, at vi ikke kunne isolere arbejdet med eventyr som den påvirkende faktor i barnets sprogudvikling, men det er ikke det samme som at vi intet kan sige om, hvordan indsatsen understø

ttede eller påvirkede barnets sprogudvikling. Banalt sagt handler det om at holde snot og kanel for sig. Vi ka

n ikke måle eller veje den præcise effekt af indsatsen, men vi kan godt evaluere det – for evaluering er noget andet og (i hvert fald i nogle tilfælde) noget mere kvalitativt end målinger, som har en kvantitativ logik iboende. Men for at kunne gå denne vej, har vi brug for at kigge på konteksten og mekanismerne, og derfor er den anden pointe i den Realistiske evalueringskapacitet, at en væsentlig del af kapaciteten er evnen til at forstå og gennemskue hvilke kontekster og hvilke mekanismer, der er på spil i praksis, og hvordan disse påvirker, hvad der virker og ikke virker – og for hvem. Når vi leder, skal vi altså holde op med at lede efter kausalitet, men begynde at lede efter og forstå generativ kausalitet. 

Figuren viser, at når en handling (en indsat, et projekt, et arrangement eller noget andet) igangsættes, vil resultatet altid blive påvirket af den kontekst, som det igangsættes i. Handlingen bliver desuden ’mødt’ af nogle mennesker, som hver især har forskellige holdninger til og forståelse for handlingen. Disse holdninger og følelser vil (naturligvis) påvirke, hvorvidt handlingen lykkes med at aktivere effekten. Den Realistiske evalueringskapacitet giver altså blik og forståelse for, at når vi afdækker hvad i vores praksis, der virker og ikke virker, skal vi holde øje med konteksterne og mekanismerne.

 

Generativ kausalitet – et eksempel

I et borgerservice bliver der arbejdet med digital medbetjening. Kort fortalt handler det om at give borgere vejledning i brugen af eksempelvis NemID. Medarbejderne i borgerservice arbejder med afsæt i deres viden om NemID, deres forståelse for borgergruppen (ofte ældre borgere) og med mange års erfaring med formidling.

Indsatsen hedder altså ”digital medbetjening” og målet er borgere, der er selvhjulpne i forhold til NemID.

Antagelsen kunne dermed være, at hvis man følger en række digitale medbetjeninger, vil man kunne vurdere og dermed konkludere, i hvor høj grad medarbejderne lever op til og lykkes med at opnå deres mål. Jagten kan altså gå på en forklaring fra den digitale medbetjening til den selvhjulpne borger.

Udfordringen i virkeligheden er, at det der opleves som den samme tilgang, dog tilpasset den enkelte borger, rigtig ofte giver helt forskellige resultater. Det kan være helt fra, at borgeren går fra Borgerservice helt klædt på til at bruge NemID og til at borgeren ikke kommer så meget som en my videre i sin forståelse. Og dette til trods for, at tilgangen var den samme. Den skarpe læser vil her måske tænke: ”Det er klart, borgerne har jo helt utroligt forskellige kompetencer for og forståelse for det digitale system, så det er ikke så underligt, at forskellene viser sig.” Vi er enige, men det handler ikke om, at det her eksempel er banalt. Det handler om, at kontekst og mekanismer altid vil påvirke indsatsen potentiale for at opnå målene.

I Borgerservice har vi set, at det har stor betydning, om der er diskretion. Den kontekst, at andre borgere potentielt kan opfange mine oplysninger er en hæmmende faktor. Tid er en væsentlig kontekst – har medarbejderne god tid til at tale med borgerne, når de kommer ind?

Mekanismerne kan eksempelvis være den enkelte borgers holdning til NemID og hele digitaliseringsbølgen. Opleves det som et ubehageligt pres at skulle arbejde digitalt eller synes det er smart og fleksibelt? Har man som borger (og som medarbejder) tro på, at borgeren kan forstå det, der er behov for at forstå? Er borgeren for stolt til at melde rent ud, hvor svært han eller hun faktisk synes det er?

Alle disse ting påvirker, hvornår og for hvem den indsatse, der hedder ’digital medbetjening’ skaber målene. Og hvis vi igennem vores praksisevaluering, underbygget af vores evalueringskapacitet gerne vil blive klogere på, hvad der virker, så må vi nødvendigvis kigge efter disse kontekster og mekanismer. 

 

Motivation for at efterspørge viden

Okay, vi har nu fået sat rammen for, hvilke opmærksomheder der kan og bør være i forståelsen for evaluering og i opbygningen af evalueringskapacitet. Dermed er det tid til at kigge på, hvordan kapaciteten rent konkret bliver opbygget. Den kommer desværre ikke af sig selv, og det er ikke uden grund, at mange taler om en ’evalueringskultur’ (se eks. Dahler-Larsen, 2006), fordi det kræver en særlig kultur at stille sig refleksivt og lære af sin praksis. Det er dog heller ikke tilfældigt, at vi her taler om evaluerings-kapacitet og ikke –kultur, hvilket først og fremmest handler om, at vi ikke tænker, at det skal være en ekstra kultur. Arbejdet med evaluering skal netop være en integreret del af den professionskultur der allerede eksisterer, uanset om det er på en skole, i et dagtilbud, et ældrecenter, en arbejdsmarkedsafde-ling eller et femte sted. 

Udgangspunktet for at opbygge en evalueringskapacitet er, at der er en motivation for at efterspørge viden. Det skal altså være etableret (eller etableres som en del af arbejdet med evalueringskapacitet) som en del af kulturen i organisationen, at man stiller sig undrende over for egen praksis, og er oprigtigt nysgerrig og interesseret i at blive klogere på den. Men det føromtalte store fokus på kerneopgaven, kan det synes unødvendigt at understrege dette, men ikke desto mindre viser det sig til tider, at nogle medarbejdergrupper har mere erfaring med og præference for at handle frem for at stoppe op og reflektere og forholde sig til egen og andres praksis.

Uden denne refleksion og oprigtige nysgerrighed har evalueringskapaci-teten trange kår, og derfor må enhver opbygning af evalueringskapacitet starte her med at finde ud af, hvad vi er oprigtigt nysgerrige efter at blive klogere på i vores  praksis, og hvordan vi tænkt os at bruge denne viden? 

 Vi bliver ofte spurgt, om man altid skal evaluere. Det enkle svar er nej. Og hvis evalueringen igangsættes med afsæt i en intern commitment om at blive klogere på egen praksis, så er det så enkelt, at vi kun skal evaluere på det, der undrer os, som vi har en reel efterspørgsel efter at blive klogere på, og som vi kan forestille os at justere og ændre på fremadrettet. Den interne commitment handler om, at evalueringen igangsættes ud fra en intern motivation og ikke med afsæt i et eksternt (myndigheds-) krav (Dinesen og de Wit, 2009). Sagt me andre ord: ingen efterspørgsel, ingen evaluering.
 

Eksempler på efterspørgsler

Det at opstille en efterspørgsel er ikke kompliceret, men det kan nogen gange godt opleves sådan, måske fordi der er en tendens til, at det skal være flot og fint. Det skal det ikke, men det skal være konkret og have afsæt i det, vi oprigtigt er nysgerrige på. Følgende er en række formuleringer på efterspørgsler fra hverdagspraksis, som vores kunder og samarbejdspartnere har formuleret.

Dagtilbud: Hvordan understøtter det pædagogiske personale at bedsteforældredagen bliver en god dag, også for de børn der ikke har en bedsteforældre med?

Arbejdsmarkedsafdeling: Hvilken betydning har de koordinerende sagsbehandlere for etableringen af motivation hos borgerne?

Efterværnsprojekt: Hvilken betydning har relationen mellem frivillig og ung i forhold til etableringen af et godt og selvstændigt ungdomsliv?

Kulturafdeling: Hvorvidt og i hvor høj grad understøtter kulturafdelingens igangsættelse af aktiviteter kommunens strategi om tiltrækning af flere børnefamilier?

Skole: Hvordan og i hvor høj grad understøttede arbejdet med demokrati elevernes forståelse for at være en del af det danske samfund? 

 

http://ineva.dk/sites/default/files/styles/top_billede/public/skov.jpg?itok=A8XsvZmn

”At udvikle evalueringskapacitet vil sige at arbejde målrettet og vedvarende med organisatoriske processer, hvis formål er at udvikle evalueringer af høj kvalitet og fokusere på brugen af evalueringerne.” (Compton mfl. 2002)

Hvis vi ikke har data, har vi ikke evaluering - og så har vi ikke evalueringskapacitet

Dataindsamling

Når vi har formuleret vores efterspørgsel, skal vi i gang med at besvare den. For at kunne gøre det, har vi brug for viden. I arbejdet med evaluering, kommer denne viden fra data. Data er systematiske indsamlinger af viden, som har til hensigt at give indsigt i besvarelsen af et bestemt spørgsmål. Data kan både være kvalitative og kvantitative.

En udfordring i opbygningen af kapacitet til at lave dataindsamling kan være argumentet om, at ’det gør vi hele tiden’. Vi hører rigtig ofte, at praktikere eksempelvis observerer som en helt naturlig del af deres praksis, og dette bliver koblet sammen med det at lave vidensindsamling. Det at observere gør desværre ikke observationerne til data, hvilket knytter sig til en af de indledende pointer i denne artikel, nemlig at viden skal gå fra et være individuel til at være organisatorisk, for at vi kan tale om evalueringskapacitet. Dette peger på et behov om, at dataindsamlingen skal have en vis systematik og retning, ligesom der er brug for opsamlinger, der kan blive til fælles viden.

Dataindsamling i evaluering er en disciplin for sig, som kræver øvelse og kompetencer. I denne sammenhæng vil vi fokusere på den mindste forskel, der kan gøre en forskel, nemlig at planlægge sin dataindsamling og skrive noter, så der er et udgangspunkt at analyse, reflektere og dele viden ud fra.

De to dataindsamlingsformer, som er mindst omfattende at etablere i hverdagen er observation og miniinterviews. Observationen handler ofte om, at gøre det man plejer, men på en lidt anden måde (Dinesen, 2012). For at få god data ud af observationer kan følgende være gode rammesættere: 

  • Planlæg dine observationer og overvej, hvad du vil kigge efter. Jo mere præcist du ved, hvad du vil observere, jo mere og bedre data får du
  • Skriv feltnoter. Du har brug for dem både for at huske, hvad du har observeret og for at anvende dem til analyse (lige for en god ordens skyld må vi hellere lige markere, at disse to pointer ikke favner antropologiens og etnografiens ståsted hverken helt, halvt eller noget der ligner. Vi er dermed ikke ude på at forklejne en metode, men på at give nogle helt simple greb til at gøre det, der foregår i hverdagen blot en my mere kvalificeret. Vi håber ikke, at vi træder nogen over fødderne i forsøget)

 

Miniinterviews skal her betragtes som et alternativ til at drøfte noget. Der er tendens til, at vi synes rigtig meget, og synsninger har fantastisk gode vilkår i en drøftelse. Miniinterviewene handler i sin simpleste form om at stille spørgsmål og få svar. I interviewet opstår der en asymmetri imellem interviewer og informant, som muliggør at besvarelser bliver til meget bedre data end det vi får i drøftelserne. Dette først og fremmest fordi interviewsituationen opstilles og formes efter en ramme, som er skabt med det formål at afsøge informantens viden og erfaringer. Det er således informantens ’opgave’ at tilvejebringe og dele viden, hvorfor samtalen antager en anden form end en drøftelse, hvor to parter på lige vilkår bidrager med mere spontane og tilfældige synsninger.   Interviewene behøver ikke at være planlagte med en stor tidsramme til rådighed, men kan gennemføres mere uformelt og som en del af øvrige aktiviteter i hverdagen. Det centrale er, at der bliver stillet spørgsmål, og at der bliver givet svar. 

Når der bliver observeret og interviewet i egen praksis som en del af udmøntningen og udvidelsen af evalueringskapaciteten, kan dette betragtes som en form for selvevaluering, altså hvor man også (i hvert fald i nogle tilfælde) evaluerer egen praksis og dermed også egen formåen.

Peter Dahler-Larsen skriver om selvevaluering, at ”det at vurdere sine egne handlinger kan spille en stærk rolle som terapeutisk redskab, der både kan fremme selverkendelse og bestræbelse på et bedre (arbejds)liv […] Hvis selvevalueringen styres af medlemmerne af et fællesskab [..], så kan selvevalueringen let forbindes med demokrati, selvstyre og eget ansvar for egen fremtid” (Dahler-Larsen, 2004).

Dette er en væsentlig pointe i forhold til, hvorfor dataindsamlingen er så afgørende for opbygningen af kapaciteten og kvaliteten af evalueringer, hvilket udfoldes i eksemplet om at være dataindsamlende i egen praksis.  

Refleksion i fællesskab – støttesystemer

Vi har nu forholdt os til motivation for at efterspørge evalueringsviden og til kompetencerne til at indsamle data, hvilket begge er væsentlige elementer i evalueringskapacitetsop-bygningen (Dinesen og de Wit, 2010). Det sidste element, der medtages her, er behov for støttesystemer. Støttesystemerne er de systemer og strukturer, der muliggør og understøtter evalueringsarbejdet i hverdagen. De har altså stor betydning for, at det bliver realistisk, forstået som muligt, at arbejde med evaluering i hverdagen.

Tid, manglende ressourcer og konkurrerende opgaver er de mekanismer, som vi oftest hører beskrevet som årsagen til, at der ikke i ønsket grad bliver arbejdet med evaluering. Som indledningsvist skrevet, er vores organisationer og hverdag komplekse, og tiden er en del af denne kompleksitet (Pawson, 2013). Vi har derfor brug for, at arbejdet med evaluering er systematiseret, og dette rigtig gerne i nogle af de strukturer, der i forvejen findes i organisationen. Det er sjældent hensigtsmæssigt at opfinde nye systemer og foraer til evaluering, netop fordi vi gerne vil have evalueringerne til at være en del af den almindelige praksisudvikling. Derfor handler det om at identificere hvilke systemer og foraer, der findes i forvejen og gennemskue, hvordan evaluering kan blive et tema her.

Der er (mindst) to niveauer i dette: Det ene er de strukturer og systemer, hvor evalueringsdata skal dokumenteres og fastholdes. Det andet er de foraer, hvor vi kollegialt skal analysere de data, vi har indsamlet og derigennem blive klogere på vores efterspørgsel.

Lad os starte med det første: Når vi understreger, at det er væsentligt at tage noter på baggrund af sin dataindsamling, er det godt at have et system eller en struktur, hvor dette fastholdes i. Hvis man er på en arbejdsplads, hvor der arbejdes med journaliserings-, dokumentations- eller andre registreringssystemer, er det smart at få data ind i denne ramme. Det gør det mere overskueligt at have færrest mulige systemer, og flere it-systemer er sjældent nogen særlig god ide. I eksemplet XX arbejder en arbejdsmarkedsafdeling eksempelvis med evaluering som en del af journaliseringen på den enkelte borger, og det muliggør at have alle data samlet ét sted. 

Hvis man ikke har denne slags systemer, handler det om at få lavet et håndterbart system. Det kan eksempelvis være et simpelt skema med væsentlige oplysninger, eksempelvis:

  • Evalueringstema
  • Efterspørgsel
  • Dataindsamlingssituation
  • Noter
  • Refleksioner

 

Hvis denne form for systematik indarbejdes og bruges på tværs af medarbejdere, får man et fantastisk grundlag at mødes om i forhold det det andet, nemlig den fælles analyse og anvendelse af evalueringen.

For at understøtte, at viden gå fra at være individuel til at være fælles organisatorisk viden, har vi behov for rum til analyse og fælles refleksion. Også her er der god mening i at benytte et af de ’rum’, der allerede eksisterer i organisationen.

 Det kan være personalemøder, sparringsmøder, faglig udviklingsmøder eller andre typer af fælles eller - teammøder. Et argument kan også her være tiden, at der er så

 meget andet på programmet på disse møder, at det kan være vanskeligt at fylde mere på. 

Det er ganske givet rigtigt, men her må vi vende tilbage til pointen om en reel efterspørgsel, intern commitment og hele grundtanken om evalueringskapacitet: hvis der er en reel efterspørgsel og dermed oprigtig nysgerrighed, og hvis denne knytter sig til kerneopgaven, så er det en vigtig opgave, som der må afsættes tid og ressourcer til. Det er en forudsætning for opbygningen af evalueringskapaciteten, at dette etablerer sig, og dermed er det en ledelsesmæssig opgave, hvis beslutningen om at bruge evaluering aktiv som udviklingsredskab realiseres, at få skabt tiden og ressourcerne til det.  

Niveauer i kapacitetsopbygningen

Kompetenceniveuer

Denne artikel har taget udgangspunkt i, hvad en stærk evalueringskapacitet kan bidrage med, og hvilke elementer, der med fordel kan arbejdes med. Erfaringen er, at der i arbejdet i kapacitetsopbygningen er brug for ledelsesmæssige beslut

ninger om, hvilket niveau kapaciteten skal have jf. ovenstående forklaring af manglende tid, ressourcer og konkurrerende opgaver. Vi oplever ofte at blive inviteret til at holde et kursus på en halv dag, en dag eller to dage med fokus på at øge kompetencerne til og kapaciteten inden for evaluering. Deltagerne går, som tidligere skrevet, rigtig ofte derfra med motivation og lyst til at arbejde med evalueringsopgaven, og det er vi selvfølgelig glade for. Samtidig er det væsentligt for os at understrege, hvad der er muligt på et kursus: Det der er muligt er at give viden og færdigheder jf. ovenstående figur.

Ønsker man som organisation at nå frem til at have kompetencer, holdninger til og evne til at navigere i forskellige forståelser af og tilgange til evaluering, er der behov for arbejdet med støttesystemer og der er behov for træning. Igennem træningen bliver viden og færdigheden omsat i praksis, den bliver nuanceret og justeret og vi forstår, hvor (og hvor ikke) det lærte er relevant. De to cases vi har valgt at fremstille i denne artikel er eksempler på et ambitiøst og vedvarende arbejde frem imod opbygningen af en fælles evalueringskapacitet. Tilgangen har været meget forskellig, men i begge tilfælde har ledere og medarbejdere fået jord under neglene, og det er der forandringen sker.

Denne pointe handler sådan set ikke om evaluering, men snarere om, at enhver kapacitetsopbygning, som skal flytte en organisation fra et sted til et andet kræver fokus, ressourcer og træning. Og der er evalueringskapacitet selvfølgelig ingen undtagelse. Hvis du faktisk læser disse linjer, og dermed har brugt en rum tid på at læse denne artikel, er vi ret sikre på, at du er enig.

Case: At være dataindsamlende i egen praksis

I forbindelse med et tosidet evalueringsprojekt foretaget i en stor kommunal organisation, blev en del af medarbejderne i organisationen bedt om at være dataindsamlende i egen praksis. Opgaven for evaluator Ineva bestod delvist i at foretage en ekstern evaluering af en ny organisationsstruktur og sideløbende hermed skulle der arbejdes med evalueringskapacitetsopbygning. I opgavens ’anden side’, hvor udgangspunktet var opbygningen af en brugbar og anvendelig evalueringskapacitet, blev interne medarbejdere bedt om at indsamle data i egen organisation vedrørende strukturændringen. Helt konkret blev medarbejdere altså ansvarliggjort for at indsamle data igennem interviews, som de gennemførte med medarbejdere eller interne samarbejdspartnere i organisationen.

Den interne dataindsamling tog for alles vedkommende udgangspunkt i en interviewguide, som var udarbejdet i et fællesskab mellem de interviewende og evaluator. Således efterstræbtes det, at disse lå i tråd med den åbne og refleksive spørgeteknik, som efter vores mening fostrer de mest nuancerede beskrivelser og ligeledes skaber den bedste grobund for at både informanten og interviewer opnår en dybere forståelse af egen praksis. En del af interviewguiden var ligeledes fremkommet som et resultat af en undersøgelse af forskellige underafdelingers efterspørgsel på en bestemt viden og dernæst deres egen formulering af en reel efterspørgsel. En del af forberedelsesarbejdet med udarbejdelse af interviewguide lå dermed også hos medarbejderne. Derudover havde de dataindsamlende medarbejdere på forhånd deltaget i et kursusforløb i Inevas regi, som gav dem en grundlæggende viden om evaluering og en forståelse af, hvilke argumenter der lå til grund for det videre forløb i deres organisation.   

I arbejdet med kapacitetsopbygning efterstræbes det så vidt muligt, at evalueringen af egen praksis og den overordnede praksis, der omgiver hver enkelt medarbejder, bliver en rutine. Ifølge Stockdill, Baizerman og Compton (2002, p. 14) er en grundkerne i evalueringskapacitetsopbyggende arbejde ”løbende at skabe og opretholde overordnede organisatoriske processer, der gør evalueringen og dens anvendelser rutine”. Evalueringsarbejdet skal således indarbejdes i den enkeltes dagligdagsrutine med henblik på at skabe den bedst mulige grobund for udvikling, forandring og innovation – det som Stockdill m.fl. kalder evalueringens ”uses”.

Forklaringen på, hvorfor interne medarbejdere i forbindelse med evalueringen blev bedt om selv at agere det ’indsamlende led’, ligger som en naturlig forlængelse af ovenstående. Skal eksempelvis en arbejdsgang indarbejdes som en rutine, skal den først og fremmest indarbejdes gennem en proces, som har til formål at præsentere arbejdsgangens metoder og konkrete udførelse. At medarbejderne selv skulle stå for at indsamle data om organisationsstrukturen blev således et skridt i denne proces.

I opbygningen af evalueringskapacitet er det også nødvendigt at have øje for, hvem der har taget initiativet til kapacitetsopbygningen og hvem, der føler ejerskabet (ibid.) I en omfangsrig organisation målt i både arbejdsområder og ansatte, er det så godt som umuligt at forestille sig, at de beslutningstagere, der har igangsat evalueringskapacitetsopbygningen, har forhørt sig ud i krogene af organisationen før vedtagelse. Således vil det umiddelbare initiativ og det medfølgende ejerskab ved processens start som oftest ikke leve i organisationen. I forbindelse med netop denne opgave imødekom evaluator denne bekymring ved at processen blev designet således at de medarbejdere, der var på kursus i Innovativ evaluering, også blev tildelt rollen som dataindsamler. De, der havde gennemført kurset, havde således inden projektets igangsættelse en bredere viden om evaluering end deres kollegaer. I spændingsfeltet mellem kollega, der havde deltaget i kurset og kollega, der ikke havde og det placerede ansvar for dataindsamling hos kursisterne, fødtes et naturligt ejerskab for projektet. De medarbejdere, der havde deltaget i kurset, havde ikke alene viden om projektet, men også ansvaret for at give deres kollegaers viden videre til evalueringen. Helt naturligt opstod dermed en oplevelse af at være en ansvarsbærende del af projektet, fordi de blev bedt om at indsamle data. Den position de gjorde det fra, som kollega blandt kollegaer, blev understøttende for deres tilhørsforhold og ejerskab i forhold til det overordnede projekt. At være dataindsamlende i egen praksis viste sig således som forventet at have en understøttende effekt for ejerskabet bredt ud i organisationen. 

Evaluator har gennem hele processen fulgt med i dataindsamlingerne, idet der løbende er blevet rapporteret tilbage, og i disse tilbagemeldinger viste det sig tydeligt, at både de, som foretog interviews og de, som deltog som respondenter, undervejs blev klogere på både hinandens og egne praksisser. Når et bestemt tema blev berørt, talte alle således ind i det tema fra deres respektive position i organisationen og ofte viste det sig, at både interviewer og informanter havde stor gavn af at høre andres synspunkter og potentielt også bidrage med opklaring eller andre erfaringer fra lignende situationer. Det forekom ligeledes, at der undervejs i interviews blev fremlagt ideer eller forslag til, hvordan en udfordring kunne bearbejdes. Ikke alene foregik altså en refleksionsproces i forbindelse med dataindsamlingen, men også en slags indledende selvevaluering. 

 

 

Case: Integration af evaluering i eksisterende systemer

En opgave i en arbejdsmarkedsafdeling i en mellemstor dansk kommune lød på at skabe og understøtte en evalueringskapacitet. Centralt i opbygningen af evalueringskapaciteten er, at organisationen er i stand til at anvende de evalueringer, der bliver gennemført, hvilket peger tilbage til, at evalueringerne skal være relevante og kompetent opbygget og gennemført. Derudover skal evalueringskapaciteten være bæredygtig, for fortsat at kunne bidrage til den organisatoriske udvikling.

Jævnfør ovenstående er det netop indsatsen relateret til bæredygtighed, som var i fokus i forbindelse med opbygningen af kapaciteten i arbejdsmarkedsafdelingen. I arbejdet med at opbygge og – måske endda vigtigst – at opretholde en bæredygtig evalueringskapacitet, er integration af evaluering og evalueringslogikker i allerede eksisterende systemer et brugbart greb. I forhold til evnen til at anvende de gennemførte evalueringer, startede forløbet i kommunen med et kompetenceudviklingsforløb i form af to kursusdage samt en række sparringsmøder, hvor de involverede medarbejdere blev sat ind i en række grundlæggende pointer relateret til Innovativ evaluering. Kursusdagene havde således til formål at bidrage med den viden og indsigt som var nødvendig for at ledelsen og medarbejderne kunne aktivere den viden de besad mest hensigtsmæssigt i den videre proces.      

En udfordring, der ofte viser sig i opbygningen og vedligeholdelse af evalueringskapacitet, er de involverede medarbejderes bekymring for, hvorvidt de har tid og ressourcer til at igangsætte evaluering i deres daglige arbejdsfelter og rutiner. Denne bekymring forsøgtes imødekommet ved at understøtte en bevægelse mod at integrere evaluering i allerede eksisterende både it-systemer og it-bårne registreringslogikker og derudover i faste sparringsmøder og faglige sparringsfora.

Første skridt i denne proces var at afdække, hvilke forskellige mødefora, der fandtes i forvejen, hvilke medarbejdere, der deltog hvornår og derudover at opbygge en forståelse af de eventuelt faste dagsordensrammer, der blev arbejdet med og som dermed var styrende for møderne hver gang. Eksempelvis er der i denne afdeling faste sparringsmøder hver anden uge, hvilket udgør en god ramme for indarbejdelsen af arbejdet med evaluering. Ved at have viden om mødets konkrete struktur og indhold, kunne vi indarbejde dagsordenspunkter med relation til evaluering med underpunkter, som blev taget med på hvert møde og som gav mening for de tilstedeværende. Heri lå, at punkterne blev formuleret i et sprog, der lagde sig opad de allerede eksisterende fagbårne formuleringer og anvendelsen af bestemte ord. Derudover blev evalueringsarbejdet indsat, så de passede ind i den samlede mødestruktur.

Andet skridt bestod i at opnå viden om de it-systemer, som medarbejderne arbejder med i forbindelse med møde med borger. En lang række en punkterne i disse online-journaler er faste og har at gøre med gennemgående måleparametre og fokusområder, som er en fast del af udviklingsplanerne for borger. Dog viste det sig, at der forekommer et tomt notefelt, som kan defineres for hver gang skemaet åbnes på ny. I forlængelse af denne viden udviklede konsulenterne fra Ineva sammen med ledelse og medarbejdere fra arbejdsmarkedsafdelingen en ramme for spørgsmål, som medarbejderne skal forholde sig til i forhold til evaluering og som medarbejderne kan besvare og reflektere over i udfyldelsen af det tomme journalfelt, som nu er et ’evalueringsfelt’. På den måde gives medarbejderne en hjælpende hånd og en rettesnor i forbindelse med udfyldelsen, samtidig med at der forekommer en vis ensrettethed på tværs af skemaerne.     

Et af hovedargumenterne i denne form for integrering af evaluering i eksisterende systemer handler om at gøre tavs viden til fælles organisatorisk viden, som alle medarbejdere kan have gavn af. I dette tilfælde gav dette særdeles god mening, idet mange af medarbejderne i løbet af dagen udfører de samme arbejdsopgaver i forbindelse med borger, men aldrig ud fra en fast ramme. Dermed høster den enkelte hver dag nye erfaringer, men disse forbliver individuelle, medmindre der igangsættes en slags vidensdelings-systematik – og her forekommer evalueringen ganske nyttig.

En både fordel og udfordring ved denne måde at integrere nyt i eksisterende systemer har vist sig at være, at det på den ene side giver mening at integrere en evalueringslogik i eksisterende systemer, da disse i forvejen er en fast del af daglige rutiner og derfor bliver anvendt regelmæssigt. Samtidig kan det forekomme udfordrende at integrere et afsnit eller dagsordenspunkt til evaluering i eksisterende systemer, da anvendelsen af disse i mange sammenhænge er præget af vaner og faste arbejdsgange. Dette kan imødekommes ved at inddrage medarbejdernes viden og input undervejs i processen for på den måde at ’invitere dem ind’ i projektet og overføre ejerskabet til dem allerede ved projektets begyndelse. Derudover blev der lagt et løbende sidespor ind i hele procesperioden, hvor konsulenterne fra Ineva bidrog med sparring og refleksioner for mindre grupper af medarbejdere.      

Litteraturliste

Compton mfl. (2002): The art, craft and science of Evaluation Capacity Building, Jossey-Bass

Dahler-Larsen (2006): Evalueringskultur – et begreb bliver til, Syddansk Universitetsforlag

Dahler-Larsen (2003): Selvevalueringens hvide sejl, Odense Universitetsforlag

Dinesen (2009): Evaluering som daglig innovativ praksis i Innovativ evaluering i dagtilbud, DAFOLO

Dinesen og de Wit (2010): Innovativ evaluering, Dansk psykologisk forlag

Dinesen og de Wit (2013): Essensen af Innovativ evaluering, Dansk psykologisk forlag

Dinesen og de Wit (2009):Innovativ evaluering – evaluering der skaber mening og indflydelse, Dansk evalueringsselskabs nyhedsbrev

Pawson (2013):The science of Evaluation, SAGE publications

Pawson og Tilley (1997): Realistic evaluation, SAGE publications

Preskill og Torres (1999): Evaluative inquiry for Learning in Organizations, SAGE publications

Seneca og Christensen (2012): Kend din kerneopgave, Gyldendahl

Klik her for en printvenlig version af artiklen