Dataindsamling
Når vi har formuleret vores efterspørgsel, skal vi i gang med at besvare den. For at kunne gøre det, har vi brug for viden. I arbejdet med evaluering, kommer denne viden fra data. Data er systematiske indsamlinger af viden, som har til hensigt at give indsigt i besvarelsen af et bestemt spørgsmål. Data kan både være kvalitative og kvantitative.
En udfordring i opbygningen af kapacitet til at lave dataindsamling kan være argumentet om, at ’det gør vi hele tiden’. Vi hører rigtig ofte, at praktikere eksempelvis observerer som en helt naturlig del af deres praksis, og dette bliver koblet sammen med det at lave vidensindsamling. Det at observere gør desværre ikke observationerne til data, hvilket knytter sig til en af de indledende pointer i denne artikel, nemlig at viden skal gå fra et være individuel til at være organisatorisk, for at vi kan tale om evalueringskapacitet. Dette peger på et behov om, at dataindsamlingen skal have en vis systematik og retning, ligesom der er brug for opsamlinger, der kan blive til fælles viden.
Dataindsamling i evaluering er en disciplin for sig, som kræver øvelse og kompetencer. I denne sammenhæng vil vi fokusere på den mindste forskel, der kan gøre en forskel, nemlig at planlægge sin dataindsamling og skrive noter, så der er et udgangspunkt at analyse, reflektere og dele viden ud fra.
De to dataindsamlingsformer, som er mindst omfattende at etablere i hverdagen er observation og miniinterviews. Observationen handler ofte om, at gøre det man plejer, men på en lidt anden måde (Dinesen, 2012). For at få god data ud af observationer kan følgende være gode rammesættere:
- Planlæg dine observationer og overvej, hvad du vil kigge efter. Jo mere præcist du ved, hvad du vil observere, jo mere og bedre data får du
- Skriv feltnoter. Du har brug for dem både for at huske, hvad du har observeret og for at anvende dem til analyse (lige for en god ordens skyld må vi hellere lige markere, at disse to pointer ikke favner antropologiens og etnografiens ståsted hverken helt, halvt eller noget der ligner. Vi er dermed ikke ude på at forklejne en metode, men på at give nogle helt simple greb til at gøre det, der foregår i hverdagen blot en my mere kvalificeret. Vi håber ikke, at vi træder nogen over fødderne i forsøget)
Miniinterviews skal her betragtes som et alternativ til at drøfte noget. Der er tendens til, at vi synes rigtig meget, og synsninger har fantastisk gode vilkår i en drøftelse. Miniinterviewene handler i sin simpleste form om at stille spørgsmål og få svar. I interviewet opstår der en asymmetri imellem interviewer og informant, som muliggør at besvarelser bliver til meget bedre data end det vi får i drøftelserne. Dette først og fremmest fordi interviewsituationen opstilles og formes efter en ramme, som er skabt med det formål at afsøge informantens viden og erfaringer. Det er således informantens ’opgave’ at tilvejebringe og dele viden, hvorfor samtalen antager en anden form end en drøftelse, hvor to parter på lige vilkår bidrager med mere spontane og tilfældige synsninger. Interviewene behøver ikke at være planlagte med en stor tidsramme til rådighed, men kan gennemføres mere uformelt og som en del af øvrige aktiviteter i hverdagen. Det centrale er, at der bliver stillet spørgsmål, og at der bliver givet svar.
Når der bliver observeret og interviewet i egen praksis som en del af udmøntningen og udvidelsen af evalueringskapaciteten, kan dette betragtes som en form for selvevaluering, altså hvor man også (i hvert fald i nogle tilfælde) evaluerer egen praksis og dermed også egen formåen.
Peter Dahler-Larsen skriver om selvevaluering, at ”det at vurdere sine egne handlinger kan spille en stærk rolle som terapeutisk redskab, der både kan fremme selverkendelse og bestræbelse på et bedre (arbejds)liv […] Hvis selvevalueringen styres af medlemmerne af et fællesskab [..], så kan selvevalueringen let forbindes med demokrati, selvstyre og eget ansvar for egen fremtid” (Dahler-Larsen, 2004).
Dette er en væsentlig pointe i forhold til, hvorfor dataindsamlingen er så afgørende for opbygningen af kapaciteten og kvaliteten af evalueringer, hvilket udfoldes i eksemplet om at være dataindsamlende i egen praksis.
Refleksion i fællesskab – støttesystemer
Vi har nu forholdt os til motivation for at efterspørge evalueringsviden og til kompetencerne til at indsamle data, hvilket begge er væsentlige elementer i evalueringskapacitetsop-bygningen (Dinesen og de Wit, 2010). Det sidste element, der medtages her, er behov for støttesystemer. Støttesystemerne er de systemer og strukturer, der muliggør og understøtter evalueringsarbejdet i hverdagen. De har altså stor betydning for, at det bliver realistisk, forstået som muligt, at arbejde med evaluering i hverdagen.
Tid, manglende ressourcer og konkurrerende opgaver er de mekanismer, som vi oftest hører beskrevet som årsagen til, at der ikke i ønsket grad bliver arbejdet med evaluering. Som indledningsvist skrevet, er vores organisationer og hverdag komplekse, og tiden er en del af denne kompleksitet (Pawson, 2013). Vi har derfor brug for, at arbejdet med evaluering er systematiseret, og dette rigtig gerne i nogle af de strukturer, der i forvejen findes i organisationen. Det er sjældent hensigtsmæssigt at opfinde nye systemer og foraer til evaluering, netop fordi vi gerne vil have evalueringerne til at være en del af den almindelige praksisudvikling. Derfor handler det om at identificere hvilke systemer og foraer, der findes i forvejen og gennemskue, hvordan evaluering kan blive et tema her.
Der er (mindst) to niveauer i dette: Det ene er de strukturer og systemer, hvor evalueringsdata skal dokumenteres og fastholdes. Det andet er de foraer, hvor vi kollegialt skal analysere de data, vi har indsamlet og derigennem blive klogere på vores efterspørgsel.
Lad os starte med det første: Når vi understreger, at det er væsentligt at tage noter på baggrund af sin dataindsamling, er det godt at have et system eller en struktur, hvor dette fastholdes i. Hvis man er på en arbejdsplads, hvor der arbejdes med journaliserings-, dokumentations- eller andre registreringssystemer, er det smart at få data ind i denne ramme. Det gør det mere overskueligt at have færrest mulige systemer, og flere it-systemer er sjældent nogen særlig god ide. I eksemplet XX arbejder en arbejdsmarkedsafdeling eksempelvis med evaluering som en del af journaliseringen på den enkelte borger, og det muliggør at have alle data samlet ét sted.
Hvis man ikke har denne slags systemer, handler det om at få lavet et håndterbart system. Det kan eksempelvis være et simpelt skema med væsentlige oplysninger, eksempelvis:
- Evalueringstema
- Efterspørgsel
- Dataindsamlingssituation
- Noter
- Refleksioner
Hvis denne form for systematik indarbejdes og bruges på tværs af medarbejdere, får man et fantastisk grundlag at mødes om i forhold det det andet, nemlig den fælles analyse og anvendelse af evalueringen.
For at understøtte, at viden gå fra at være individuel til at være fælles organisatorisk viden, har vi behov for rum til analyse og fælles refleksion. Også her er der god mening i at benytte et af de ’rum’, der allerede eksisterer i organisationen.
Det kan være personalemøder, sparringsmøder, faglig udviklingsmøder eller andre typer af fælles eller - teammøder. Et argument kan også her være tiden, at der er så
meget andet på programmet på disse møder, at det kan være vanskeligt at fylde mere på.
Det er ganske givet rigtigt, men her må vi vende tilbage til pointen om en reel efterspørgsel, intern commitment og hele grundtanken om evalueringskapacitet: hvis der er en reel efterspørgsel og dermed oprigtig nysgerrighed, og hvis denne knytter sig til kerneopgaven, så er det en vigtig opgave, som der må afsættes tid og ressourcer til. Det er en forudsætning for opbygningen af evalueringskapaciteten, at dette etablerer sig, og dermed er det en ledelsesmæssig opgave, hvis beslutningen om at bruge evaluering aktiv som udviklingsredskab realiseres, at få skabt tiden og ressourcerne til det.
Niveauer i kapacitetsopbygningen
Denne artikel har taget udgangspunkt i, hvad en stærk evalueringskapacitet kan bidrage med, og hvilke elementer, der med fordel kan arbejdes med. Erfaringen er, at der i arbejdet i kapacitetsopbygningen er brug for ledelsesmæssige beslut
ninger om, hvilket niveau kapaciteten skal have jf. ovenstående forklaring af manglende tid, ressourcer og konkurrerende opgaver. Vi oplever ofte at blive inviteret til at holde et kursus på en halv dag, en dag eller to dage med fokus på at øge kompetencerne til og kapaciteten inden for evaluering. Deltagerne går, som tidligere skrevet, rigtig ofte derfra med motivation og lyst til at arbejde med evalueringsopgaven, og det er vi selvfølgelig glade for. Samtidig er det væsentligt for os at understrege, hvad der er muligt på et kursus: Det der er muligt er at give viden og færdigheder jf. ovenstående figur.
Ønsker man som organisation at nå frem til at have kompetencer, holdninger til og evne til at navigere i forskellige forståelser af og tilgange til evaluering, er der behov for arbejdet med støttesystemer og der er behov for træning. Igennem træningen bliver viden og færdigheden omsat i praksis, den bliver nuanceret og justeret og vi forstår, hvor (og hvor ikke) det lærte er relevant. De to cases vi har valgt at fremstille i denne artikel er eksempler på et ambitiøst og vedvarende arbejde frem imod opbygningen af en fælles evalueringskapacitet. Tilgangen har været meget forskellig, men i begge tilfælde har ledere og medarbejdere fået jord under neglene, og det er der forandringen sker.
Denne pointe handler sådan set ikke om evaluering, men snarere om, at enhver kapacitetsopbygning, som skal flytte en organisation fra et sted til et andet kræver fokus, ressourcer og træning. Og der er evalueringskapacitet selvfølgelig ingen undtagelse. Hvis du faktisk læser disse linjer, og dermed har brugt en rum tid på at læse denne artikel, er vi ret sikre på, at du er enig.
Case: At være dataindsamlende i egen praksisI forbindelse med et tosidet evalueringsprojekt foretaget i en stor kommunal organisation, blev en del af medarbejderne i organisationen bedt om at være dataindsamlende i egen praksis. Opgaven for evaluator Ineva bestod delvist i at foretage en ekstern evaluering af en ny organisationsstruktur og sideløbende hermed skulle der arbejdes med evalueringskapacitetsopbygning. I opgavens ’anden side’, hvor udgangspunktet var opbygningen af en brugbar og anvendelig evalueringskapacitet, blev interne medarbejdere bedt om at indsamle data i egen organisation vedrørende strukturændringen. Helt konkret blev medarbejdere altså ansvarliggjort for at indsamle data igennem interviews, som de gennemførte med medarbejdere eller interne samarbejdspartnere i organisationen. Den interne dataindsamling tog for alles vedkommende udgangspunkt i en interviewguide, som var udarbejdet i et fællesskab mellem de interviewende og evaluator. Således efterstræbtes det, at disse lå i tråd med den åbne og refleksive spørgeteknik, som efter vores mening fostrer de mest nuancerede beskrivelser og ligeledes skaber den bedste grobund for at både informanten og interviewer opnår en dybere forståelse af egen praksis. En del af interviewguiden var ligeledes fremkommet som et resultat af en undersøgelse af forskellige underafdelingers efterspørgsel på en bestemt viden og dernæst deres egen formulering af en reel efterspørgsel. En del af forberedelsesarbejdet med udarbejdelse af interviewguide lå dermed også hos medarbejderne. Derudover havde de dataindsamlende medarbejdere på forhånd deltaget i et kursusforløb i Inevas regi, som gav dem en grundlæggende viden om evaluering og en forståelse af, hvilke argumenter der lå til grund for det videre forløb i deres organisation. I arbejdet med kapacitetsopbygning efterstræbes det så vidt muligt, at evalueringen af egen praksis og den overordnede praksis, der omgiver hver enkelt medarbejder, bliver en rutine. Ifølge Stockdill, Baizerman og Compton (2002, p. 14) er en grundkerne i evalueringskapacitetsopbyggende arbejde ”løbende at skabe og opretholde overordnede organisatoriske processer, der gør evalueringen og dens anvendelser rutine”. Evalueringsarbejdet skal således indarbejdes i den enkeltes dagligdagsrutine med henblik på at skabe den bedst mulige grobund for udvikling, forandring og innovation – det som Stockdill m.fl. kalder evalueringens ”uses”. Forklaringen på, hvorfor interne medarbejdere i forbindelse med evalueringen blev bedt om selv at agere det ’indsamlende led’, ligger som en naturlig forlængelse af ovenstående. Skal eksempelvis en arbejdsgang indarbejdes som en rutine, skal den først og fremmest indarbejdes gennem en proces, som har til formål at præsentere arbejdsgangens metoder og konkrete udførelse. At medarbejderne selv skulle stå for at indsamle data om organisationsstrukturen blev således et skridt i denne proces. I opbygningen af evalueringskapacitet er det også nødvendigt at have øje for, hvem der har taget initiativet til kapacitetsopbygningen og hvem, der føler ejerskabet (ibid.) I en omfangsrig organisation målt i både arbejdsområder og ansatte, er det så godt som umuligt at forestille sig, at de beslutningstagere, der har igangsat evalueringskapacitetsopbygningen, har forhørt sig ud i krogene af organisationen før vedtagelse. Således vil det umiddelbare initiativ og det medfølgende ejerskab ved processens start som oftest ikke leve i organisationen. I forbindelse med netop denne opgave imødekom evaluator denne bekymring ved at processen blev designet således at de medarbejdere, der var på kursus i Innovativ evaluering, også blev tildelt rollen som dataindsamler. De, der havde gennemført kurset, havde således inden projektets igangsættelse en bredere viden om evaluering end deres kollegaer. I spændingsfeltet mellem kollega, der havde deltaget i kurset og kollega, der ikke havde og det placerede ansvar for dataindsamling hos kursisterne, fødtes et naturligt ejerskab for projektet. De medarbejdere, der havde deltaget i kurset, havde ikke alene viden om projektet, men også ansvaret for at give deres kollegaers viden videre til evalueringen. Helt naturligt opstod dermed en oplevelse af at være en ansvarsbærende del af projektet, fordi de blev bedt om at indsamle data. Den position de gjorde det fra, som kollega blandt kollegaer, blev understøttende for deres tilhørsforhold og ejerskab i forhold til det overordnede projekt. At være dataindsamlende i egen praksis viste sig således som forventet at have en understøttende effekt for ejerskabet bredt ud i organisationen. Evaluator har gennem hele processen fulgt med i dataindsamlingerne, idet der løbende er blevet rapporteret tilbage, og i disse tilbagemeldinger viste det sig tydeligt, at både de, som foretog interviews og de, som deltog som respondenter, undervejs blev klogere på både hinandens og egne praksisser. Når et bestemt tema blev berørt, talte alle således ind i det tema fra deres respektive position i organisationen og ofte viste det sig, at både interviewer og informanter havde stor gavn af at høre andres synspunkter og potentielt også bidrage med opklaring eller andre erfaringer fra lignende situationer. Det forekom ligeledes, at der undervejs i interviews blev fremlagt ideer eller forslag til, hvordan en udfordring kunne bearbejdes. Ikke alene foregik altså en refleksionsproces i forbindelse med dataindsamlingen, men også en slags indledende selvevaluering. |
Case: Integration af evaluering i eksisterende systemerEn opgave i en arbejdsmarkedsafdeling i en mellemstor dansk kommune lød på at skabe og understøtte en evalueringskapacitet. Centralt i opbygningen af evalueringskapaciteten er, at organisationen er i stand til at anvende de evalueringer, der bliver gennemført, hvilket peger tilbage til, at evalueringerne skal være relevante og kompetent opbygget og gennemført. Derudover skal evalueringskapaciteten være bæredygtig, for fortsat at kunne bidrage til den organisatoriske udvikling. Jævnfør ovenstående er det netop indsatsen relateret til bæredygtighed, som var i fokus i forbindelse med opbygningen af kapaciteten i arbejdsmarkedsafdelingen. I arbejdet med at opbygge og – måske endda vigtigst – at opretholde en bæredygtig evalueringskapacitet, er integration af evaluering og evalueringslogikker i allerede eksisterende systemer et brugbart greb. I forhold til evnen til at anvende de gennemførte evalueringer, startede forløbet i kommunen med et kompetenceudviklingsforløb i form af to kursusdage samt en række sparringsmøder, hvor de involverede medarbejdere blev sat ind i en række grundlæggende pointer relateret til Innovativ evaluering. Kursusdagene havde således til formål at bidrage med den viden og indsigt som var nødvendig for at ledelsen og medarbejderne kunne aktivere den viden de besad mest hensigtsmæssigt i den videre proces. En udfordring, der ofte viser sig i opbygningen og vedligeholdelse af evalueringskapacitet, er de involverede medarbejderes bekymring for, hvorvidt de har tid og ressourcer til at igangsætte evaluering i deres daglige arbejdsfelter og rutiner. Denne bekymring forsøgtes imødekommet ved at understøtte en bevægelse mod at integrere evaluering i allerede eksisterende både it-systemer og it-bårne registreringslogikker og derudover i faste sparringsmøder og faglige sparringsfora. Første skridt i denne proces var at afdække, hvilke forskellige mødefora, der fandtes i forvejen, hvilke medarbejdere, der deltog hvornår og derudover at opbygge en forståelse af de eventuelt faste dagsordensrammer, der blev arbejdet med og som dermed var styrende for møderne hver gang. Eksempelvis er der i denne afdeling faste sparringsmøder hver anden uge, hvilket udgør en god ramme for indarbejdelsen af arbejdet med evaluering. Ved at have viden om mødets konkrete struktur og indhold, kunne vi indarbejde dagsordenspunkter med relation til evaluering med underpunkter, som blev taget med på hvert møde og som gav mening for de tilstedeværende. Heri lå, at punkterne blev formuleret i et sprog, der lagde sig opad de allerede eksisterende fagbårne formuleringer og anvendelsen af bestemte ord. Derudover blev evalueringsarbejdet indsat, så de passede ind i den samlede mødestruktur. Andet skridt bestod i at opnå viden om de it-systemer, som medarbejderne arbejder med i forbindelse med møde med borger. En lang række en punkterne i disse online-journaler er faste og har at gøre med gennemgående måleparametre og fokusområder, som er en fast del af udviklingsplanerne for borger. Dog viste det sig, at der forekommer et tomt notefelt, som kan defineres for hver gang skemaet åbnes på ny. I forlængelse af denne viden udviklede konsulenterne fra Ineva sammen med ledelse og medarbejdere fra arbejdsmarkedsafdelingen en ramme for spørgsmål, som medarbejderne skal forholde sig til i forhold til evaluering og som medarbejderne kan besvare og reflektere over i udfyldelsen af det tomme journalfelt, som nu er et ’evalueringsfelt’. På den måde gives medarbejderne en hjælpende hånd og en rettesnor i forbindelse med udfyldelsen, samtidig med at der forekommer en vis ensrettethed på tværs af skemaerne. Et af hovedargumenterne i denne form for integrering af evaluering i eksisterende systemer handler om at gøre tavs viden til fælles organisatorisk viden, som alle medarbejdere kan have gavn af. I dette tilfælde gav dette særdeles god mening, idet mange af medarbejderne i løbet af dagen udfører de samme arbejdsopgaver i forbindelse med borger, men aldrig ud fra en fast ramme. Dermed høster den enkelte hver dag nye erfaringer, men disse forbliver individuelle, medmindre der igangsættes en slags vidensdelings-systematik – og her forekommer evalueringen ganske nyttig. En både fordel og udfordring ved denne måde at integrere nyt i eksisterende systemer har vist sig at være, at det på den ene side giver mening at integrere en evalueringslogik i eksisterende systemer, da disse i forvejen er en fast del af daglige rutiner og derfor bliver anvendt regelmæssigt. Samtidig kan det forekomme udfordrende at integrere et afsnit eller dagsordenspunkt til evaluering i eksisterende systemer, da anvendelsen af disse i mange sammenhænge er præget af vaner og faste arbejdsgange. Dette kan imødekommes ved at inddrage medarbejdernes viden og input undervejs i processen for på den måde at ’invitere dem ind’ i projektet og overføre ejerskabet til dem allerede ved projektets begyndelse. Derudover blev der lagt et løbende sidespor ind i hele procesperioden, hvor konsulenterne fra Ineva bidrog med sparring og refleksioner for mindre grupper af medarbejdere. |
Litteraturliste
Compton mfl. (2002): The art, craft and science of Evaluation Capacity Building, Jossey-Bass
Dahler-Larsen (2006): Evalueringskultur – et begreb bliver til, Syddansk Universitetsforlag
Dahler-Larsen (2003): Selvevalueringens hvide sejl, Odense Universitetsforlag
Dinesen (2009): Evaluering som daglig innovativ praksis i Innovativ evaluering i dagtilbud, DAFOLO
Dinesen og de Wit (2010): Innovativ evaluering, Dansk psykologisk forlag
Dinesen og de Wit (2013): Essensen af Innovativ evaluering, Dansk psykologisk forlag
Dinesen og de Wit (2009):Innovativ evaluering – evaluering der skaber mening og indflydelse, Dansk evalueringsselskabs nyhedsbrev
Pawson (2013):The science of Evaluation, SAGE publications
Pawson og Tilley (1997): Realistic evaluation, SAGE publications
Preskill og Torres (1999): Evaluative inquiry for Learning in Organizations, SAGE publications
Seneca og Christensen (2012): Kend din kerneopgave, Gyldendahl