”Vi evaluerer hele tiden.” Den sætning ligger i den absolutte top over udtalelser, vi hører på kurser og i forbindelse med anden form for kompetenceudvikling i evaluering. Når samtalen handler om at anvende evaluering som en aktiv del af at skabe udvikling i praksis, falder argumentet fast, tungt og med stor overbevisning: ”Vi evaluerer jo hele tiden – hver dag.” I denne artikel vil vi påstå det modsatte. Vi evaluerer ikke hele tiden – hver dag. De fleste gør i hvert fald ikke. De fleste reflekterer, hvilket er både klogt, godt og udviklende. Men det er ikke evaluering. Evaluering kræver noget andet og kan noget andet.
Denne artikel har som formål at fremstille og diskutere, hvorfor refleksion og evaluering er to helt forskellige ting, og hvorfor vi alligevel ofte kommer til at blande dem sammen. Derudover vil artiklen behandle, hvorfor det overhovedet er vigtigt at skelne. Kan det ikke være hip som hap, om vi gør det ene eller det andet, eller kalder det vi gør det ene eller det andet - hvis formålet er klart, og formålet er at blive kompetente, dygtige, lære af vores erfaringer og understøtte kerneopgaven? Det korte svar er nej. Det er ikke ligegyldigt. Fordi refleksion og evaluering er noget forskelligt og skal noget forskelligt i vores arbejdsliv. Derfor er det ikke ligegyldigt, hvornår hvad sættes i gang - og ambitionen med denne artikel er dermed at gøre begreberne tydeligere i forhold til hinanden og give inspiration til, hvornår hvad er det rigtige ’greb’.
Der er samfundsmæssigt stor efterspørgsel på at vide, hvad der virker – det har vi talt om i årevis (se eksempelvis Dahler-Larsen, 1998; Hansen, 2003 og Krogstrup, 2006 for bare at tage nogle af de danske bud på drøftelsen vedrørende viden om virkninger), og i den forbindelse har evaluering en væsentlig plads som tilgang og rammesætning. Dermed bliver evaluering ’noget’, der bliver talt om som en selvfølge, og som noget vi, som organisation og dermed ledere og medarbejdere, bør forholde os til, bidrage med og anvende (se eksempelvis igen Dahler-Larsen, 1998, hvor evaluering som protected discourse er fint fremstillet). Det interessante ved dette perspektiv er, at der ofte har været knyttet forklaringer til evaluering som en symbolsk handling. Altså noget vi gør, fordi vi er blevet bedt om det, og som vi ikke stiller os kritisk til i forhold til at finde mening og anvendelse i (se eksempelvis Quinn-Patton, 2008 og – igen – Dahler-Larsen, 1998).
Vi har dog over de sidste ca. særligt 5 års tid oplevet en markant forandring i forklaringer om, ’hvad er evaluering’, når vi arbejder med praktikere fra mange forskellige fag-områder. For år tilbage, var forklaringerne om evaluering meget lig dem Christian Moldt indsamlede i 2007 i forbindelse med sin PhD, nemlig at der knyttede sig overvejende negative associationer til evaluering som begreb (Moldt, 2007). Der var beskrivelse af, at evaluering var meningsløs, tidsspilde, kontrol, en skal-opgave og andet i samme kategori. Det hører vi efterhånden meget sjældent, i stedet hører vi forklaringer som, at evaluering er udvikling, noget fremadrettet, læring og ja, refleksion. Vores oplevelse er altså, at der er sket et holdningsskred blandt praktikerne i forhold til evaluering. Det er som sådan stadig en protected discourse, men fra at være noget eksternt, man gennemførte symbolsk, er forståelsen nu, at evaluering er noget internt drevet, der knytter sig helt tæt til praksisudvikling. Det sidste er vi som sådan helt enige i – men ikke i det skred, det har taget med, nemlig at evaluering i manges opfattelse er blevet det samme som refleksion. I vores jagt på at opbygge mening og forståelse for ’evaluerings-monstret’, har vi altså skubbet det over til noget, som vi finder meningsfuldt, nemlig at forholde os kritisk og løbende til vores egen praksis for at forbedre den. Igen, denne bevægelse er god og understøttelse – men ikke evaluering.
Så den ene forklaring på, hvorfor vi blander tingene sammen, knytter sig altså til en praksisrettet insisteren på at finde mening i det, vi skal gøre. Den anden handler om litteraturen og den helt urimelige mudrethed, der findes omkring evalueringsbegrebet (se eksempelvis Pawson og Tilley, 1997 for en skøn forklaring på evalueringsfeltets meget brogede rammesætning). Når man kigger bredt hen over evalueringslitteraturen, er spændet i forklaringer og definitioner mere end bred, og det er nok ikke til stor gavn for letheden i at navigere i feltet i en hverdagspraksis. Og mere end slemt bliver det, når anerkendte evalueringsteoretikere fremlægger definitioner, som skubber evaluering så tæt op af refleksion, at – ja, at forskellen faktisk er umulig at få øje på. Albæk skriver:
"At evaluere betyder i al sin enkelhed at standse op midt i eller efter sine gøremål og vurdere, om resultaterne står i et fornuftigt forhold til hensigt og anstrengelser." (Albæk 2001)
Det er nok ikke nødvendigt at understrege, at vi ikke er enig i denne definition, og vi oplever det som uhensigtsmæssigt at vande evaluering ud på den måde, som vi mener, at definitionen gør. Vi kan godt argumentere for, at vurderingen knytter an til evaluering (hvilket vil blive udfoldet senere i artiklen), og adskiller det, Albæk lægger op til, fra refleksion. Så langt så godt. Men ’at standse op midt i eller efter af sine gøremål’ lægger, som vi læser det, op til en tankeproces, der foregår hos den enkelte, hvilket vi mener, er langt fra evaluering. Derudover savner vi i definitionen både et vurderingsgrundlag, altså en datakilde, og en anvisning af anvendelse af den viden, som skal komme ud af evalueringen. Og med disse argumenter nærmer vi os forklaringer på, hvad der adskiller evaluering og refleksion.
Albæks definition, og andres der mindre om den, er altså med til at mudre feltet. Jeg har allerede refereret til en af Dahler-Larsens væsentlige bidrag til evalueringsfeltet, nemlig ’Den rituelle refleksion’ fra 1998. Der er meget godt at sige om den udgivelse, blandt andet en virkelig god og betydningsfuld forklaring på evaluering som protected discource som allerede nævnt. Hvad der ikke har været så bidragende, i denne artikels optik, er navnet. Selv om en del af Dahler-Larsens pointe netop er, at evalueringen bliver gennemført som en symbolsk og løsrevet funktion (Dahler-Larsen, 1998), ville det have været godt hvis, begreberne havde været mere skarpt sat op.
Vi skal have evalueringsforståelsen til at stå midt imellem to yderpunkter – det ene yderpunkt som værende at evaluering udelukkende er eksternt drevet handling, der tilfredsstiller en øvrig myndighed (det er det også, men det er ikke denne artikels mission at drøfte) og det er ikke hverdagsrefleksion, som Albæk læner sig op af.
Selv om der ovenfor er sat scene for forskellen mellem evaluering og refleksion, vil der i det nedenstående være en rammesætning af de to begreber, deres ophav og deres anvendelsesfokus. Det er væsentligt at bemærke, at ingen af begreberne har én forklaring, og dermed vil der i forklaringerne ligge et tilvalg af perspektiver og dermed også et fra valg af andre.
Lad os starte med refleksion. Oprindeligt knytter ordet ’refleksion’ sig til beskrivelsen af, hvordan bølger og partikler bryder en given overflade. Eksempelvis brydes lyset og reflekterer på forskellige vis på forskellige overflader. En stråle kommer ind på en reflekterende overflade med vinklen i, i forhold til normalen (stiplet linje), og reflekteres med vinklel u (med tak til Google og adskillige forklaringer på fysikkens love). Refleksion knytter sig dermed til begreber som at ’at bøje, kaste eller sno tilbage’ og har altså oprindeligt haft at gøre med fysikkens love. Den forklaring, som vi leder efter i denne artikel handler dog om erkendelse og tankeprocesser, og der skal vi i første omgang kigge på filosofiske forklaringer, blandt andet fra Hegel – uden at vi dog i denne sammenhæng vil gå dybt ind i de filosofiske forklaringer af begrebets forskellige facetter, da intentionen med denne artikel retter sig mod praksis – og ikke som sådan er en teoretisk drøftelse.
Vi starter med Hegel for at være tro mod kronologien og forholder os efterfølgende til Schöns forklaringer på refleksion. Hegels forholden sig til refleksion retter sig mod processen mellem essens (hvilket her skal forstås som det, tingen egentlig er, dens konceptuelle kerne) og illusorisk væren. Og med den pointe står det nu fuldstændig klart, hvorfor det er noget helt andet end evaluering. Ikke? Lad os prøve at folde det lidt ud: Hegel forklarer refleksion som tankeproces meget lig den ovenfor beskrevne refleksion af lys. Når vi siger ’æble’ skabes der en dobbelthed, nemlig den at der både ’eksisterer’ et æble i mit sind, ligesom det refererer til et egentligt æble eksternt fra mit sind. Hegel forklarer refleksion på den måde, at det både er en proces, der sker internt i mit sind, men som også påvirker det eksterne – det reflekterer så at sige tilbage på det eksterne, på nærmest samme måde som lyset.
En anden måde at forklare Hegels betragtninger er, at når en tanke eller erkendelse ’støder på’ noget uventet, skabes der en korrektion og der skiftes retning – hvilket er en refleksion, igen ligesom som lyset, der rammes overfladen og skifter retning (Huggler, 1999). Refleksion betyder altså – lidt (for ikke at sige meget) forenklet - at tanken ’rammes’ af noget uventet og skifter retning. Der sker en forstyrrelse, som igangsætter en tankeproces, hvori der stilles spørgsmål, undres og findes nye perspektiver. Refleksionen igangsættes af dette ’noget’, som rammer en forhindring i sindet – og over de sidste mange år er der blevet arbejdet intenst på mange arbejdspladser for at opbygge kompetence til at facilitere dette noget, så læring og refleksion er blevet en reflekteret praktiker (Schön, 2011). Lad os forlade denne meget korte forklaring på tysk idealisme og kigge mere på disse tendenser og forklaringer på refleksion.
Schön er interessant, fordi han trækker refleksionsbegrebet ind i en arbejdskontekst og ind i praksis, hvilket som nævnt er fokus i denne artikel. Schön er kendt og anerkendt for sine forklaringer af den reflekterende praktiker og dennes måde at tænke på, når han eller hun arbejder.
Schön beskriver praktikerens handling og refleksioner med afsæt i fire grundforklaringer, hvoraf de to er de mest interessante i denne sammenhæng. Kort er de to første ’viden-i-handling’ og ’viden-i-praksis’. Viden-i-handling refererer til praktikerens intuitive og ikke-bevidste reaktioner på en given situation. Dette er altså en tavs viden, som kan være vanskelig at gøre eksplicit (hvilket interessant nok ofte er noget af det, der er det store behov i evalueringer – men mere om det senere) (Schön, 2001). Viden-i-praksis refererer til de handlinger en praktiker gør med afsæt i sit professionelle videnskatalog, og som ofte kan forklares og beskrives af praktikeren.
Det tredje, og en af de interessante i denne sammenhænge, forklaringer fra Schön er ’refleksion-i-handling', hvilket handler om at tænke sig om (ibid). Refleksion bliver altså af Schön koblet til det at tænke over det, der sker, hvilket ofte vil igangsættes, når vi bliver overrasket over en given situation. Refleksion-i-handling aktiveres altså, når viden-i-praksis og viden-i-handling ikke umiddelbart giver de forventede resultater. I refleksion-i-handling sker overvejelserne og korrektionen i praksis, altså imens praktikeren fortsat arbejder videre. Dette forholder sig anderledes med refleksion-om-handling, hvor refleksionen opstår som en eftertanke.
Essensen er her altså, at refleksion er at tænke sig om på baggrund af noget overraskende, der ikke ’stemmer overens’ med vores professionelle enten bevidste eller ubevidste forestillinger.
Med baggrund til Hegel og Schön ved vi nu, at refleksion handler om at tænke sig om, undre sig og forholde sig til noget overraskende. Refleksion kan ske i handling og ubevidst eller som en bevidst igangsat proces og refleksionen har til formål at bidrage med nye tanker, nye ideer og nye muligheder. Refleksion har som væsentligt iboende element, at refleksionen handler om at åbne frem for at lukke – refleksionen vil altså gerne bidrage med spørgsmålet mere end med svaret. Dette betyder dog ikke, at refleksionen ikke leder frem til en ny handling, som vi ser hos Schön.
Refleksionen har et udgangspunkt, som ofte vil være en eller flere oplevelser, som har skabt forundring og dermed handler refleksionen ofte om at løse en udfordring eller et problem. Refleksionsprocessen er associerende og drives generelt af nysgerrighed for at finde andre perspektiver end dem, der umiddelbart viser sig (Mårup, ingen årstal).
Som allerede nævnt er evaluering ikke noget ensidigt begreb – som også understreget i forhold til refleksion. Derfor vil følgende fremlæggelse være et tilvalg af en række perspektiver, og dermed også et fravalg af andre. Vi lyser på elementer af evalueringsfeltet, som der er rimelig konsensus om i feltet – men ikke fuldstændig (se eksempelvis Foss Hansen, 2003 for udfoldelse af forskellige evalueringsparadigmerne). Forfatteren til denne artikel er optaget af fremadrettet, lærende og værdiskabende evaluering skabt igennem en særlig tilgang, som vi har valgt at kalde Innovativ evaluering (Dinesen og de Wit 2010 og 2013). Dette understreges udelukkende for at sætte rammen, som helt kort fortalt bygger på realistisk evaluering (se eksempelvis Pawson og Tilley, 1998 samt Pawson, 2013), systemisk teori og praksis (se eksempelvis Hornstrup mfl. 2005) og evalueringskapacitet (se eksempelvis Compton mlf, 2002 samt Dinesen og Agerbæk 2015). Men her taler vi om evaluering generelt og om, hvad der skal være tilstede, for at vi kan kalde en aktivitet eller en proces for en evaluering. Det bliver en gennemgang med et andet afsæt end i gennemgangen af refleksion, hvor vi så på to teoretikeres perspektiver. Evalueringsgennemgangen vil forholde sig til hvilke elementer, der skal være tilstede for at vi kan tale om en evaluering, nemlig systematik, data og vurdering frem imod anvendelse.
Evalueringer har en iboende systematik i sig. Det vil sige, at de ikke foregår tilfældigt, men som et bevidst valg op imod en særlig efterspørgsel. Evalueringen er altså ikke, som refleksionen kan være jf. ovenstående forklaring om refleksion-i-handling, en intuitiv aktivering på baggrund af noget, der sker i øjeblikket, men noget der bevidst og planlagt igangsættes for at imødekomme et særligt vidensbehov. Systematikken består i al sin enkelthed af, at man arbejder med forberedelse, fastholdelse og analyse (Vedung, 2005).
Systematikken handler om, at evalueringen knytter an til noget, der ønskes afdækket, evaluering har et præcist fokus, som kan italesættes eksplicit som en efterspørgsel og som et evalueringsspørgsmål, der retter sig mod en værdisættelse eller en vurdering. En del af systematikken er altså her i planlægningsfasen at blive bevidst om præcis, hvad der skal undersøges og med hvilket formål (Dinesen, 2011). Der kan argumenteres for, at denne fase alt for ofte springes over, men ikke desto mindre er det en væsentlig del af at arbejde med evaluering.
Afdækning af efterspørgsel kan på enkel vis gøres ved, gerne i en team- eller gruppeorganisering, at afdække hvilke spørgsmål, som evalueringen skal svare på. En god efterspørgsel er præcis, afgrænset og kan besvares igennem indhentning af data. Jo bredere efterspørgsel, jo bredere svar – og jo mere skabes der en situation, der mere kalder på refleksion end evaluering. Et simpelt eksempel (fra en dagtilbudskontekst):
Den første del af systematikken handler altså om at vide, hvad vi vil vide. Den næste del af systematikken handler om at få besvaret vores efterspørgsel igennem dataindsamling.
Dataindsamlingen er central i evaluering, da den er afsæt for vores vurdering. Data skal i evalueringssammenhæng forstås som fakta, information eller viden, der anvendes til at beregne, analysere eller planlægge noget. Data er noget vi indsamler, producerer eller anvender, og som vi analyserer som et væsentlig element i evalueringer. Data er altså i princippet alt, vi kan ’fange’, og data skal bearbejdes, før den kan anvendes som afsæt for viden. Det skal altså, igen systematisk, bringes i orden, så det kan blive viden.
Udfordringen med data og dataindsamling er, at det ofte opleves som overvældende og betragtes som noget meget tidskrævende. Sådan behøver det ikke at være. Lad os forholde os til forskellige datatyper som udgangspunkt for, hvordan de kan anvendes som et mere systematisk og videnopbyggende alternativ til de daglige refleksioner. For overblikkets skyld skitseres her forskellige datakilder:
Data skal analyseres for at blive til information og derfra til viden, som vi kan vurdere ud fra. Analyse af data kræver systematik både i forhold til den givne efterspørgsel og metodisk. Systematisk indsamling og analyse af data er altså meget langt væk fra tanker, følelser og synsninger. Og dermed er pointen her, at et væsentlig kriterium, for at en evaluering er en evaluering, er, at der er indsamlet data, som igennem en analyse har vist en sammenhæng, som vi hægter vores argumentation op på.
Sidste element i fremlæggelse af evaluering i denne sammenhæng handler om vurderinger og anvendelse. En række definitioner af evaluering lægger vægt på vurderingen eller værdisættelse som afgørende for evaluering (se eksempelvis Schwandt, 2005). Det vil altså sige, at vi i evalueringen forholder os til at svare vurderende op imod vores efterspørgsel. Dette betyder ikke, at evalueringen pr. definition har en lukkende logik i sig (ala ’projektet opnåede målsætningerne’ eller ’det var understøttende for effekterne at samtlige medarbejdere var involveret’). Dette kan godt være tilfældet, men vurderingen kan have andre nuancer i sig. Med afsæt i Innovativ evaluering, som vi indledningsvist pegede på, er afsæt for mit arbejde, handler vurderingen om at komme med nuancerede forklaringer på sammenhænge i praksis i forhold til en tydelig efterspørgsel, eksempelvis af den type, som blev fremstillet ovenfor vedr. bedsteforældredag. Hvis vi bliver i dette eksempelvis kunne vurderingen eksempelvis have følgende karakter (hvor vi her forestiller os, at vores datakilder er observation under bedsteforældredag og børneinterviews med et par af de børn, der ikke havde en bedsteforældre med til dagen):
Det er væsentligt at understrege, at dette er, hvad vi kan kalde en hverdagsevaluering. Altså en evaluering der er igangsat på baggrund af en grundlæggende nysgerrighed i en personalegruppe (eller ledelse) med fokus på at skabe viden, der kan understøtte praksis fremadrettet. Der findes naturligvis evalueringer i meget større skala, som giver svar på, om en given policy er implementeret efter hensigten og skaber de ønskede resultater – og alt derimellem. De er dog ikke så interessante her, da de ikke så ofte bliver blandet sammen med refleksion.
Næste element er der allerede lagt op til, nemlig anvendelsen. En evaluering har altid et anvendelsessigte. Dette er dog langt fra det samme, som at evalueringen rent faktisk bliver brugt (se eksempelvis Dinesen og de Wit, 2010), men intentionen vil altid være der. Ønsket med evalueringen er altså at skabe viden, der kan understøtte praksis fremadrettet (meget forenklet sat op – se eksempelvis Mark, 2004 for ydereligere udfoldelse af anvendelse i evaluering).
Følgende står for egen regning, forstået på den måde, at det ikke er en beskrivelse af et væsentligt element i rammesætningen af evalueringen generelt i litteraturen, men som er en del af den tilgang og praksis, vi som evaluator har. Det sidste perspektiv i forklaringen af evaluering handler om organisationen, og om at skabe organisatorisk viden.
Evaluering har igennem sin systematik, sin viden og sin anvendelse potentialet til at blive organisatorisk viden og ikke ’bare’ individuel båret viden. Evalueringens vurderinger skal altså have en form og en struktur, der gør den anvendelig for organisationen som hele. Heri ligger der altså også en væsentlig forskel fra refleksionen, som kan være (men ikke nødvendigvis er), en tankerække, vi har for os selv på baggrund af en forundring. Evalueringen flytter sig fra dette niveau til at være noget, vi deler og anvender i fællesskab.
Evalueringen er med ovenstående i mente både en særlig type proces og har et særligt sigte, nemlig vurderingen. Evalueringen kræver systematik og data, der omsættes igennem analyse til viden, som organisationen kan anvende til at understøtte dens givne opgaver.
Evalueringer igangsættes som en bevidst og besluttet proces, der har et præcist formål, nemlig at svare på en eksplicit efterspørgsel med et anvendelsessigte. Med dette afsæt laves der forberedelse i forhold til hvilke datakilder, der vælges og der skabes en ramme hvori evalueringen skal forstås, der indsamles og analyseres data og der konkluderes – uden at konklusionen nødvendigvis er en summativ størrelse, men i lige så høj grad kan være en fremadrettet forklaring af sammenhænge i den indsamlede viden.
Vi har nu rammesat både refleksion og evaluering som begreber, og det står dermed (forhåbentlig) tydeligt frem, hvorfor vi ikke kan og skal sætte lighedstegn mellem dem. Næste skridt er at forholde os til, hvornår vi skal gøre hvad? Som rammesat i starten af artiklen er det ikke en final videnskab, og dermed er der ikke ét svar – men her er alligevel et bud:
Refleksion er det rigtige greb når:
Evaluering er det rigtige greb når (det understreges endnu engang, at vi her arbejder med hverdagsevalueringer):
Albæk, Erik: Vidensinteresser og de mange betydninger af evaluering – et udviklingsperspektiv, i Dahler-Larsen, Peter og Krogstrup, Hanne Kathrine (2001): Tenderser i evaluering, Syddansk universitetsforlag, Gylling
Compton, D W; Baizerman, M; Stockdill, S.H (eds.) (2002): The Art, Craft and Science of Evaluation Capacity Building, New Directions for Evaluation, Nr. 93, forår 2002, Jossey-Bass
Dinesen, Malene & de Wit, Camilla Kølsen (2010): Innovativ evaluering, Dansk Psykologisk forlag
Dinesen, Malene & de Wit, Camilla Kølsen (2013): Essensen af Innovativ evaluering, Dansk Psykologisk forlag
Dinesen, Malene & Agerbæk, Amalie (2015): Realistisk evalueringskapacitet, ineva.dk
Dinesen, Malene (2013): Hvem sagde opskrift? – om at ’gøre’ Innovativ evaluering uden en kogebog, CEPRA-striben
Dahler-Larsen, Peter (2000): Den rituelle reflektion – om evaluering i organisationer, Odense Universitetsforlag, Viborg
Foss Hansen, Hanne (2003): Evaluering i staten – kontrol, læring eller forandring?, Samfundslitteratur, Gylling
Hornstrup, Carsten et al. (2005): Systemisk Ledelse – Den refleksive praktiker, Dansk Psykologisk forlag, Gylling
Huggler, J (1999), Hegels skeptiske vej til den absolutte viden. En analyse af Phänomenologie des Geistes.1 edn,
Krogstrup Hanne Katrine (2003): Evalueringsmodeller, Systime, Viborg
Mark, Melvin M (2004): The Mechanisms and Outcomes of Evaluation Influence, Evaluation, SAGE
Moldt, Christian (2007): Fra meningsløs til meningsfuld evaluering, CBS/Handelshøjskolen i København, Forskerskolen i Ledelsesteknologi i samarbejde med Syddansk Universitet, Campus Slagelse, Ph.d.-afhandling
Mårup, Tom (intet årstal): Refleksion, http://www.mårup.dk/pdf/Refleksion.pdf
Lang, Peter; Cronen, Vernon; Little, Martin (2005): Den systemisk professionelle – handlingsdomæner og spørgsmålet om neutralitet, Erhvervspsykologi, Volume 3, nummer 2 s. 36 til 53
Quinn-Patton, Michael (2008): Utilization-Focused Evaluation, SAGE Publications
Schön, Donald (2001): Den reflekterende praktiker, Klim
Schwandt, Thomas (2005): The Centrality of Practise to Evaluation, American Journal of Evaluation, Vol. 26 No. 1, Marst 2005, s. 95-105
Pawson, R & Tilley, N (1997): Realistic Evaluation, SAGE Publications, London
Pawson, R (2013): The science of evaluation, SAGE Publications, London
Vedung, Evert (2005): Public Policy and Program Evaluation, Transaction Publishers, London
Ineva - Viden til udvikling bruger cookies til at indsamle statistik som kan bruges til at forbedre brugeroplevelsen på siden. Læs mere.