Erkendelsen af, at alt opstår i relationer og er socialt konstrueret, betyder, at evaluering ikke kan opfat- tes som noget, der udføres af én person, nemlig af evaluatoren, men som noget, der samskabes mellem evaluator, respondenter og andre interessenter. Med afsæt i det systemiske validitetskriterium som væ- rende brugen af evalueringen, betragtes evaluering ikke som en objektiv vurdering, der ikke påvirker prak- sis, men i stedet som en proces, der skal kvalificere praktikerne til at løse deres opgave bedst muligt. Som evaluator kan man ikke ikke-påvirke, og dermed ret- tes opmærksomheden i Innovativ evaluering på, hvor- dan påvirkningen kan være mest hensigtsmæssig for at skabe størst mulig brug af evalueringen (Maturana 1987). Dét at betragte medlemmerne i en organisati- on som evaluatorer eller med-evaluatorer kan under- støtte koblingen mellem praksis og evaluering, fordi evalueringen konstant er til stede i praksis (jf. oven- stående definition af evalueringskultur) og er udtryk for en udviklet evalueringskapacitet.
En anden pointe er, at man i Innovativ evaluering al- drig vil lave endegyldige konklusioner og almengyldige sandheder (Gergen 2004), hvilket peger tilbage på etableringen af praksisteori og den proces, der ligger her. Evalueringens konklusioner er lokale og må be- tragtes i sammenhæng med den praksis og kontekst, de er skabt i. De kan således ikke generaliseres til an- dre mere eller mindre lignende organisationer. Inno- vativ evaluering vil dermed ikke være genstand for, at man evaluerer effekten af en indsats i én organisati- on, eksempelvis en skole, og med udgangspunkt i dét uden videre anbefaler andre skoler at ”adoptere” det, der her har vist sig som velfungerende. Denne type overførsel af praksis er løsrevet fra konteksten. Derfor skaber adoptionen i bedste fald ikke de samme gode resultater som i værtsorganisationen og i værste fald frustration og mangel på mening hos medarbejderne. Det kan være absolut værdifuldt og udviklende at lade sig inspirere af resultater fra andre organisationer, men det skal ”oversættes” til egen sammenhæng og kontekst frem for en direkte adoption. Dermed bliver det evalueringspraktikerne sammen med de relevante aktører i og omkring den enkelte organisations opga- ve at vurdere, hvilke elementer af en praksis der giver mening i mere eller mindre tilrettet form, herunder hvordan krav og kriterier, som bestemmes udefra, kan bruges til at operationalisere relevante dele af prak- sis i organisationens praksis. Dette er en forhandling, som i høj grad hænger sammen med, hvordan man som evaluator planlægger evalueringens indflydelse i organisationen og dens kontekst.
I forlængelse af betragtningerne om, at der ikke kan laves globalt sande konklusioner, er det værd at be- mærke, at man i Innovativ evaluering ikke betragter kvantitet som grundlag for en konklusions vægtning. Et perspektiv er altså ikke mere rigtigt eller vigtigt, udelukkende fordi mange respondenter har sagt det, da der kan være et helt afgørende forhold i program- met eller indsatsen, som kun en enkelt respondent kan se. Vigtigheden af et perspektiv afgøres af, om det beskriver en del af praksis, der er kritisk for kva- liteten i organisationens praksis, og som samtidig er svært at udføre, hvilket også nogen gange benævnes som ”kritiske hændelser” i praksis (de Wit 2000). Der- med vil konklusionerne og anbefalingerne i Innovativ evaluering være en uprioriteret, men ofte kategorise- ret beskrivelse af de forhold og sammenhænge, som
valueringen har vist. Et afgørende skridt er derefter at omsætte evalueringens resultater til udvikling i praksis, og derfor er dialogen og processen et vigtigt element af evalueringsarbejdet.
Anerkendelse og forstyrrelser
I systemisk perspektiv er en afgørende pointe, at ud- vikling bedst sker i et positivt defineret miljø (Cooper- rider og Srivastva 1987). Dermed ikke være sagt, at det ikke er muligt eller hensigtsmæssigt at tale om det, der kan være vanskeligt, men det er vigtigt at holde fokus på at gøre det på en fremadrettet og anerken- dende måde. Humberto Maturana skriver, at uden an- erkendelse er positiv udvikling ikke en mulighed (Ma- turana og Poerksen 2004). Desuden beskriver han, at mennesker udelukkende udvikler sig igennem tilpasse forstyrrelser fra den omgivende verden og mennesker (Maturana 1987). Tilpas forstyrrelse opstår, når evalu- eringen bidrager med ny viden, der igangsætter ud- vikling og refleksion hos praktikerne, samtidig med at der opleves anerkendelse og kobling med det allerede eksisterende. Når evalueringen bidrager til, at prakti- kerne tager kvalificerede, nye, fremadrettede valg, er den tilpasse forstyrrelse opnået.
En forudsætning for at skabe den tilpasse forstyrrelse er anerkendelse, som kommer i spil i forskellige sam- menhænge i Innovativ evaluering. En måske umid- delbart banal pointe er, at det er afgørende at være tydelig omkring, hvorfor og hvordan evalueringen skal gennemføres, herunder betydningen af inddragelse i evalueringen. Det opleves alt for ofte, at man bliver bedt om at deltage i en evaluering, som man ikke ved, hvad skal bruges til, og hvilken betydning resultaterne skal eller kan få. Det skaber frustration og dårlige eva- lueringer, fordi det både kan resultere i utryghed og ligegyldighed i forhold til deltagelsen og besvarelsen.
Et andet element i anerkendelsen og de tilpasse for- styrrelser er, hvordan anbefalinger og resultater af evalueringer skabes. I 2003 gennemførte Rigsrevisio- nen en undersøgelse af brugen af evalueringer i det offentlige, der påviste, at anbefalingerne i evaluerin- gerne meget ofte er sammenfaldende – uafhængigt af, hvilken indsats, forvaltningsområde eller organisa- tion, der evalueres i (Rigsrevisionen 2003). Listen over
anbefalinger indbefatter ting som ”at efteruddanne medarbejderne” og ”at gennemføre supplerende un- dersøgelser”. Den slags generaliserede anbefalinger er ikke en tilpas forstyrrelse og igangsætter ingen udvikling i praksis. I Innovativ evaluering er validitets- kriteriet, som beskrevet, brug i praksis, og dermed er dét kravet til anbefalinger og resultater. Samtidig er det afgørende, at anbefalingerne bliver kvalificeret af praktikerne, fordi de igennem inddragelse og med- bestemmelse på eksempelvis prioriteringen af ind- satserne vil føle sig anerkendte og være åbne for de forstyrrelser, som evalueringen bringer.
Afsluttende kommentarer
Evaluering er et element af organisationernes liv, der er kommet for at blive. Enten kan det skabe frustra- tion og spild af ressourcer, eller også kan det skabe udvikling og innovation i organisationerne. Det afgø- rende er den tilgang, man tager afsæt i, og de evalu- eringsdesign, man laver og gennemfører. Evaluering kan være et stærkt værktøj til at drive virksomheden eller organisationen frem og skabe den bedst mulige opgaveløsning for kunder eller brugere.
En del af succesen i brugen af Innovativ evaluering handler om at skabe et andet udgangspunkt for eva- lueringer. De gængse forestillinger om og modstand mod evalueringer skal udfordres og ændres til en op- fattelse af, at evaluering er en vigtig del af den fort- løbende organisationsudvikling og et afgørende ledel- sesredskab til at motivere og styrke medarbejdere og organisation. Der er dermed ikke et metodisk ”quick fix” til Innovativ evaluering, idet Innovativ evaluering er en tilgang og en metodologi og ikke en step-by-step løsning på, hvordan evaluering gøres meningsfuldt.
Første skridt mod en innovativ evalueringspraksis handler om at styrke organisationens modenhed og evalueringskapacitet. Evalueringen skal være en na- turlig del af den daglige refleksion over praksis, og med inspiration fra tilgangene og opmærksomhe- derne fra det systemiske felt og realistisk evaluering er der et solidt fundament at bygge sin evaluerings- praksis på.
Referencer
Pawson & Tilley (1997): Realistic Evaluation. London: Sage.
Nørreklit, H & de Wit, C. K (2001): ”Økonomistyringsretorik – fra radiatorstyring til sokratisk styring”. I: Jönsson, S. og B. Larsen (red.): Teori og Praksis – Skandinaviske perspektiver på ledelse og økonomistyring. København: Jurist- og Økonomforbundets Forlag.
de Wit, C. K. og Wegener, C: Opbygning af evalueringskapacitet i praktikuddannelser. MDC-rapport nr. 30, Center for Undervisningsmidler, JCVU.
lokaliseret på: http://www.konsulenter.acu-aarhus.dk/pt/MDC/ Håndbog%20%20praktik.pdf
Dinesen, M.S. og de Wit, C. K. (2010): Innovativ Evaluering. Dansk Psykologisk Forlag (in press).
Krag, L. & de Wit, C. K (2003): ”Ledelse af videnmedarbejdere - et spørgsmål om commitment?” I: Bukh, Christensen og Mouritsen (red.): Videnledelse – et praksisfelt under etablering. København: Jurist- og Økonomforbundets Forlag: 173-200.
Dahler-Larsen, P. (2006): Evalueringskultur – et begreb bliver til. Odense: Syddansk Universitetsforlag.
de Wit, C. K. og Mayland, L(2006): ”Evalueringsdidaktik – sammenhængen mellem mål og evaluering”. I: Lund, J.H. og Rasmussen, T.N. (red.): Almen didaktik – kendetegn og temaer i professionsrettede fag. Forlaget KvaN.
Barge, J. K. (2006): “Living Systemic Constructionist Management Research”. I: Human Systems nr. 17: 257-280.
Hornstrup, C. m.fl. (2005): Systemisk Ledelse – Den refleksive praktiker. Gylling: Dansk Psykologisk Forlag.
Lang, P.; Cronen, V.; Little, M. (2005): ”Den systemisk professionelle – handlingsdomæner og spørgsmålet om neutralitet”. I: Erhvervspsykologi Vol. 3, nr. 2: 36-53.
Patton, M. Q. (1988): “The Evaluator”s Responsibility for Utilization”. I: Evaluation Vol. 9, nr. 2: 5-24.
Dinesen, M. (2008): Systemisk evaluering. (Ikke udgivet).
Gergen, K. (2004): Virkelighed og relationer. Gylling: Dansk Psykologisk Forlag.
Gergen, K. og Gergen, M. (2005): Social konstruktion – ind i samtalen. Gylling: Dansk Psykologisk Forlag.
de Wit, C. K. (2000): Kritiske succesfaktorer i innovative IS projekter. Ph.d.-afhandling fra Handelshøjskolen i Århus, Århus Universitet.
Cooperrider, D. L. and Srivastva, S. (1987): “Appreciative Inquiry in Organisational Life”. I: Research in Organizational Change and Development Vol.1: 129-169. JAI Press Inc.
Maturana, H. R. og Poerksen, B. (2004): From Being to Doing – The origins of the Biology of Cognition. Heidelberg: Carl-Auer.
Maturana, H. R. og Varela, F. (1987): Kundskabens træ – den menneskelig erkendelses biologiske rødder. ASK
Luhmann, N. (1995): Sociale systemer. Gyldendal (elektronisk version).
Rigsrevisionenen (2003): Beretning om statens anvendelse af evalueringer. Lokaliseret på: http://www.folketinget.dk/doc. aspx?/Samling/20042/MENU/00976044.htm