IN-sigt #19: Fejltagelser i evaluering

Du er her

Forfattere

Indehaver og chefkonsulent

Læs mere om

 

Vi har gennem en del år afholdt ’Evaluering og aperitivo’ – et gratis fyraftensmøde, hvor vi deler viden, erfaringer m.m. - ligesom vi gør her i in-sigterne. Det til dato bedst besøgte var under overskriften ’Fejltagelser i evaluering’. Et tema vi også tog op på sidste års årskonference i DES-regi. Begge steder med lige dele ængstelse og forventning, for det er virkelig grænseoverskridende at dele de fejl, vi har begået. Men begge steder blev det taget så fint imod, når vi fortæller om både de små og store fejl. Så nu vover vi pelsen og deler her på internettet, der aldrig glemmer. Og håber, at vores fejl kan bringe læring hos andre end os.

Efter mere end et årti i evalueringsfeltet må der med ærlighed siges, at der er lavet en del fejl. Nogle fejl hænger dog ved en på en anden måde end andre, fordi de bliver definerende for den praksis, der følger efter. Fordi de ender med at tilbyde læring på den helt hårde måde, hvor man (jeg) ærgrer sig gul og blå over, at man (jeg) ikke lykkedes med at navigere uden om. De tre nedenstående cases er eksempler på det.

Fejl 1: Metodisk fejl - alt for lidt kvalitativt materiale frem for ordentligt kvantitativt

Vi er i Ineva glade for kvalitative data, fordi det giver nuancer og indsigter på en måde, som kvantitative data sjældent kan. Ikke desto mindre er en af de ærgerlige metodiske fejl, vi har begået, at gennemføre en ret omfattende kvalitativ dataindsamling, der ikke bidrog til den indsigt og den dybde, både vi og opdragsgiveren havde ønsket. Vi gennemførte over 50 interviews i en evaluering, hvilket isoleret set er mange. Problemet var blot, at ved at gennemøre de 50 interviews havde vi ramt 0,8% af den samlede population. Særligt fordi der blandt de 50 interviews gemte sig mere end 10 grupperinger, som opdragsgiver gerne ville have viden specifikt om, var det virkelig ikke nok. Det kunne ikke lade sig gøre at sige noget om grupperne uden alle mulige forbehold. Heldigvis kunne vi godt uddele interessante perspektiver på tværs og ikke mindst kombineret med andre data i evalueringen, hvormed vi endte med en tilfreds kunde. Men den metodiske fejl nager os alligevel.

Det kan virke som en fuldstændig banal begynderfejl, og måske var det også sådan. Ikke desto mindre begik vi den – og vi er ikke begyndere. Det opstod i et stærkt ønske fra opdragsgiver om kvalitative data og vores eget ønske om at bidrage med nuanceret viden og mellemregninger i en kompleks virkelighed. Men det var en fejl. Desværre.

Skulle vi gennemføre evalueringen igen ville vi have gjort det med afsæt i mikro-narrativer og herfra bygge et solidt kvantitativt element op. Det er en ny tilgang til dataindsamling, hvor skridtet fra at komme fra kvalitative betragtninger til kvantitative mønstre sker på fineste måde. Og hvor data bygger på oplevelser fra praksis og ikke på holdninger. Det er sindssygt spændende – og noget vi nok skal dele mere om her på siden.

Fejl 2: Etisk fejl – at spørge om noget, der ikke kan ændres

De etiske fejl er de værste. Dem der hænger længst ved i hvert fald for mig. Fordi de indeholder at have gjort noget, som var uordentligt over for nogen. Som evaluatorer møder vi mange mennesker i sårbare situationer, og over ønsket om at indsamle data er forpligtelsen til at leve op til det ansvar og den tillid. Her har jeg virkeligt fejlet et par gange, desværre.

Den værste gang ligger år tilbage, men har været definerende for min praksis. Uden at gå alt for meget i detaljer med konteksten (af respekt for de involverede) var jeg en del af et team, der evaluerede en indsats for unge i en meget meget sårbar situation. Vi var som evaluatorer meget sammen med de unge og ind imellem opstod der nogle gråzoner om vores tilstedeværelse, hvor skellet mellem ’voksne på stedet’ og evaluator blev uklart. Der opstod et tillidsforhold mellem os og de unge. Der var samtidig kulturelle og sproglige barrierer.

En del af dataindsamlingen var interviews med de unge, og her opstod fejlene. For vi spurgte dem om ting, som vi ingen som helst indflydelse havde på at få lavet om. Og vi lykkedes slet ikke godt nok med at gøre det klart for dem, hvad vores rolle var og hvad vi havde magt til at ændre. Dermed etablerede vi en situation, hvor vi med empati og indlevelse spurgte de unge om, hvad de ønskede at der blev lavet om på stedet uden at det stod til at ændre. Og dermed etablerede vi et svigt af de unge, fordi de havde tillid til os, og tillid til at når de fortalte os, hvordan de havde det, så ville vi gøre noget ved det.

Det definerende i min praksis er, at være virkeligt fokuseret på ikke at spørge om noget, hvor svaret ikke kan give anledning til forandring, med mindre jeg er 100% sikker på, at jeg kan forklare informanterne, at vi nu har gang i en metarefleksion og ikke at pege på anbefalinger, der forventes implementeret.

Fejl 3: Formidlingsfejl – rapporten på 100 sider

Tredje fejl tror jeg ikke, at vi er ene om. Det er til gengæld nok den, vi har begået flest gange: Ikke at understøtte anvendelsen af evalueringen fordi rapporten bliver ALT for lang. Dilemmaet for os som evaluatorer er, at vi så nødigt vil være bærere af viden der ikke bliver formidlet til de rette. Så vi skriver. Og skriver. Og skriver. Hvilket både projekter og – ja, faktisk måske ikke andre – er super glad for.

Måske er fejlen ikke at skrive den 100 sider lange rapport, men at gøre det som det eneste. En læring som vi heldigvis har erkendt og for det meste lykkes med at håndtere. Hvis nu det ikke alt sammen skal være i frit fald i den her in-sigt. Så fejlen kan være at tro, at samme formidlingsform vil ramme alle målgrupper. Det er ikke tilfældet, og dermed må det ind tænkes som en del af evalueringsarbejdet at arbejde med forskellige formidlingsformer.

Hvilke fejl har du lavet i evalueringer? Og hvad har du lært af dem?

https://ineva.dk/sites/default/files/styles/top_billede/public/laundry-413688_1280.jpg?itok=nwaAR9qF