Etiske dilemmaer i en evalueringspraksis

”Ikke at vide, hvad der udgør best practice er inkompetence. At vide, hvad der er best practise, men ikke at vide, hvordan man opnår det, kan være uerfarenhed. Bevidst ikke at følge best practise, når man ved, hvordan man opnår det, er uetisk.” (Nick Smith, An Analysis of Ethical Challenges in Evaluation, American Journal of Evaluation, Volume 23. No. 2 (2002)

Der er indenfor evalueringsfeltet i dag bred enighed om, at etiske dilemmaer og udfordringer indgår på flere niveauer i praktiseringen af evaluering. Evaluering er nemlig ikke ’bare’ evaluering. Praktiseringen af evaluering har afgørende betydning for aktørerne i og omkring det evaluerede – og derfor er evalueringer magtfulde. Magten, som ofte ligger ubemærket i selve evalueringsprocessen, må derfor behandles med etikken for øje.

Perspektivet i denne artikel er således, at enhver evaluator (og rekvirent af evalueringer) støder på etiske udfordringer og dilemmaer i stort set alle faser af en evalueringsproces. Selvom det kan være et relativt spørgsmål at afgøre, hvad der udgør etiske dilemmaer i forbindelse med evalueringspraksis mere generelt, er der ingen tvivl om, at de etiske spørgsmål i særlig grad viser sig i relation til, hvem der gives stemme i en evaluering og hvordan disse præsenteres efterfølgende. Denne artikel har til formål at udfolde den etisk forsvarlige evalueringspraksis og derved bidrage til etisk refleksivitet i evalueringsarbejde.  

Med inspiration fra Church og Rogers, som i bogen Designing For Results (Church and Rogers, 2006) kategoriserer de mest almindelige etiske udfordringer i relation til evalueringer, og med afsæt i vores egne erfaringer som evaluatorer, vil vi i det følgende udfolde forskellige kilder til etiske dilemmaer i evalueringspraksis, som overordnet knytter sig til følgende 3 overskrifter: 

• Beskyttelse af mennesker
• Politiske forstyrrelser
• Afrapportering 

BESKYTTELSE AF MENNESKER

Beskyttelse af mennesker drejer sig ofte om de mennesker, der inddrages som informanter i evalueringen. Inddragelsen af informanter kan stille evaluator over for etiske dilemmaer i forbindelse med såvel den konkrete gennemførsel af dataindsamlingen som den efterfølgende afrapporteringssituation.  

I flere tilfælde må vi i vores praksis konstatere, at informanter næppe har udtrykt ønske om at være med i evalueringen, og derfor umiddelbart reagerer med skepsis og bevidst/ubevidst tilbageholder særlige typer information. Tilbageholdelse af viden er både et vilkår, evaluator er underlagt, og er samtidig en teknik som evaluator selv kan vælge at benytte i forbindelse med sin afrapportering.

Det er dermed væsentligt at kunne redegøre for sin interesse, når man skal have informanter i tale. Som oftest inddrages informanter, fordi de har et særligt kendskab til eller en særlig erfaring med et felt, der vedrører deres hverdag, hvad enten det er i relation til deres arbejde eller deres øvrige liv. Således er der brug for en etisk refleksion til distinktionen mellem det private og det personlige. Kirsten Hastrup skriver om antropologen, som på mange måder kan sammenlignes med evaluator i sin interesse for at forstå det hverdagsnære og de menneskelige handlinger;  

”Det der interesserer antropologen er netop ikke det private eller intime liv, men den personlige synsvinkel på verden og de muligheder, personerne kan se for sig selv indenfor rammerne af det gældende fællesskab. […] der er ikke tale om afsløring af intime detaljer eller pinlige episoder fra enkeltmenneskers liv.” (Hastrup 2009: 309) 

På trods af sigtet på informanternes personlige synsvinkler, og ikke privatliv, er det ikke desto mindre vigtigt for evaluator at overveje, hvilke potentielle negative konsekvenser, det kan have for informanterne at deltage i evalueringen.      

Eksempler på etiske dilemmaer vedrørende inddragelse af informanter:

• Informanter kan blive bedt om at tale om deres oplevelser eller erfaringer med et følsomt emne. 
• Informanters udsagn er så kontekstspecifikke eller særprægede, at de kan genkendes af modtagerne af evalueringen på trods af anonymisering.
• Informanter ønsker at sætte spot på/nedtone bestemte perspektiver i evalueringen af hensyn til eget job/interesse/politisk overbevisning eller andet  
• Produktet for evalueringen kan af rekvirenten lægges så ’stramt’, at det udelukker nogle af informantgruppernes perspektiver, som kan være af betydning 

Uanset informanternes alder, position og øvrige aktørstatus, kan det at deltage i en evalueringsproces være grænseoverskridende og utrygt. Det er derfor evaluators opgave at holde øje med informanternes kropssprog undervejs i et interview eksempelvis og dermed være klar til at tilpasse interviewsituationen på en måde, så informanterne ikke lider overlast. Hvis man i en evaluering skal inddrage en særligt sårbar informantgruppe, kan det være en god idé at indhente viden fra fagpersoner, der kender den specifikke målgruppe, så det sikres, at inddragelsen bliver meningsfuld og etisk forsvarlig.     

I de etiske overvejelser omkring at beskytte sine informanter er det ligeledes vigtigt, at man heller ikke som evaluator bringer sig selv i en uønsket situation. Gennem interviews med informanter og ved at lytte til deres fortællinger, kan man som evaluator blive talerør for eksempelvis utilfredse medarbejdere eller udsatte unge, som har en forventning om, at evaluator gør noget ved sagen. Altså kan man komme til at give det indtryk, at man som evaluator også er den, der kan skabe forandringer, hvilket som oftest påhviler et politisk system, en ledelse eller andre med beslutningsmandat. 

Inden for social science feltet er ’informeret samtykke’; det at informanten ved, hvad vedkommende deltager i og er informeret om mulige implikationer, en standard og en påkrævet foranstaltning i enhver undersøgelse eller evaluering. Det ses som en etisk forpligtelse og en del af det at beskytte sine informanter. Alligevel viser det sig ofte i praksis at være udfordrende at praktisere informeret samtykke til fuldkommenhed, fordi samtykkeerklæringerne, hvad enten de er skriftlige eller mundtlige, kan forstyrre den sociale interaktion eller ligefrem skabe mistillid (Hansen & Tjørnhøj-Thomsen 2009: 227). Som evaluatorer tilstræber vi ligeledes en etisk forsvarlig praksis, og benytter en række forskellige tiltag/greb, der skal understøtte, at vores informanter føler sig trygge og får et godt overblik over deres deltagelse og eventuelle konsekvenser heraf. På den måde stræber vi også efter ’informeret samtykke’ og arbejder mere konkret på at opnå det på følgende måder:

• Lille folder/invitation: Alle informanter, som skal deltage i evalueringen, får tilsendt/udleveret en lille folder/invitation med en kort beskrivelse af evalueringen, formålet med inddragelsen, en kort beskrivelse af evaluator med kontaktoplysninger osv.
• Interviews indledes med 5-10 minutters præsentation af evalueringen og rammerne for interviewet: I særlig grad fremhæves det, at informanternes perspektiver og indsigter bliver omsat til tekst/rapport og hvordan informanternes fortrolighed og anonymitet sikres. Desuden understreges det, at det ikke er noget problem at undlade at svare på spørgsmål, som man ikke har lyst til at svare på. 
• Spørgeskemaundersøgelser indledes ligeledes med en tekst, der beskriver evalueringen og rammerne for respondenternes deltagelse, herunder brugen af data og anonymisering. 

Af andre greb, der også har til hensigt at understøtte informanternes deltagelse, benytter vi:  

• Fortolkningsworkshop: Ofte benyttes en workshop afslutningsvist, som en anledning til dialog omkring evalueringens fund og resultater. Det tilstræbes at invitere bredt, således at forskellige interessenter og inddragede aktører får mulighed for at drøfte evalueringen i fællesskab. Workshoppen tilrettelægges så alle kommer til orde og faciliteres i et anerkendende og fremadrettet set up.    
• Alternative former for deltagelse: I visse situationer vurderes det, at der tages bedst hånd om informanterne, hvis de tilbydes deltagelse i evalueringen gennem en anden form for dataindsamling end de klassiske face-to-face interviews. Både telefoninterviews, e-mail-interviews og chat være gode løsninger, hvis det kan medvirke til informanternes deltagelse, eksempelvis hvis interviewet berører et følsomt emne. 

At klæde informanterne godt på til deres deltagelse kan være sværere at opnå, hvis man indsamler data gennem observation/deltagerobservation, som placerer evaluator og informanter i en anden mere ukontrollerbar situation. Det kan være vanskeligt for evaluator at sikre, at alle deltagere i en given aktivitet (en større sammenkomst for eksempel) er fuldt informerede om evaluators tilstedeværelse som observatør. Samtidig kan evaluator heller ikke sikre sig mod pludselige hændelser, som det vil være svært at tage højde for på forhånd. Det særegne ved evaluators observatørrolle består i, at evaluator skal indsamle data ved midlertidigt at involvere sig med de mennesker, som er en del af genstandsfeltet. Derfor spiller tillid en afgørende rolle for, hvordan evaluator modtages i ’felten’ og hvilken viden evaluator får adgang til. At skabe den nødvendige tillid påhviler først og fremmest evaluator selv, som ligesom antropologen må ’bevise’, at vedkommendes ærinde er fagligt og professionelt gennem indlevelse og tillidsskabende adfærd. Om dette skriver antropologerne Hume og Mulcock: 

”Participant observation is primarily an ’advanced’ exercise in forming and maintaining intimate relationships for professional purposes.” (Hume og Mulcock 2004: XII)

Hvis evalueringen gennemføres i en organisation, kan ledelsen eller nøglemedarbejdere også benyttes som gatekeepere, der legitimerer evaluators tilstedevær gennem deres engagement og anerkendende italesættelse af evalueringsprocessen. Dette understøtter i mange tilfælde, at evaluator mødes med nysgerrighed fremfor skepsis, hvorfor det kan være godt givet ud at drøfte helt eksplicit med gatekeeperen, hvordan vedkommende kan være med til at skabe tillid. Selvom informanterne er informeret sker det alligevel ofte, at informanterne bliver usikre på, hvad de egentlig udleverer om sig selv og hvordan data bliver brugt. Evaluator må derfor være forberedt på et løbende behov for at informere informanterne om deres deltagelse i observationerne.   

POLITISKE FORSTYRRELSER 

I det etiske perspektiv og i en slags kortlægning af situationer og opmærksomhedspunkter af interesse for den etisk forsvarlige evaluering, synes det i høj grad relevant at koncentrere sig om eventuelle politiske forstyrrelser og deres påvirkning af evalueringen. Church og Rogers påpeger som en hovedpointe, at ”evaluation should be conducted free from political interference from the implementing organization, the donor, the evaluation-team, and the stakeholder” (Church & Rogers 2006:195). Church og Rogers indtænker således både organisationen, hvori evalueringen foregår, som en mulig politisk forstyrrelse, ligesom de peger på det egentlige evalueringsteam. Oversat til dansk og til vores logik peger Church og Rogers pointe blandt andet på den etiske behandling af data og tanken om ikke at lade evalueringen pointere noget, som ikke findes direkte i data. Evalueringsteamet har dermed en forpligtelse til at tegne det billede, som data skitserer – og ikke justere evalueringen i en mere positiv retning ud fra et ønske om at opretholde et godt samarbejde. Derudover bør data aldrig styres ved at organisationen peger på helt konkrete informanter, som repræsenterer et bestemt perspektiv. I udvælgelsen af informanter bør hensynet således primært være spredning samt bredden af perspektiver. I visse tilfælde vil informantgruppen dog være udpeget af opdragsgiver eller rekvirent og ikke være til egentlig forhandling. I disse situationer bør det væsentlige pejlemærke være at efterstræbe en så høj grad af gennemsigtighed som muligt; her forstået ved et læsevejledningsafsnit eller lignende, der tydeligt skitserer informantgruppen og hvordan den er blevet til. 

For overblikkets og opmærksomhedens skyld listes herunder en række mulige politiske forstyrrelser i forbindelse med evaluering: 

• I fald evalueringen skal understøtte noget allerede besluttet og dermed har et primært strategisk sigte
• Bestemte medlemmer i organisationen beder om en bestemt fremstilling af sig selv eller beder om at gennemse data, justere på eller decideret fjerne formuleringer i afrapporteringen
• Opdragsgiver blander sig uhensigtsmæssigt i valg af metoder
• Opdragsgiver udstikker informantliste uden hensynstagen til spredning og repræsentativitet 
• Evaluator præsenteres for grupper af informanter, der er udelukkende positive eller negative
• Opdragsgiver ønsker at nedtone visse bestemte pointer i den endelige afrapportering 

Hvordan stiller man sig så som evaluator overfor disse etiske problematikker eller udfordringer? På det spørgsmål findes ingen endegyldige svar, dog er det først og fremmest vigtigt, at man som evaluator er bevidst om, at disse situationer kaneller måske enddaer opstået. Dernæst vil en del af løsningen ofte være dels en afdækning af, hvorfor bestemte aktører i organisationen handler som de gør, eller stiller bestemte betingelser op, samt en tydelig kommunikation af, hvorfor du som evaluator ikke kan/vil gå med til, at data eksempelvis gennemses af nogen og ikke andre forud for afrapportering. Argumentet om etisk forsvarlighed og ønsket om at handle derefter, bør således i de fleste tilfælde være tilstrækkeligt til, at man som evaluator kan have sit på det rene.  

Dernæst er det vores erfaring, at det første store skridt hen imod en mere etisk forsvarlig evalueringspraksis handler om at gøre sig overvejelserne og efterspørge årsagerne til, at nogen ønsker noget på en bestemt måde. Og i disse overvejelser findes ofte også svaret på, hvordan den enkelte situation håndteres. Som det er pointeret ovenfor, er gennemsigtigheden og dermed en helt konkret formulering af, at xx forhold i evalueringen er håndteret på yy måde ofte en god strategi til håndtering af de betingelser, som skubber til det etiske kodeks.   

AFRAPPORTERING 

En væsentlig overvejelse i forbindelse med afrapportering af en evaluering finder sit udgangspunkt i det Peter Dahler-Larsen omtaler som ’belysninger og mørklægninger’ eller ’plusmagt og minusmagt’ (Dahler-Larsen 2004). 
I afrapporteringsperspektivet bliver det særligt tydeligt, hvad det er for en magt evaluering har og dermed også, hvad det er for en magt man som evaluator sidder med. 

”Hvad bruges evalueringerne til at begrunde? Dette aspekt kan man kalde evalueringernes plusmagt. Der kastes lys over noget, og handlinger be­grundes. Men evalueringer viser også en ganske udpræget minusmagt: Magten til at sikre, at evalueringer mørklægger andre aspekter af sagen. Dette er ikke nødvendigvis fordækt. Ingen evaluering kan kaste lys over alt samtidig. Men reguleringen af grænsen mellem belysningen og mørklægningen er et vigtigt led i magtspillet” (Dahler-Larsen, 2004:87)  

Denne magt peger, for os at se, også på nødvendigheden af en etisk forsvarlig afrapporteringspraksis og Dahler-Larsen peger os i retning af, hvad denne blandt andet bør indeholde. Ved formuleringen regulering af grænsen mellem belysning og mørklægning er et vigtigt led i magtspillet, understreges den praksis, som bør være præget af etiske overvejelser, nemlig balanceringen af perspektiver. 

I denne balancering bør blandt andet følgende opmærksomheder findes: 

• Evaluator kan i visse situationer være tvunget til at tilbageholde viden, hvis den kan hænde at påvirke de mennesker, der er er genstand for evalueringen på en uhensigtsmæssig måde 
• Evaluator kan tilgodese forskellige hensyn i sin afrapportering, men der vil altid være noget viden, som må træde i baggrunden for noget andet viden
• Visse perspektiver kan være dominerende, mens andre kun nævnes af ganske få – dog kan perspektivernes vigtighed ikke afgøres af ’antal stemmer’
• Der kan i visse sammenhænge være brug for at skrive forskellige fortolkninger af perspektiver ind med henblik på at kunne give handlingsorienterede anbefalinger på baggrund af evalueringen  

Igen træder behovet for gennemsigtighed og kommunikation af valg og fravalg frem som det første gode råd og pejlemærke. Man må som evaluator stå i, at man ikke kan vide lige meget om det hele, og man kan ikke tilgodese alle synsvinkler og forklaringer lige meget, idet evalueringen – qua opdraget - har en særlig interesse i at fremstille en bestemt viden. 

EN REFLEKSIV ETISK PRAKSIS  

Etiske dilemmaer har om muligt altid været en del af etnografisk, antropologisk og sociologisk forskning i almindelighed og viser sig nok i særlig grad i anvendelsen af disse metoder indenfor løsningen af sociale problemstillinger. Etik i evaluering har været på dagsordenen i nu flere årtier og tilbage i 1994 førte de etiske overvejelser inden for evalueringsfeltet til formulering af egentlige etiske kodekser, først og fremmest i det amerikanske evalueringslandskab (AEA). American Evaluation Association vedtog dengang ”The Guiding Principles for Evaluator”, som en række vejledende og anvisende principper for evaluators evalueringspraksis. Disse har siden medført en massiv udvikling af evalueringsstander, men har også bidraget til diskussion og været genstand for kritiske røster. Den evalueringsfaglige kritik af evalueringsstandarder peger overordnet set på, at det er vanskelligt at udarbejde et generelt sæt af regler for en praksis, som er så kontekstafhængig i sit udgangspunkt og i sin anvendelse. Det er som sådan ikke vores ærinde at kritisere formaliserede etiske standarder, men må også tilslutte os den erfaring, at etiske dilemmaer indenfor evalueringspraksis er foranderlige, hvormed etiske regelsæt ikke synes at være tilstrækkelige eller som sådan tjener deres hensigt.  

Ovenstående udfoldelse af de etiske dilemmaer i evaluering taler for, at etikken til enhver tid må indlejres som en nødvendig refleksion i evalueringspraksis. Svarene på de etiske dilemmaer må man finde i praksis – i refleksioner over evalueringsdesign, dataindsamling og afrapportering. De etiske spørgsmål knytter sig nemlig til praktiske overvejelser, der er bundet til konteksten for den enkelte evaluering, mere end til etiske (universelle/ abstrakte) standarder/kodekser.

GODE RÅD TIL DEN ETISK BEVIDSTE EVALUATOR 

Gennemsigtighed: Vær altid gennemsigtig i forhold til design, valg og fravalg, opdrag m.m. 

Italesæt emnet: Gerne som en del af aftalen om evalueringen frem for i de afsluttende faser

Kommunikation og opdragelse: Sørg for at opdragsgiver har forstået alle elementer af processen

Detaljeret og dokumenteret planlægning: Lav en dokumenteret evalueringsplan

Hurtighed: Når der opstår dilemmaer vedr. det politiske, skal det italesættes med det samme


Jo flere stole des bedre (ex. referencegruppe): Jo flere interessenter, des mindre sandsynlighed for politiske forstyrrelser

Balance i antal rundt om bordet: Hellere et evalueringsteam frem for en enkelt evaluator

Konsulter eksperter: Hvis der opstår tvivl, så spørg en ekspert

LITTERATUR

AEA: American Evaluation Association. Guiding Principles for Evaluators: https://www.eval.org/p/cm/ld/fid=51

Church, Cheyanne & Mark Rogers 2006. In Design, Monitoring And Evaluation For Conflict Tranformation Ethics. I: Designing For Results. Search for Common Grounds, Washington. 

Dahler-Larsen, Peter 2004. Evaluering og magt. Aarhus Universitetsforlag, Aarhus. 

Hansen, Helle Ploug & Tine Tjørnhøj-Thomsen 2009. Overskridelsens etik. I: (red.) Kirsten Hastrup 2009. Mellem Mennesker. Hans Reitzels Forlag, København.

Hastrup, Kirsten 2009. Refleksiv etik I: (red.) Kirsten Hastrup 2009. Mellem Mennesker. Hans Reitzels Forlag, København.

Hume, Lynne & Jane Mulcock (red.) 2004. Introduction: Akward Spaces, Productive Places. I: Anthropology in the Field: Cases in Paticipant Observation. Columbia University Press, New York