Innovativ evaluering og observation

I evalueringsarbejdet kan interviews ofte kombineres og suppleres med observationer, fordi observationer giver nye vinkler og understøtter de fortalte historier fra interviews og øvrigt datamateriale

Forfattere

Indehaver og chefkonsulent
Dato: 
december 2012

Skrevet af Lisbeth Galtung og Malene Skov Dinesen

I evalueringsarbejdet kan interviews ofte kombineres og suppleres med observationer, fordi observationer giver nye vinkler og understøtter de fortalte historier fra interviews og øvrigt datamateriale. Denne artikel handler om, hvordan observation kan bruges som en aktiv del af Innovativ evaluering og hvordan dette kan kobles med feedback- og feedforward. Artiklen kobler først Innovativ evaluering og observation som dataindsamlingsmetode sammen med feedback og feedforward. Derudover beskrives også mere indgående, hvad observation egentlig er, og hvordan der konkret kan arbejdes med observation som en metode i evalueringssammenhæng.

Innovativ evaluering og observation

”Alle mennesker lever i og med relationer til en omverden, der består af andre mennesker, institutioner og materielle forhold.” (Hastrup, 2004: 422)

Citatets relationelle og kontekstuelle erkendelse er præmissen for både observation som dataindsamlingsmetode og for evalueringstilgangen Innovativ evaluering (Dinesen og de Wit, 2010), og bliver derfor også i denne artikel udgangspunktet for koblingen mellem Innovativ Evaluering, observation, feedback- og feedforward.

Feedback- og feedforward er en læringsproces, hvor de involverede tilegner sig viden om, hvad der er sket i fortiden og bruger denne viden målrettet i forhold til fremtiden. Ifølge Mads Hermansen er enhver handling derfor forbundet med feedback, hvor vi kontinuerligt justerer vores handlinger ud fra feedback (Hermansen, 2003). Feedforward er den proces, hvor vi forsøger at etablere en sammenhæng mellem det, der er sket, det vi gør i nuet, og de antagelser vi har om hvad der vil komme til at ske i fremtiden (ibid). I feedforward handler vi således ud fra en antagelse om hvad der vil ske, hvis vi handler på en given måde. Ifølge Hermansen kan feedback og feedforward ses som en iterativ læringsproces mellem fortid, nutid og fremtid, der gør det muligt for individet at justere og udvikle sin praksis ud fra de tre positioner (ibid). Feedback og feedforward er således også kendetegnet ved den relationelle og kontekstuelle præmis, der kendetegner Innovativ Evaluering (Dinesen og de Wit, 2010).

I evalueringer dominerer den feedback-orienterede del ofte, fordi genstandsfeltet i klassisk forstand er, hvad der allerede er sket. Innovativ Evaluering er netop karakteriseret ved både at have øje for feedback- og feedforward i evalueringer og har dermed både et bagudrettet og et fremadrettet fokus. Innovativ Evaluering er en tilgang, hvor vi forsøger at forstå praksis for at kunne komme med kvalificerede bud på, hvordan praksis kan styrkes fremadrettet. Evalueringen skal altså understøtte det evaluerede, hvad end det handler om den daglige praksis, et udviklingsprojekt eller noget helt tredje. Derfor arbejdes der i Innovativ Evaluering ikke kun med at bevise om indsatsen virker, men også på at forbedre praksis, hvilket blandt andet skabes igennem evalueringen ved at få nuanceret viden om, hvad det er, der virker ved en indsats – og for hvem. Hermed kan vores antagelser og forforståelselser forstyrres og læring skabes.

Innovativ Evaluering er en tilgang, som knytter sig ovenstående og dermed til anvendelse af evaluering, mere end et sæt på forhånd definerede metoder. Metodevalget vil altid afhænge af evalueringens kontekst og den tilsigtede anvendelse for evalueringen. Observation er en del af den palette, der kan bringes i spil i forhold til Innovativ evaluering, ligesom interviews, processer og spørgeskemaundersøgelser anvendes, når det understøtter forsyningen af den efterspørgsel, som er tilstede netop i den evaluering (Dinesen og de Wit, 2010).

Observation er en dataindsamlingsmetode, hvor en given kontekst observeres med henblik på at beskrive, hvad der sker i den givne kontekst (Gulløv & Højlund, 2010). Formålet med at gennemføre observationen i forbindelse med Innovativ evaluering er at udvide perspektiverne og dermed forståelserne for det evaluerede. På samme måde som øvrige dataindsamlingsmetoder, er der helt klare styrker ved observation, fordi det kan bidrage til nuancer og handlinger, som er vanskelige eller umulige at fange på andre måder. Modsat er der også, som også i andre dataindsamlingsmetoder, faldgruber som man skal være opmærksomme på. Eksempelvis må man i observationer være meget opmærksom på, hvad observatørens tilstedeværelse i felten betyder for det observerede. En anden opmærksomhed er, hvorvidt og i hvor høj grad man som observatør skal tilstræbe ”fuld integration” med felten, og hvad det betyder for det observerede og den efterfølgende analyse. Vi vender tilbage til disse perspektiver.

Objektet for observation er altid i relation til noget andet. Relationer kan være meget forskellige for eksempel en relation mellem to kolleger eller en relation mellem en tavle og en underviser. Det giver med andre ord derfor ikke mening at undersøge objektet isoleret, men derimod altid i samspillet med kontekstens relationer (McDermott, 1996). I feedback- og forwardprocesser er det relevant at inddrage observation som metode, da den kan bruges til både at skue bagud og fremad: En analyse af observationsnoterne kan både fortælle noget om, hvad der blev gjort og sagt på et givent tidspunkt og på samme tid præsentere antagelser om, hvilke fremadrettede handler der vil understøtte hvad fremadrettet. På den måde kan kombinationen understøtte en fremadrettet udvikling i organisationen. 

 

 

http://ineva.dk/sites/default/files/styles/top_billede/public/Forst%C3%B8rrelse.jpg?itok=GNXFght1

”The ethnographer enters the field with an open mind, not an empty head.” (Fetterman, 2010)

Observation

Citatet ovenfor viser kernen i observation, der handler om at være åben for den nye felt og på samme tid ikke forkaste den eksisterende viden. Felten i den antropologiske forståelse er den kontekst antropologen undersøger (Hastrup, 2003). Felten er på den måde ikke blot et afgrænset fysisk sted men rummer også individerne, deres handlinger, refleksioner og interaktioner. Felten er det, vi i evalueringssammenhænge kalder evaluanden.

Observation er en balancegang mellem på den ene side ikke at lade forforståelser (eksempelvis fra tidligere gennemførte interviews i felten) præge observationen men på samme tid acceptere, at netop forforståelser og den viden, der ligger bag dem altid vil være til stede og kan bruges i og efter observationer. Jævnføres denne balancegang til feedback og feedforward, handler det således at være opmærksom på ikke at lade feedbacken være for styrende, så der ikke er plads til de antagelser, der kan skabes i feedforward, så der på den måde skabes rum for udvikling af ny praksis. Det handler i tråd med Innovativ evaluering om at insistere på at være nysgerrig også når felten føles kendt og sikker. Ved at insistere på at være nysgerrig, vil der blive ved med at dukke nye perspektiver op. I relation til evalueringer og inddragelse af observation som metode kan observation derfor bruges til at understøtte videngenerering ved at få nye vinkler på allerede kendt stof. Det handler altså om at have et åbent sind men ikke ’et tomt hoved’ både i forhold til teori, fokus og tilgang.

Observation som metode til indsamling af data, bliver særligt anvendt som dataindsamlingsmetode i antropologens feltarbejde. Feltarbejdet er grundstenen i antropologisk forskning, hvor forskellige metoder som blandt andet observation og interviews tages i brug for at skabe viden om felten (Højlund og Gulløv, 2010). Den antropologiske viden skabes på baggrund af tilstedeværelse i felten, hvor man igennem længere tid opbygger relationer til de mennesker hvis liv man undersøger (informanterne) for at få et så fyldestgørende indtryk af deres liv, handlinger og opfattelser som muligt. Det efterstræbes ofte at feltarbejdet foregår over længere tid – nogle gange i flere år (Eriksen, 2001). Længden  på feltarbejdet er vigtig faktor, da det dels gør det muligt at skabe sig en accepteret position i felten, hvor informanterne får tillid til antropologen, og dels får et indgående kendskab til rutiner og regler. Feltarbejde stiler med andre ord mod ”indlevelse i mennesker hverdag for at få blik for de prioriteringer og logikker, der motiverer til handling og giver mening lokalt, uanset om de er erkendte eller ej.” (Højlund og Gulløv, 2010). I feltarbejdet anvendes mange metoder der også anvendes i en evaluering for eksempel interviews og observation og den systematiske analyse og databearbejdning, der efterfølger. Selve formålet med feltarbejde adskiller sig dog fra evaluering ved at undersøge og analysere felten og ikke evaluere eller foretage den vurdering, der ligger i evaluering. Tidsligheden er også forskellig; oftest er der langt mere tid til at gennemføre feltarbejde end evaluering. Derudover er feltarbejde ofte forskningsmæssigt funderet, hvilket også kan være tilfældet ved evalueringer, men de gennemføres også ofte på grund af opdragsgivers krav om evalueringer eller for at understøtte organisationens efterspørgsel på en given viden. Der synes dog også at være en tendens til at det udelukkende forskningsrettede i feltarbejdet er ved at ændre sig, da der er flere organisationer i privat og offentligt regi, der efterspørger den viden feltarbejde kan generere i en ikke-akademisk kontekst, herunder i evalueringer.

Observation kombineres ofte med andre dataindsamlingsmetoder som strukturerede eller semi-strukturerede interviews. Kombinationen af for eksempel observation og interviews er brugbar, fordi den kan generere noget andet data, end hvis der kun laves interviews. Dette skal ses i lyset af, at der sjældent er en komplet sammenhæng mellem det vi siger vi gør, og det vi rent faktisk gør. Grundpræmissen for observation er derfor også den implicitte kontrast mellem det informanterne ved om sig selv og deres verden, og så den viden vi skaber gennem observation (Hastrup, 2004). Gennem observation kan vi finde betydningsmættede huller mellem det sagte og gjorte. Måden disse huller findes på er gennem detaljerede beskrivelser af informanternes handlinger, interaktioner og dialog. Det efterstræbes at gøre disse beskrivelser så deskriptive som muligt, så selve analysen først sker, når man sidder med det færdige indsamlede data, hvor den egentlige fortolkningsproces starter. Ved at kombinere for eksempel feltnoter med interviews, kan vi i analysen skabe nye perspektiver på vores forforståelser, der som tidligere nævnt kan kobles med feedback og feedforward.

Et eksempel på denne diskrepans mellem det sagte og det gjorte kom frem under et feltarbejde blandt unge kriminelle og socialarbejdere i Østlondon. I interviewene lagde socialarbejderne stor vægt på, at det var de unges eget valg, hvorvidt de ville fortsætte den kriminelle løbebane eller ej. Dette frie valg blev gentaget igen og igen overfor de unge. Gennem observationer blev det imidlertid tydeligt, at dette frie valg reelt ikke eksisterede, fordi der kun var én rigtig vej, og det var at undgå kriminalitet.  Dette kom blandt andet til udtryk ved, at socialarbejderne anerkendte de unge, der tog afstand fra kriminalitet og lavede rollespil med tilbagevendende fokus på den kriminelle karriere som den forkerte vej, og på den måde konstruerede de, hvad der reelt var det rigtige valg. Hvis det udelukkende havde været interviews, der var brugt som dataindsamlingsmetode, havde det ikke været muligt at finde frem til denne diskrepans mellem det socialarbejderne sagde og gjorde. Men med observationerne blev det muligt at vise et andet perspektiv på virkeligheden, der forstyrrede socialarbejdernes egen fortælling om det frie valg, fordi det perspektiv viste, at der også blev italesat et rigtig valg. På den måde eksisterede det frie og rigtige valg diskursivt på samme tid i arbejdet med de unge.

Til trods for, at der ofte er en diskrepans mellem det sagte og det gjorte, så er det ikke ensbetydende med, at observationen er ’dårlig’, hvis ikke der kan findes en diskrepans. Et eksempel på dette er en evaluering i forbindelse med et ungemiljø, hvor der var fokus på ungeinddragelse. Pædagogerne lagde stor vægt på, at de unge skulle inddrages fra start til slut. Da analyseprocessen var færdig bekræftede både interviews med de unge og observationer af interaktionen mellem de unge og pædagogerne, at de unge rent faktisk blev inddraget. 

Observationsformer

Der er flere forskellige former for observationsmetoder, som her kort vil gennemgås med fokus på, hvilken form for viden, der efterstræbes under observationen. De forskellige observationsmetoder kan ikke adskilles, snarere kan de ses som bølger, der har fulgt hinanden igennem tiden, hvor alle bølger i større eller mindre grad er forbundne (Eriksen, 1998).

Den første form for observation beskrives som ”fluen på væggen”, hvor idealet er at observere felten uden at påvirke den og dermed heller ikke deltage i aktiviteterne (Hastrup, 2003). Dette ideal var fremherskende i den positivistiske filosofi, hvor idealet var at finde den objektive sandhed oftest hos eksotiske folkeslag under fjerne himmelstrøg. Antagelsen er, at med ’fluen på væggen’-observationer kan der genereres en form for objektiv viden om informanternes gøren og laden. Antropologens rolle er altså at få information fra informanterne, og den viden der skabes kan derfor kaldes informativ (Hasse, 2003). 

Et eksempel på denne form for observation er, hvis informanter observeres uden, at de ved det. Det kan for eksempel være på et lærermøde, hvor interaktionen mellem lærere observeres for at undersøge lærerteamets dynamikker. Formålet med sådan en form for observation er oftest at undgå at forstyrre felten, så det er så ’realistisk’ og validt som muligt. Der er dog store etiske komplikationer ved dette, da informanter altid bør give deres tilladelse inden der foretages observationer. Derudover er det vores vurdering, at et læreteams dynamikker sagtens kan observeres med informanternes accept, og den data, der generes er lige så ’realistisk’ og valid som hvis informanterne ikke var informerede.

Antropologer erfarede efterhånden, at det ikke kunne undgås at påvirke felten under observation. På den måde forandrede observation sig fra at være en objektiv handling uden indflydelse på de observerede til accepten af, at den blotte tilstedeværelse påvirker feltet og dets aktører. Denne bevægelse minder meget om den, der er set i evalueringsfeltet med bevægelsen fra den klassiske positivistisk ”virker-det-evaluering” til evalueringstyper, hvor man er både mere opmærksom på og optaget af evalueringens påvirkning af feltet, herunder Innovativ evaluering (Dinesen og de Wit, 2010).

Derfor bliver den næste bølge i observation til begrebet ”going native”, hvor der stræbes efter at mærke på egen krop, hvad informanterne oplever. Det er med andre ord en meget dyb form for deltagerobservation, der ikke blot handler om at vide, hvad informanterne gør, men at antropologen skal mærke på egen krop, hvad disse handlinger gør. Det en observationsmetode, der kræver meget af antropologen, da det er hele antropologen, der sætter sig selv i spil for at generere viden om informanterne. På denne måde bliver det altså en form for kropsliggjort viden, der skabes gennem observation og genererer en inkorporeret form for viden (Hasse, 2003). Et eksempel på dette kan være at blive optaget som stammemedlem på Papua Ny Guinea for at få en kropsliggjort viden om, hvad det egentlig betyder at være stammemedlem på Papa Ny Guinea. Dette fokus har dog vist sig at have visse udfordringer, fordi der vil være mange sfærer som antropologer ikke kan få adgang til, hvis det skal være en kropsliggjort form for viden. Her vil det således være umuligt at lave feltarbejde blandt børn, hvis ikke man er et barn, blandt lærere hvis man ikke er uddannet lærer eller blandt kriminelle hvis ikke man er kriminelle. Dette ideal om den kropsliggjorte viden lægger således begrænsninger for, hvilken felt der kan undersøges. Men selve præmissen om at gå ind i felten for at mærke på egen krop er stadig et ideal for antropologer i dag og det efterstræbes stadig af antropologer at blive ’indfødte’, da det indikerer, at de har opbygget en dyb og detaljeret viden om det felt, der undersøges.

Der er dog også nogle dilemmaer i at ”go native”, hvilket knytter sig til de tidligere beskrevne forforståelse og påvirkning af felten. Når fuld integration med felten er idealet, vil det også betyde blinde pletter, som man som observatør skal være yderst opmærksomme på. I evalueringssammenhæng kan det at ”go native” bedst associeres til det at lave observationer som en del af en intern evaluering. Her er man jo ”native” idet man evaluerer sin egen organisation, og det kræver en stor opmærksomhed og uærbødighed på egne forforståelser og en bevidst holden fast i nysgerrigheden for at være i stand til at se bredden af perspektiver. 

I dag er den mest fremherskende forståelse af deltagerobservation som en metode, hvor der  genereres viden i relationen mellem observatør og antropolog (Baarts, 2003). I deltagerobservation er der hele tiden to formål: På den ene side at deltage i de aktiviteter, som der finder sted i konteksten, og på den anden side at observere aktiviteterne og informanterne (Spradley, 1980). Her er idealet at lave en så detaljeret observation som muligt med accepten af, at observatøren altid påvirker felten. Antropologens rolle er således ikke længere informativ men en performativ medspiller, der er med til at skabe scenen og ikke blot beskrive den (Hasse, 2003). Et eksempel på deltagerobservation er at arbejde som rengøringsassistent eller servicetekniker for at få indblik i, hvad dette arbejde indebærer. Det kan også være at lege med i børnenes leg i frikvarteret for at undersøge, hvilke positioner børnene forhandler sig frem til eller noget helt fjerde.

På den måde har feltet også åbnet sig for antropologer: Det er ikke længere udelukkende stammekonstruktioner i Papa Ny Guinea, der er et interessant felt, men også børns interaktioner under træning i foreninger, ledige kontanthjælpsmodtagere relationer til deres jobkonsulenter, forbrugeres indkøbsmønstre i en butik og så videre. Det nære er således blevet det fjerne i dag, netop fordi antropologen gennem blandt andet observation kan se på kendte dagligdagssituationer med nye vinkler.

Observation og evaluering

”What works for whom under which circumstances.” (Pawson & Tilley, 1997)

I Innovativ evaluering tager vi blandt andet afsæt i Realistisk evaluering, hvor formålet er at forbinde intervention og virkning ved at spørge: Hvad virker for hvem hvornår og under hvilke omstændigheder? Det er således ikke tilstrækkeligt at undersøge, hvad der virker, men hvorfor og hvordan netop denne indsats virker overfor en given målgruppe i en given kontekst (Pawson & Tilley, 1997). Gennem artiklen har vi tydeliggjort, at netop afsættet i konteksten også er præmissen for observation, og derfor er det muligt at kæde observation sammen med Realistisk evaluering, så der på den måde kan skabes en mere nuanceret forståelse af intervention og virkning.

Når der observeres i forbindelse med evalueringer, er den viden der skabes en kontekstbestemt relationsviden, fordi når felten skifter ændres konteksten. Den viden der skabes er således ikke en viden i sig selv, men først og fremmest en viden i relation til noget andet for eksempel mellem observatør og observerede, eller en kaffemaskines funktion som kaffemaskine og uformelt møderum. Her er det ikke tilstrækkeligt at spørge, hvad der laves ved kaffemaskinen, men også hvordan der skabes relationer mellem kaffemaskinen og medarbejderne og medarbejderne imellem. Hvis der kun spørges til hvad og ikke hvordan og hvorfor risikerer vi at få en viden, der er tingsliggjort frem for relationelt (Hastrup, 2004). Den tingsliggjorte viden bliver efterstræbt i den positivistiske filosofi, men i den socialkonstruktionistiske tankegang er det den relationelle viden, der efterspørges, fordi vi arbejder ud fra en antagelse om, at det er konteksten og relationerne, der definerer evalueringens genstandsfelt og dermed evalueringens konklusioner. 

Et eksempel på dette er fra en evaluering af et projekt, hvor en af indsatserne er familieterapi. I evalueringen arbejdedes der ud fra praksisteori, hvor vi fokuserede på, hvilke antagelser medarbejderne havde om deres praksis for at bruge denne viden til udvikling af praksis. Derudover evalueres selve indholdet i projektet også blandt andet af brugerne. For at skabe en evaluering der både rummer brugernes oplevelse af praksis og medarbejdernes antagelser om praksis, byggede vi evalueringen op ud fra særskilte fokusgruppeinterviews med medarbejderne og brugerne og observation under samtalerne i familieterapien. Vores antagelse er, at vi kan bruge den viden, der er genereret under fokusgruppeinterviewene til at styrke fokus på udvalgte temaer under observationer og bruge den viden, der genereres under observationer til uddybning og nuancering af, hvad der reelt foregår i praksis og sammenholde dette med brugernes oplevelser og medarbejdernes antagelser om praksis.

Observation som dataindsamlingsmetode kan således anvendes til at understøtte formålet med Innovativ evaluering, så den endelige evaluering bliver så fyldigt beskrevet som muligt med henblik på, at konteksten og relationerne træder tydeligt frem.

Observation i praksis

Observation som dataindsamlingsmetode kan bruges til at blive klogere på andres og egen praksis. Med observation kan vi stille skarpt på, hvad der fungerer, og hvad kan der blive endnu bedre. I egen organisation kan observation bruges til at forstyrre egne antagelser gennem nye perspektiver, for på den måde at skabe læring, der kan understøtte udvikling i praksis. Observation kan bidrage med nye vinkler i mange kontekster: Måske har en kollega brug for feedback på en vejledningssamtale, måske mangler et projekt fremdrift, måske mangler du selv inspiration til at gøre noget andet. Observationer er således anvendelige, når der skal ny inspiration på et kendt genstandsfelt, som kan være svært at blive ved med at forholde sig åbent og nysgerrigt til.

Observation som dataindsamlingsmetode kan være tidskrævende, da observatøren ofte vender tilbage til genstandsfeltet flere gange for at få flere perspektiver, der kan forstyrre forforståelser og allerede etablerede perspektiver. Som tidligere beskrevet kan tiden dog være godt givet ud, fordi observationer kan give perspektiver, som det ikke ville være muligt at få uden observation.

Når den konkrete observation foregår handler det om at insistere på at være deskriptiv i beskrivelserne af individerne, interaktionerne og konteksten. Udgangspunktet er som tidligere nævnt et åbent sind, der beskriver, hvad der sker. I observation stræbes der derfor også efter, at analysen først finder sted bagefter, hvilket betyder, at tolkninger undervejs ikke skal fylde i data. Rent menneskeligt er det ikke muligt at beskrive hverken sin egen eller andres organisation som en tom tavle uden viden og forforståelser, men det er vigtigt at gøre sig disse forforståelser bevidst inden observationen. 

Helt konkret kan observation foregå på mange måder alt afhængig af, hvad der giver mening i konteksten. Med pen og papir kan der skrives ned, hvad der sker i en given situation for eksempel ved at beskrive hvilket rum både fysisk og socialt vi befinder os i, hvem, der er tilstede, og hvad der foregår. En anden mulighed er at tegne bevægelses- og interaktionsmønstre for eksempel over elevers færden i et klasseværelse i timen.

Der kommer ofte tolkninger undervejs, og det er hensigtsmæssigt at være kritisk overfor egne tolkning under observationen. Det kan derfor også anbefales at ’slippe’ tolkningen ved at skrive den ned på siden på papiret, så det dermed ikke fylder i bevidstheden længere. Et eksempel kan være, at man som observatør bliver så optaget af, hvordan eleverne forhandler med læreren i timen, at alt andet tolkes ind i en forhandlingskontekst. Selve tolkningen kan være yderst relevant, men det kan være svært at beskrive andre perspektiver, hvis det hele tiden er denne tolkning, vi ubevidst søger at få bekræftet. Derfor kan det være en god idé at tvinge sig selv til at se på nye vinkler. I det valgte eksempel kan det være at åbne op for at undersøge, om temaer som lærerens og elevernes køn, sociale status og så videre også spiller ind i timerne.

I forbindelse med observation i evalueringer, er der nogle etiske overvejelser, der bør overvejes af de der skal lave observationerne, allerede inden den egentlige observation går i gang. Det er vigtigt at lave en tydelig kontekstafklaring for alle berørte. Det er en smagssag hvor meget og hvor lidt, man som evaluator vil fortælle de involverede om de observationer der skal foregå. Men et minimumskrav er at fortælle, at observationerne finder sted, andet vil ganske enkelt ikke være etisk forsvarligt. En undtagelse til dette er, hvis man observerer i det offentlige rum, eksempelvis på en banegård eller i et supermarked, hvis evalueringen eksempelvis omhandler en ny teknologi/vare/struktur eller andet. Her vil det være ganske uladsiggørlig at informere hver enkel, og samtidig kan man argumentere for, at det ikke er den enkelte der er genstand for observation, men gruppens interaktion med det observerede.

Inden observationsmetode vælges som metode i dataindsamling i forbindelse med evaluering, kan følgende med fordel overvejes:

 

  • Hvad er formålet med observationen?
  • Hvad skal observationen bruges til?
  • Hvem skal observeres – hvorfor og hvordan?
  • Hvem skal observere – hvorfor og hvordan?
  • Hvem skal vide hvad om hvem i hvilken sammenhæng?
  • Hvordan beskyttes informanterne? 

 

Ved at stille de ovenstående spørgsmål skabes større tydelighed om, hvad observationen skal bruges til, og på den måde skabes der både klarhed i evalueringsdesignet og for de involverede.

Det næste spørgsmål, som skal svares på i forbindelse med besvarelsen af de ovenstående, handler om hvad observationen skal bruges til. Dette knytter sig som sådan ikke til observation som metode, men det generelt at lave kvalificerede evalueringer med brugbar data (Dinesen og de Wit, 2010). Som skrevet før går vi ind i observationen med et åbent sind, men ikke et tomt hoved. Og det ikke-tomme hoved skal meget gerne være fyldt af kvalificerede tanker om evalueringens efterspørgsel og tilsigtede anvendelse. Her stiller anvendelse af observation i evaluering sig altså anderledes end den klassiske antropologi, fordi der i evalueringen er evalueringsspørgsmål, som skal besvares igennem den føromtalte vurdering. Vi har altså en klar referenceramme for vores observation, som vi både skal have med, men ikke lade ”overtage” observationen, hvilket i praksis er en vanskelig balancegang. Det handler om at kende sin efterspørgsel så observationen kan være med til at forsyne denne viden, men samtidig være så åben over for det observerede at perspektiver man ikke ledte efter også får plads. Netop når fokus er på feedforward og udvikling af praksis er sideeffekterne af eksempelvis en indsats typisk mindst lige så interessante i en evaluering som det tilsigtede. Her har observation en stor styrke, fordi vi netop ved at observere kan få øje på noget uventet eller noget der foregår ubevidst, som i det tidligere eksempel med kriminelle i London.

Den kvalificerede viden om evalueringens efterspørgsel kombineret med det åbne sind, giver muligt for at indsamle nuancerede data, som vi i analysefasen kan knytte det observerede med de øvrige data i evalueringen, så vi kommer frem til realistisk viden om det evaluerede, der gør det muligt både at give feedback og feedforward til praksis og opdragsgivere.

Litteraturliste

Baarts, Charlotte (2003): ”Håndværket. Opbygning af viden.” I: Kirsten Hastrup (red.) Ind i verden – en grundbog i den antropologiske metode. København: Hans Reitzels Forlag

Dinesen, Malene Skov & De Wit, Camilla Kølsen (2010): Innovativ evaluering. Dansk Psykologisk Forlag

Eriksen, Thomas Hylland (2001): Små steder, store spørsmål. Innføring i Sosialantropologi. 3. udgave. Oslo: Universitetsforlaget

Fetterman, David (2010): Ethnography. Step By Step. 3rd Edition Sage Publications.

Gulløv, Eva & Højlund, Susanne (2010): Feltarbejde blandt børn. Metodologi og etik i etnografisk børneforskning. København: Gyldendal

Hastrup, Kirsten (2004): ”Refleksion. Vidensbegreber og videnskab”. I: Kirsten Hastrup (red.) Viden om Verden. København: Hans Reitzels Forlag

Hastrup, Kirsten (2003): ”Introduktion. Den antropologiske videnskab”. I: Kirsten Hastrup (red.) Ind i verden – en grundbog i den antropologiske metode. København: Hans Reitzels Forlag

Hasse, Cathrine (2003): ”Mødet: Den antropologiske læreproces”. I: Kirsten Hastrup (red.) Ind i verden – en grundbog i den antropologiske metode. København: Hans Reitzels Forlag

Hermansen, Mads (2003): Omlæring. Aarhus: Forlaget Klim

McDermott, Ray P. (1996): ”The acquisition of a child by learning disability”. I: Chaiklin, S. & Lave, J. (red.): Understanding practice. Perspectivs on activity and context. Cambrigde: Cambrigde University Press

Pawson, Ray & Tilley, Nick (1997): Realistic Evaluation. London: Sage Publications

Spradley, James (1980): Participant Observation. Wadsworth Thomson Learning