Et selskab i fremgang
Dansk EvalueringsSelskab samler evaluatorer i alle afskygninger.
“Evalueringer er kontrol og tyranni”. “Evalueringskulturen er spild af ressourcer”.
Er der noget, som kan sætte sindene i bevægelse, er det den omsiggribende brug af evalueringer i den offentlige sektor.
Dansk EvalueringsSelskab, der samler en bred vifte af personer, der beskæftiger sig med feltet, kan godt genkende kritikken.
“I bund og grund skal man overveje, om det er godt og kan betale sig at evaluere. Nogle gange, når man evaluerer, gør man det, fordi alle andre også gør det, men måske er det uklart, hvor man vil hen med evalueringen. I andre tilfælde kan der være bekymring, fordi evalueringer også bruges som styrings- og kontrolredskaber, og hvor resultatet kan føre til barske omstruktureringer af organisationer eller lignende”, siger Bente Bjørnholt, lektor ved Institut for Statskundskab ved Aalborg Universitet og formand for Dansk EvalueringsSelskab.
Som professionel evaluator og underviser ved en uddannelsesinstitution, der regelmæssigt evaluerer de ansatte lærerkræfter, har hun nemt ved at sætte sig ind i det ubehag, der kan være forbundet med en evaluering. Men hun oplever også, at en evaluering kan gøre en positiv forskel.
“Når man som underviser bliver evalueret, bliver man målt på, om det, man laver, er godt nok, og det kan være en hård proces at gå igennem. Men evalueringen giver os samtidig en idé om, hvorvidt det, vi leverer, også er det, de studerende gerne vil have. Og det kan bruges i den fremadrettede diskussion om, hvor vi vil hen, og der fører evalueringerne altså til ændringer af fagindhold og prioritering af fag”, siger Bente Bjørnholt.
Dansk EvalueringsSelskab spænder over en bred vifte af faglige profiler, og der er ikke en særlig profession, der dominerer feltet. Medlemmerne er alt fra antropologer til økonomer, nogle arbejder med empowerment, mens andre beskæftiger sig med hårde kvantitative målopfyldelsesevalueringer. Alligevel peger Bente Bjørnholt på to overordnede retninger, en evaluering kan tage. Den tilbageskuende, der måler, om et mål er blevet opfyldt, og den fremadskuende, der handler om at blive bedre til noget.
“På den ene side mener man, at man kan gøre verden bedre, hvis man finder ud af, hvad vi går og laver, og hvorfor vi gør det. Her kan evalueringen bidrage til større træfsikkerhed i, hvad der leveres i den offentlige sektor, højere grad af effektivitet og sikkerhed omkring det, vi gerne vil opnå. Omvendt tjener evalueringer også fremadrettet et formål, når det gælder spørgsmålet om, hvordan vi kan udvikle os, og hvad der skal til, for at vi kan blive bedre organisationer”, siger Bente Bjørnholt.
Den kvantitative vending
Et af de helt store dyr i evalueringssammenhæng er de OECD-initierede internationale PISA-undersøgelser, hvor tilhængere og modstandere til hudløshed har diskuteret det anvendelige i at benytte kvantitative målinger af elevers evner på tværs af lande- og kulturgrænser.
“PISA er et godt eksempel på, at det er enormt vigtigt at få diskuteret de evaluerings- og værdikriterier, vi lægger til grund for evalueringerne. Altså hvad det er, vi vil, og om PISA så understøtter de værdier, vi gerne vil have i den danske folkeskole. Jeg siger ikke, om PISA er godt eller skidt, men at det er vigtigt at definere værdierne bag evalueringskriterierne, da de afgørende for, hvorvidt vi i evalueringer vurderer noget som godt eller skidt. Der er også en vis mode i evalueringsmodeller. Hvis du går 20-30 år tilbage, så ville man have demokratiske evalueringer og bruger- og medinddragelse. For 40-50 år siden talte man om evidensbaseret politik i evalueringssammenhæng. Det gik man så væk fra, men nu er det blevet moderne igen, og politikerne efterlyser de kvantitative målemetoder”.
Samtidig er der en tendens til, at alt skal evalueres, og måske er det endda for meget af det gode, mener Bente Bjørnholt.
“I forskningen er man begyndt at spørge, om det er en god idé at evaluere alt. Nogle gange måler man noget, der er så nyt, at det slet ikke er klar til at blive evalueret, eller man har et projekt, der lige er gennemført, og så skal det straks evalueres. Der risikerer man nemt at spilde en masse tid. Så vi skal blive gode til at spørge, hvad formålet er, for der er jo ikke grund til at lave lange rapporter, der bare havner i skraldespanden”, siger hun.
Hvad er god evaluering?
Men selv når det nogle gange lykkes at få belyst, hvad der virker eller ikke virker, opstår der let en ny udfordring. For evalueringer indgår ofte i en politisk beslutningsproces, hvor evaluatoren ikke kan styre, hvad evalueringen bliver brugt til, om den overhovedet bliver brugt – eller måske endda misbrugt. Der kan med andre ord være god grund til at overveje, hvad det egentlig er, man deltager i som evaluator, mener Bente Bjørnholt.
“Det er klart, at vi som evaluatorer også skal spørge os selv, om vi er professionelle nok, og noget af det, vi har diskuteret i selskabet, er faktisk, om vi skal have retningslinjer for, hvad en god evaluering er. Det har man fx i Frankrig. Skal vi fx gribe ind, hvis en evaluering misbruges? Skal man sige til en opdragsgiver: Du vil have kvantitative mål, men du har faktisk en kvalitativ problemstilling. Så der er selvfølgelig hele tiden nogle faglige og etiske problemstillinger, der skal overvejes”.
DANSK EVALUERINGSELSKAB
Er der noget, som kan sætte sindene i bevægelse, er det den omsiggribende brug af evalueringer i den offentlige sektor.
Dansk EvalueringsSelskab, der samler en bred vifte af personer, der beskæftiger sig med feltet, kan godt genkende kritikken.
“I bund og grund skal man overveje, om det er godt og kan betale sig at evaluere. Nogle gange, når man evaluerer, gør man det, fordi alle andre også gør det, men måske er det uklart, hvor man vil hen med evalueringen. I andre tilfælde kan der være bekymring, fordi evalueringer også bruges som styrings- og kontrolredskaber, og hvor resultatet kan føre til barske omstruktureringer af organisationer eller lignende”, siger Bente Bjørnholt, lektor ved Institut for Statskundskab ved Aalborg Universitet og formand for Dansk EvalueringsSelskab.
Som professionel evaluator og underviser ved en uddannelsesinstitution, der regelmæssigt evaluerer de ansatte lærerkræfter, har hun nemt ved at sætte sig ind i det ubehag, der kan være forbundet med en evaluering. Men hun oplever også, at en evaluering kan gøre en positiv forskel.
“Når man som underviser bliver evalueret, bliver man målt på, om det, man laver, er godt nok, og det kan være en hård proces at gå igennem. Men evalueringen giver os samtidig en idé om, hvorvidt det, vi leverer, også er det, de studerende gerne vil have. Og det kan bruges i den fremadrettede diskussion om, hvor vi vil hen, og der fører evalueringerne altså til ændringer af fagindhold og prioritering af fag”, siger Bente Bjørnholt.
Dansk EvalueringsSelskab spænder over en bred vifte af faglige profiler, og der er ikke en særlig profession, der dominerer feltet. Medlemmerne er alt fra antropologer til økonomer, nogle arbejder med empowerment, mens andre beskæftiger sig med hårde kvantitative målopfyldelsesevalueringer. Alligevel peger Bente Bjørnholt på to overordnede retninger, en evaluering kan tage. Den tilbageskuende, der måler, om et mål er blevet opfyldt, og den fremadskuende, der handler om at blive bedre til noget.
“På den ene side mener man, at man kan gøre verden bedre, hvis man finder ud af, hvad vi går og laver, og hvorfor vi gør det. Her kan evalueringen bidrage til større træfsikkerhed i, hvad der leveres i den offentlige sektor, højere grad af effektivitet og sikkerhed omkring det, vi gerne vil opnå. Omvendt tjener evalueringer også fremadrettet et formål, når det gælder spørgsmålet om, hvordan vi kan udvikle os, og hvad der skal til, for at vi kan blive bedre organisationer”, siger Bente Bjørnholt.
Den kvantitative vending
Et af de helt store dyr i evalueringssammenhæng er de OECD-initierede internationale PISA-undersøgelser, hvor tilhængere og modstandere til hudløshed har diskuteret det anvendelige i at benytte kvantitative målinger af elevers evner på tværs af lande- og kulturgrænser.
“PISA er et godt eksempel på, at det er enormt vigtigt at få diskuteret de evaluerings- og værdikriterier, vi lægger til grund for evalueringerne. Altså hvad det er, vi vil, og om PISA så understøtter de værdier, vi gerne vil have i den danske folkeskole. Jeg siger ikke, om PISA er godt eller skidt, men at det er vigtigt at definere værdierne bag evalueringskriterierne, da de afgørende for, hvorvidt vi i evalueringer vurderer noget som godt eller skidt. Der er også en vis mode i evalueringsmodeller. Hvis du går 20-30 år tilbage, så ville man have demokratiske evalueringer og bruger- og medinddragelse. For 40-50 år siden talte man om evidensbaseret politik i evalueringssammenhæng. Det gik man så væk fra, men nu er det blevet moderne igen, og politikerne efterlyser de kvantitative målemetoder”.
Samtidig er der en tendens til, at alt skal evalueres, og måske er det endda for meget af det gode, mener Bente Bjørnholt.
“I forskningen er man begyndt at spørge, om det er en god idé at evaluere alt. Nogle gange måler man noget, der er så nyt, at det slet ikke er klar til at blive evalueret, eller man har et projekt, der lige er gennemført, og så skal det straks evalueres. Der risikerer man nemt at spilde en masse tid. Så vi skal blive gode til at spørge, hvad formålet er, for der er jo ikke grund til at lave lange rapporter, der bare havner i skraldespanden”, siger hun.
Hvad er god evaluering?
Men selv når det nogle gange lykkes at få belyst, hvad der virker eller ikke virker, opstår der let en ny udfordring. For evalueringer indgår ofte i en politisk beslutningsproces, hvor evaluatoren ikke kan styre, hvad evalueringen bliver brugt til, om den overhovedet bliver brugt – eller måske endda misbrugt. Der kan med andre ord være god grund til at overveje, hvad det egentlig er, man deltager i som evaluator, mener Bente Bjørnholt.
“Det er klart, at vi som evaluatorer også skal spørge os selv, om vi er professionelle nok, og noget af det, vi har diskuteret i selskabet, er faktisk, om vi skal have retningslinjer for, hvad en god evaluering er. Det har man fx i Frankrig. Skal vi fx gribe ind, hvis en evaluering misbruges? Skal man sige til en opdragsgiver: Du vil have kvantitative mål, men du har faktisk en kvalitativ problemstilling. Så der er selvfølgelig hele tiden nogle faglige og etiske problemstillinger, der skal overvejes”.
DANSK EVALUERINGSELSKAB
Dansk EvalueringsSelskab er et fagligt fællesskab og netværk af professionelle og private personer, som arbejder med evaluering, effektmåling og kvantitative og kvalitative analyser.
FORMÅL
Dansk EvalueringsSelskabs formål er at være en platform for erfaringsudveksling og diskussion af evalueringsfaglige problemstillinger, herunder udviklingen inden for evalueringsteori- og metode, nyttiggørelse af evalueringsresultater, faglig viden og standarder for god evalueringspraksis.
AKTIVITETER
Dansk EvalueringsSelskab afholder hvert år en konference, hvor der sættes fokus på de nyeste trends inden for evalueringsfeltet. Selskabet udsender også nyhedsbreve, udgiver tidsskriftet EvalueringsNyt og afholder gåhjemmøder.
I år juni afholdes også sammen med de andre nordiske evalueringsforeninger en nordisk evalueringskonference i Aalborg.
