Ny rankingliste gør op med ranking
En ny EU-finansieret rankingliste vil ændre måden at vurdere uddannelser og institutioner på. Der skal være fuld transparens og ingen vindere eller tabere.
Hvem ligger som nummer et i år? Det er spændingsmomentet hvert eneste år blandt rankinglister som Times Higher og Shanghai, der rangerer verdens universiteter efter deres forskningsresultater. Men den måde at tænke ranking på skal der gøres op med, når kvalitet af uddannelse skal måles. Det mener folkene bag U-Multirank, som er en ny rankingliste finansieret af EU-Kommissionen.
I maj måned blev første rankingliste præsenteret. Og målet er klart, pointerer professor i økonomi Frank Ziegele fra Centre for Higher Education (CHE), der sammen med forsknings- og udviklingscentret Center for Higher Education Policy Studies (CHEPS) udvikler den nye rankingliste.
“Ideen er mere eller mindre at forandre hele måden at vurdere uddannelsessystemet på. Man bliver nødt til at fremvise alle indikatorer på institutionens præsteren. Der skal kigges på mere end forskning. En ranking skal være multidimensional”, siger Frank Ziegele.
Selvom U-Multirank stadig er under opbygning og først skal være fuldt indfaset i 2017, dækker den allerede mere end 850 videregående uddannelsesinstitutioner i mere end 74 lande. Heraf er seks universiteter, to professionshøjskoler og to erhvervsakademier p.t. fra Danmark.
EU skyder en million euro om året over de næste fire år i projektet, der skal resultere i en årlig rankingliste. U-Multirank adskiller sig markant fra eksempelvis engelske Times Higher Education, der bygger på en metode, hvor en række indikatorer vægter en vis procentdel og derefter samles til en score, der placerer det enkelte universitet på en numerisk rankingliste. For det giver ikke mening at udarbejde rankinglister på den måde, mener Frank Ziegele.
“Som producenter af en rankingliste kan vi ikke vægte en dimension højere end andre. Vi opstiller i stedet for nogle indikatorer til brugerne, som på den baggrund selv kan bestemme, hvad der er vigtigt at ranke efter. Det er ideen bag at udarbejde en sådan brugerorienteret rankingliste”, siger Frank Ziegele.
For dyrt
På U-Multirank tager man udgangspunkt i de studerendes behov ved at give en mere bred indsigt i, hvad den enkelte institution kan tilbyde. U-Multirank sammenligner derfor ikke bare universiteter, men derimod alle slags videregående uddannelsesinstitutioner inden for fem brede dimensioner, som er undervisning og læring, forskning, vidensoverførsel, international orientering og regionalt engagement.
Rankinglisten placerer desuden ikke de videregående uddannelser numerisk fra nummer et til 500. I stedet tildeles hver institution en bestemt størrelse boble på de enkelte dimensioner, alt efter om den er A (Very good), B (Good), C (Average), D (Below average) eller E (Weak). Den måde at udarbejde et rankingsystem på skal bruges til at skabe fuld transparens i uddannelsessystemet.
På Københavns Universitet (KU) mener man dog, at U-Multirank både er for dyr og for ny. Derfor har man store forbehold over for at deltage. Det pointerer vicedirektør for uddannelse på KU Anni Søborg.
“Vi har fulgt udviklingen af U-Multirank med interesse, men det vil blive meget dyrt at fremskaffe de data, som de ønsker fra os”, siger Anni Søborg. På hovedstadens universitet holder man sig derfor i stedet til at monitorere de fire rankinglister Shanghai, Leiden, QS og Times Higher.
Det gode ved U-Multirank i forhold til netop de fire andre rankinglister er i særlig grad, at den inkluderer undervisning. Det pointerer rektor på Aalborg Universitet Per Michael Johansen.
“Det synes jeg er en utrolig vigtig parameter at have med i et rankingsystem, da undervisning er universitetets vigtigste opgave”, siger Per Michael Johansen, som dog også kalder listen med de mange data for “noget bureaukratisk”.
Efterhånden har universiteterne dog fået sikret en systematisk måde at opsamle og indlevere data på til de forskellige rankinglister.
“De fleste data har vi i forvejen, men det er blevet en noget bureaukratisk proces. Det er dog vigtigt for et universitet at deltage på rankinglisterne, når man skal tiltrække studerende, som bruger listerne til at vælge og fravælge universiteter ud fra”, siger Aalborgs rektor, som finder U-Multirank mere retvisende end andre rankinglister. Til gengæld er den også stadig noget uoverskuelig.
“Listen er jo ikke færdig endnu, men skal løbende udvikles, til den får sin endelige form. Vi vil dog fortsætte med at deltage, primært fordi den ranker undervisning”, siger han.
Huller i data
Der er stadig knyttet mange udfordringer til det nye projekt. De største aktuelle mangler ved U-Multirank er visse huller i data. En søgning i systemet afslører hurtigt, at der for nærmest alle medvirkende institutioner mangler data for en eller flere variabler. Det mener Rikke Skovgaard Andersen, som er specialkonsulent på Danmarks Evalueringsinstitut (Eva). Hun har fulgt etableringen af U-Multirank tæt.
“Internationale sammenligninger bliver altid meget komplekse, når der skal indsamles data. Det ser vi også resultatet af her, hvor der er flere huller i data. Jo mere valgfrihed man har på en interaktiv side som her, jo mere komplekst bliver det desuden at overskue for brugeren, og det kæmper ranglisten også med lige nu”, siger Rikke Skovgaard Andersen.
Dét problem vedkender Frank Ziegele sig da også. Han forklarer, at det er et problem, der formentlig aldrig kan blive udryddet helt. Der er eksempelvis store forskelle på, hvor let eller svært de enkelte institutioner har ved at fremsende data, mens visse indikatorer simpelthen ikke passer til den enkelte institution.
“Det kan eksempelvis være indikatorer for arbejdsløshed, som vi har store problemer med at sammenligne i EU. Der er p.t. absolut ingen sammenlignelige datagrundlag. Vi har det dog stadig med, fordi det var et stort politisk ønske. Men jeg vil sige, at det ikke er muligt at frembringe sammenlignelig information om dette, så det er en indikator med mange huller. Derfor ønsker vi med tiden at fjerne dem fra systemet”, siger Frank Ziegele.
Forhåbningen er dog, at U-Multirank vil blive brugt af studerende med internationalt udsyn, som leder efter et universitet, der passer til deres faglighed.
“Det gælder om ikke at lave en ranking med misvisende oplysninger på baggrund af en sammenlægning af tal. Det handler om at lave en ranking, der passer til ens egne præferencer og på baggrund af diversiteten af forskellige systemer”, siger Frank Ziegele.
I maj måned blev første rankingliste præsenteret. Og målet er klart, pointerer professor i økonomi Frank Ziegele fra Centre for Higher Education (CHE), der sammen med forsknings- og udviklingscentret Center for Higher Education Policy Studies (CHEPS) udvikler den nye rankingliste.
“Ideen er mere eller mindre at forandre hele måden at vurdere uddannelsessystemet på. Man bliver nødt til at fremvise alle indikatorer på institutionens præsteren. Der skal kigges på mere end forskning. En ranking skal være multidimensional”, siger Frank Ziegele.
Selvom U-Multirank stadig er under opbygning og først skal være fuldt indfaset i 2017, dækker den allerede mere end 850 videregående uddannelsesinstitutioner i mere end 74 lande. Heraf er seks universiteter, to professionshøjskoler og to erhvervsakademier p.t. fra Danmark.
EU skyder en million euro om året over de næste fire år i projektet, der skal resultere i en årlig rankingliste. U-Multirank adskiller sig markant fra eksempelvis engelske Times Higher Education, der bygger på en metode, hvor en række indikatorer vægter en vis procentdel og derefter samles til en score, der placerer det enkelte universitet på en numerisk rankingliste. For det giver ikke mening at udarbejde rankinglister på den måde, mener Frank Ziegele.
“Som producenter af en rankingliste kan vi ikke vægte en dimension højere end andre. Vi opstiller i stedet for nogle indikatorer til brugerne, som på den baggrund selv kan bestemme, hvad der er vigtigt at ranke efter. Det er ideen bag at udarbejde en sådan brugerorienteret rankingliste”, siger Frank Ziegele.
For dyrt
På U-Multirank tager man udgangspunkt i de studerendes behov ved at give en mere bred indsigt i, hvad den enkelte institution kan tilbyde. U-Multirank sammenligner derfor ikke bare universiteter, men derimod alle slags videregående uddannelsesinstitutioner inden for fem brede dimensioner, som er undervisning og læring, forskning, vidensoverførsel, international orientering og regionalt engagement.
Rankinglisten placerer desuden ikke de videregående uddannelser numerisk fra nummer et til 500. I stedet tildeles hver institution en bestemt størrelse boble på de enkelte dimensioner, alt efter om den er A (Very good), B (Good), C (Average), D (Below average) eller E (Weak). Den måde at udarbejde et rankingsystem på skal bruges til at skabe fuld transparens i uddannelsessystemet.
På Københavns Universitet (KU) mener man dog, at U-Multirank både er for dyr og for ny. Derfor har man store forbehold over for at deltage. Det pointerer vicedirektør for uddannelse på KU Anni Søborg.
“Vi har fulgt udviklingen af U-Multirank med interesse, men det vil blive meget dyrt at fremskaffe de data, som de ønsker fra os”, siger Anni Søborg. På hovedstadens universitet holder man sig derfor i stedet til at monitorere de fire rankinglister Shanghai, Leiden, QS og Times Higher.
Det gode ved U-Multirank i forhold til netop de fire andre rankinglister er i særlig grad, at den inkluderer undervisning. Det pointerer rektor på Aalborg Universitet Per Michael Johansen.
“Det synes jeg er en utrolig vigtig parameter at have med i et rankingsystem, da undervisning er universitetets vigtigste opgave”, siger Per Michael Johansen, som dog også kalder listen med de mange data for “noget bureaukratisk”.
Efterhånden har universiteterne dog fået sikret en systematisk måde at opsamle og indlevere data på til de forskellige rankinglister.
“De fleste data har vi i forvejen, men det er blevet en noget bureaukratisk proces. Det er dog vigtigt for et universitet at deltage på rankinglisterne, når man skal tiltrække studerende, som bruger listerne til at vælge og fravælge universiteter ud fra”, siger Aalborgs rektor, som finder U-Multirank mere retvisende end andre rankinglister. Til gengæld er den også stadig noget uoverskuelig.
“Listen er jo ikke færdig endnu, men skal løbende udvikles, til den får sin endelige form. Vi vil dog fortsætte med at deltage, primært fordi den ranker undervisning”, siger han.
Huller i data
Der er stadig knyttet mange udfordringer til det nye projekt. De største aktuelle mangler ved U-Multirank er visse huller i data. En søgning i systemet afslører hurtigt, at der for nærmest alle medvirkende institutioner mangler data for en eller flere variabler. Det mener Rikke Skovgaard Andersen, som er specialkonsulent på Danmarks Evalueringsinstitut (Eva). Hun har fulgt etableringen af U-Multirank tæt.
“Internationale sammenligninger bliver altid meget komplekse, når der skal indsamles data. Det ser vi også resultatet af her, hvor der er flere huller i data. Jo mere valgfrihed man har på en interaktiv side som her, jo mere komplekst bliver det desuden at overskue for brugeren, og det kæmper ranglisten også med lige nu”, siger Rikke Skovgaard Andersen.
Dét problem vedkender Frank Ziegele sig da også. Han forklarer, at det er et problem, der formentlig aldrig kan blive udryddet helt. Der er eksempelvis store forskelle på, hvor let eller svært de enkelte institutioner har ved at fremsende data, mens visse indikatorer simpelthen ikke passer til den enkelte institution.
“Det kan eksempelvis være indikatorer for arbejdsløshed, som vi har store problemer med at sammenligne i EU. Der er p.t. absolut ingen sammenlignelige datagrundlag. Vi har det dog stadig med, fordi det var et stort politisk ønske. Men jeg vil sige, at det ikke er muligt at frembringe sammenlignelig information om dette, så det er en indikator med mange huller. Derfor ønsker vi med tiden at fjerne dem fra systemet”, siger Frank Ziegele.
Forhåbningen er dog, at U-Multirank vil blive brugt af studerende med internationalt udsyn, som leder efter et universitet, der passer til deres faglighed.
“Det gælder om ikke at lave en ranking med misvisende oplysninger på baggrund af en sammenlægning af tal. Det handler om at lave en ranking, der passer til ens egne præferencer og på baggrund af diversiteten af forskellige systemer”, siger Frank Ziegele.
