PISA-test har skadet uddannelses­sektoren

Siden år 2000 er PISA-undersøgelserne herhjemme blevet brugt til at tage temperaturen på den danske uddannelsessektor og folkeskolen. Men undersøgelserne kan slet ikke bruges. De har derimod været skadelige. For de er på et forkert grundlag blevet brugt til at fortælle, at den danske folkeskole ikke fungerer godt nok, men er “syg” og derfor skal indrettes anderledes.

Det mener professor ved Institut for Folkesundhedsvidenskab på Københavns Universitet Svend Kreiner. Han er internationalt anerkendt statistiker og anses for at være en af pionererne inden for Raschmodellen, som også PISA benytter i sine undersøgelser, hvor 15-årige elevers læse- og matematikfærdigheder testes og sammenlignes i 65 lande.

“Herhjemme har der ikke været nogen positiv effekt af PISA’s egne testtal i nu 13 år. Det skyldes, at det, PISA fortæller, ikke har ret meget med virkeligheden at gøre. De ændringer, der er forsøgt gennemført i den danske skole, er sket på et ukvalificeret grundlag, som har medført mistillid til hele folkeskolen”, siger Svend Kreiner til Magisterbladet, som i midten af december mødte ham i hans hjem i Virum til en samtale om debatten om PISA-undersøgelsernes anvendelighed, som han er blevet en central person i.

Siden 1969 har Svend Kreiner arbejdet med metoder i Raschmodellen, der er opkaldt efter den danske matematiker Georg Rasch. Den er en psykometrisk model, som kan bruges til at analysere kategoriske data som en række test i et spørgeskema, der kan måle en persons egenskaber.

Svend Kreiner er aktuel med en artikel i det videnskabelige tidsskrift Psykometrika, hvor han kritiserer PISA’s konklusioner for at være forkerte og udokumenterede. Alligevel har PISA-undersøgelserne siden 2000 “Herhjemme har der har ikke været nogen positiv effekt af PISA’s testtal i nu 13 år”. Svend Kreiner, professor, Institut for Folkesundhedsvidenskab ifølge ham været skiftende danske regeringers stærkeste argument for at ændre uddannelsessektoren.

“Det er stærkt problematisk at gennemføre reformer på baggrund af PISA. Jeg har ikke belæg for at sige, at eksempelvis den kommende skolereform ikke kan føre til noget godt. Men regeringen har heller ikke belæg for at kunne sige, at den kan føre til noget godt, selvom hensigterne sikkert er gode”.

Vinder genklang
Svend Kreiners kritik af PISA-undersøgelserne vinder genklang hos hans tidligere studiekammerat Peter Allerup, der i dag er professor på Institut for Uddannelse og Pædagogik DPU) på Aarhus Universitet. Med sitsærlige kendskab til psykometri og statistik var Peter Allerup tilknyttet det danske team bag PISA-undersøgelsen 2003, som også dengang havde professor Niels Egelund som chef. Allerede på det tidspunkt pointerede Peter Allerup, at der kunne være problemer med PISAundersøgelserne.

“Jeg skrev på nogle sammenligninger og rejste kritik ved at påpege, at der kunne være psykometriske problemer, i forhold til om skalaerne i PISA-undersøgelserne fungerede lige godt i alle landene. Det kunne Egelund ikke lide, så jeg blev smidt ud af PISA”, siger Peter Allerup, som i dag er tilknyttet den store internationale undersøgelse TIMSS. Han mener ikke, at PISA-undersøgelserne kan bruges som grundlag for at vise, om undervisningen fungerer eller bør laves om.

“Svend Kreiners kritik er lødig, og du kan ikke fange ham i at lave fejl, hvilket hans artikel om PISA også er et bevis på. PISA er skabt for – via en fælles prøve – at kunne måle, om OECDmedlemslande får nok ud af de investerede penge. Evalueringsresultatet skal derfor være fornuftigt, men PISA er slet ikke egnet som grundlag for at lave om på undervisningen”, siger Peter Allerup.

Han forklarer, at der i den aktuelle PISA-undersøgelse 2012 vises, at danske elever er faldet i matematik fra 503 til 500 point. De tre point svarer til et fald i den gennemsnitlige rigtighedsprocent på under 0,1 procent.

“Hvordan kan PISA overhovedet få sig selv til at omtale en ændring på under en 1/10 af en procent? Det kan man da ikke beskæftige sig med. Budskabet er, at der altså ikke er sket nogen ændringer, men alligevel har politikerne travlt med at udnytte dette resultat i PISA som platform til at lave om”, siger Peter Allerup, som har et stille håb om, at PISA smides på porten for at blive afløst af nationale test.

“PISA’s ranglister er helt uden didaktisk indhold, men visse politikere elsker dem, fordi de tror på, at PISAranglisterne og konkurrence mellem landene kan skabe fremgang. Men danske elever er ikke blevet dårligere til matematik, som PISA konkluderer, så hold nu op med at konkludere dette!”.

Fungerer forskelligt
Ifølge Svend Kreiner er problemet med PISA-undersøgelserne, hvad der i psykometrisk jargon kaldes “Differentiel Item Function”. Det betyder, at opgaverne fungerer forskelligt i forskellige lande. Men den statiske metode i PISA-undersøgelsen bygger netop på en forudsætning om, at alle opgaverne fungerer ens i deltagerlandene.

“Men i psykometrien har man siden 1980’erne diskuteret, at hvis opgaverne favoriserer en gruppe frem for en anden, så vil sammen sammenligningen simpelthen blive skæv”, siger Svend Kreiner og understreger, at man i PISA’s tekniske rapporter ellers kan læse, at PISA har gjort sig meget umage med, at opgaverne skal fungere ens i alle deltagerlandene, og at opgaver med problemer derfor er blevet fjernet.

“Men jeg kan se i det datamateriale, jeg fik, at det er meget langt fra sandheden. Det betyder, at der er en stor risiko for  systematiske skævheder, som påvirker, hvordan landene placeres i forhold til hinanden”, siger Svend Kreiner.

I de mange hundrede sider i PISA’s tekniske rapporter kan man ifølge Svend Kreiner ikke ét eneste sted finde noget om resultatet af PISA’s analyser. Det fik ham i 2005 til at kontakte Australian Council for Educational Research (ACER), som har lavet analyserne for PISA. Han fik et udsnit af de tekniske rapporter tilsendt herfra, men resultaterne kunne han ikke få udleveret.

I marts 2010 stødte Svend Kreiner dog tilfældigt ind i nogle personer fra PISA i et diskussionsforum om Raschmodellen  på internettet. Her beklagede han sig over ikke at kunne få lov til at se  dokumentation for resultaterne i PISA-undersøgelserne. Efter nogen tid blev de så trætte af diskussionen, at de foreslog, at han selv analyserede data, og de viste ham, hvor han kunne hente dem.

En del af Svend Kreiners aktuelle analyser er foretaget på baggrund af 30.000 elever, der har besvaret 20 læseopgaver i PISA-undersøgelsen 2006. Analysen viser, at der ér forskel på sværhedsgraderne i spørgsmålene mellem de enkelte lande.

“De troede nok ikke, at jeg ville dykke ned i tallene. Men fordi jeg har arbejdet med dette område siden 1969, var det et relativt nemt arbejde for mig. Det tog kun en eftermiddag at hente data ned og lægge dem til rette for analyserne og til at vise, at det, de skrev, var usandt. Der er noget galt”, siger Svend Kreiner, som sendte sine resultater til ACER, som kunne få lov til at kommentere dem, ligesom han sendte sine resultater til Undervisningsministeriet, som videresendte dem til PISA i Danmark.

“PISA fik chancen for at lukke diskussionen på det tidspunkt ved at fremlægge deres resultater og vise, at deres analyse er god nok. Det har de valgt ikke at gøre”, siger Svend Kreiner. Han udfærdigede en teknisk rapport i 2011 om emnet, som i dag ligger til grund for hans videnskabelige artikel. Rapporten blev primært skrevet, fordi han ville have styr på fakta, hvis han skulle gå i offentligheden med sin kritik: “Jeg kan jo ikke kritisere PISA for ikke at dokumentere sine påstande, hvis jeg gør det samme”.