Eksperter dumper landets største trivsels-undersøgelse

Ledere og medarbejdere på Danmarks største arbejdsplads bør være særdeles varsomme med at bruge resultaterne af en ny trivselsundersøgelse. For undersøgelsen, der er lavet på baggrund af spørgeskemaer udsendt til samtlige ansatte i Københavns Kommune, er behæftet med så alvorlige metodiske fejl, at resultaterne er ubrugelige.

Sådan lyder det samstemmende fra eksperter, som har gennemgået trivselsundersøgelsen for Magisterbladet.
“Rapporten er et meget dårligt udgangspunkt for arbejdet med trivsel. Den er meget overfladisk og flere steder i strid med afprøvede og anerkendte metoder. Man risikerer at begå alvorlige fejltagelser, hvis man bruger rapporten til at igangsætte initiativer”, siger Merete Labriola, seniorforsker ved MarselisborgCentret i Aarhus.

Tage Søndergaard Kristensen, tidligere professor og en af Danmarks mest anerkendte eksperter inden for forskning i psykisk arbejdsmiljø, kalder ligefrem resultaterne i rapporten “forvrøvlede”. “Rapporten er baseret på de værste fejltagelser, man overhovedet kan tænke sig, og resultatet er som følge heraf værdiløst”, siger han.

Trivselsrapporten er bygget op omkring en række dimensioner relateret til trivsel, blandt andet job og organisering, indflydelse, ledelse, samarbejde og krav i arbejdet. Til hver dimension knytter sig en række spørgsmål, som medarbejderne har vurderet på en skala fra 1 til 7. Ifølge tage Sønder­gaard Kristensen er skalaen imidlertid misvisende.

“Rapporten bruger en fast skala eller det, man også kalder et fast benchmark, som ikke giver mening. Empirien viser, at svarværdierne på forskellige spørgsmål fordeler sig forskelligt på en skala. Derfor kan man ikke sige, at fordi et spørgsmål tilfældigvis ligger lavt, så er det der, man skal sætte ind. Tværtimod er den variation, man ser mellem de enkelte spørgsmål, en naturlig variation, og idéen om, at de burde ligge på linje, er fuldstændig forkert. Så i rapporten fra Københavns Kommune gør man en naturlig spredning i svarværdierne til et problem”, siger Tage Søndergaard Kristensen.

Han uddyber:

“I Danmark ligger vi ret højt, når det gælder mening i arbejdet, omkring 8 på en 10-pointskala, og stort set alle afdelinger på alle arbejdspladser ligger derfor godt. Så når man ligger væsentligt dårligere end gennemsnittet, fx 6, får man alligevel et plus, når man benytter et simpelt fast benchmark. Tager du fx ledelseskvalitet eller social støtte fra chefen, ligger gennemsnittet meget lavt i Danmark. Med andre ord kan en arbejdsplads, målt med et fast benchmark, se ud til at være dårligt placeret, selvom det faktisk er en god placering i forhold til gennemsnittet af danske virksomheder. Så redskabet er i virkeligheden det, der afgør problemet, ikke arbejdsmiljøet”.

Et kendt eksempel på problemet med fast benchmark inden for arbejdsmarkedsforskningen var, da man i 1990’erne troede, at Danmark lå dårligt, når det gjaldt balancen mellem familie- og arbejdsliv. Det var først, da der senere kom internationale sammenligningsmuligheder, at det modsatte blev påvist, nemlig at vi i Danmark faktisk har et af de laveste niveauer for arbejde-familie-konflikter.

Magisterbladet har forelagt kritikken for Københavns Kommune og konsulentfirmaet Ennova, der har lavet undersøgelsen. I et skriftligt svar skriver Københavns Kommune, at “tilbagemeldinger fra tidligere undersøgelser viste, at ledere og tillidsrepræsentanter så det faste benchmark som en for dem god indikator for forståelsen og arbejdet med resultaterne”.
I et ligeledes skriftligt svar skriver Ennova:

“Det faste benchmark skal kun anvendes som tommelfingerregel for resultattolkningen og kun for det overordnede trivselsresultat, som ­benchmarket er udregnet på baggrund af. Dette har Ennova pointeret i forbindelse med rapportskabelonudarbejdelsen og efterfølgende kommunikeret på informationsmøder”.

Den forklaring køber Tage Søndergaard Kristensen dog ikke.

“Hver eneste figur i rapporten er baseret på faste skalaer, og det er jo det, folk har at forholde sig til. Der er ikke noget sammenligningsgrundlag”.

Arbejdsmiljøforsker Thomas Lund ved Arbejdsmedicinsk Klinik i Herning er enig.

“Rapporterne viser, at noget er højt, og noget er lavt, men i forhold til hvad? Det virker fuldstændig arbitrært, og det er uklart, hvad man skal bruge som basis for at handle. Hvornår er der tale om en fin graf lavet af en konsulent, og hvornår taler vi om reelle statistiske forskelle? Det er ikke til at se”.

Statistiske sammenhænge er ikke årsagssammenhænge
Ifølge Tage Søndergaard Kristensen er der endnu et alvorligt problem med rapporten. Ennova har nemlig kombineret det faste benchmark med analyser af statistiske sammenhænge i datamaterialet og i rapporterne brugt disse til at udpege potentielle indsatsområder. Også her bevæger Ennova sig ud på dybt vand, mener han.

“De påstår eksplicit rapporten igennem, at der vil være bestemte effekter af bestemte prioriteringer. Men det er funderet på et forsøg på at bevise årsagssammenhænge ved hjælp at statistiske sammenhænge, hvilket er fuldstændig uholdbart”, siger Tage Søndergaard Kristensen.

Simpelt fortalt er der ikke nødvendigvis nogen årsagssammenhæng mellem et stigende antal børnefødsler og en øget bestand af storke.

Ifølge Ennova lægger konsulentfirmaet “stor vægt på at understrege, at de statistiske analyser kun skal forstås som et hjælperedskab, der skal inspirere i debatten om, hvor der skal ske forbedringer”. 

I rapporten står der da også, at de såkaldte prioriteringskort er “et hjælperedskab og ikke en facitliste”, men samtidig beskriver en lang række figurerer i rapporten de nøjagtige effekter af bestemte indsatser i forhold til medarbejdernes trivsel.
Ifølge Tage Søndergaard Kristensen gør analyserne potentielt mere skade en gavn.

“Det er et misvisende oplæg til dialog. Det er udtryk for, at man lige så godt kunne have lavet en hvilken som helst anden rapport, som ville se helt anderledes ud, som man også kunne have snakket ud fra. Men det er jo ikke formålet med at lave en kortlægning. Det er jo at blive klogere på, hvordan virkeligheden ser ud, så det er ikke godt, det her”, siger han.

Såvel Københavns Kommune som Ennova hævder i deres skriftlige svar, at beregningerne er baseret på avancerede statistiske metoder. Ennova skriver endvidere, at man følger den “verdenskendte” svenske statistiker Herman Wolds princip om “Causality and Econometrics”. Det er dog ren namedropping, mener Tage Søndergaard Kristensen.

“Der er intet i Herman Wolds artikel fra 1954, som støtter Ennovas praksis. Jeg tvivler på, at de overhovedet har læst den, og for øvrigt er den glemt af de fleste. Men faktisk skriver Wold i sin artikel, at “årsagssammenhænge og kausalitet er teoretiske begreber, ikke empiriske”. Og at det ideelle design er det kontrollerede eksperiment, hvis man vil demonstrere kausalitet”.
Ennova skriver i sit svar til Magisterbladet, at Ennova langtfra er det eneste konsulenthus, der benytter statistiske analyser i trivselsmålinger. Hertil siger Tage Søndergaard Kristensen:

“Det er jo rigtigt nok, at der også er andre konsulenthuse, der forveksler statistisk sammenhæng med årsagssammenhæng. Men at andre laver samme fejl som en selv, er vel ikke nogen undskyldning”.