Tidsskrifters impact factor (JIF) er et dårligt surrogat

I artiklen “Fri adgang til forskning tæller ikke mest” i Magisterbladet nr. 15/2009 udtalte professor Eske Willerslev, at “... prestigen i at blive citeret fra et tidsskrift med stor impact factor opvejer fuldstændigt den idealistiske tilgang, altså publicering i open access-tidsskrifter”.

Den såkaldte impact factor, der er tale om, udregnes af firmaet Institute for Scientific Information (ISI) – nu Thomson Reuter. Firmaet har siden 1960’erne udgivet citationsindekser. De udgiver hvert år en statistisk rapport over tidsskrifterne i citationsindekserne, Journal Citation Reports (JCR).

ISI’s impact factor for tidsskrifter – Journal Impact Factor, forkortet JIF – er et mål for den hyppighed, som en gennemsnitsartikel i et bestemt tidsskrift er citeret med i et bestemt år. JIF er noget, man i disse år må tage meget alvorligt, for denne surrogatindikator benyttes faktisk flere steder i verden som et direkte mål for videnskabelig kvalitet, uanset at enhver kan sige sig selv, at et tidsskrifts gennemsnitlige impact factor umuligt kan udsige noget om den enkelte artikels kvalitet. Det er blevet noget af et statussymbol for et videnskabeligt tidsskrift overhovedet at have en JIF. Man ser jævnligt en annonce for et tidsskrift, der reklamerer med sit (høje) JIF-tal.

Hos ISI/Thomson Reuters beregnes JIF som det samlede antal citationer for artikler publiceret i tidsskriftet i de to foregående år delt med antallet af citable artikler i tidsskriftet i samme periode.

Vi tager som eksempel to tidsskrifter A og B, som i 2008 hver havde i alt 500 citationer til de artikler, de rummede i 2006 + 2007. Tidsskrift A rummede i alt 300 artikler i de to år 2006 + 2007 og får en JIF på 1,667, mens B kun rummede 100 artikler de to år og får følgelig en højere JIF på 5,000. Tidsskrift C, som kun havde 50 citationer, får også faktor l,667, hvis det rummede 30 artikler i de pågældende år.

Det er et meget lille tidsrum, der anvendes, hvilket skyldes, at JIF-formlen i sin tid blev udviklet til brug ved selektionen af tidsskrifter, der skulle medtages i Current Contents (CC), et lille blad, der løbende gengiver indholdsfortegnelserne fra videnskabelige tidsskrifter. Det lå i CC-konceptet, at det skulle være tidsskrifter inden for kemi og biomedicin, og som havde aktuel interesse.

Impact factoren stiger generelt, men kan skifte fra år til år. Der kan være store udsving, fx hvis et tidsskrift et år publicerer en eller flere særligt højt citerede artikler. Det højeste i den naturvidenskabelige JCR 2008 er Cancer Journal for Clinicians på 74,5. Inden for samfundsvidenskaber er der ingen, der når så højt.

Kritik af JIF
Når man udregner impact factoren på grundlag af et par nyere år, favoriserer man tidsskrifter med bidrag af øjeblikkelig, men måske kortvarig interesse. Ligegyldigt hvordan man udregner JIF, vil der altid være nogle tidsskrifter, som bliver uretfærdigt behandlet, også fordi der er meget stor forskel på forskellige discipliners reference- og citeringsdynamik. 

Problemet JIF
Det helt store problem med ISI’s JIF er, at det er en indikator, som tilsyneladende er så nem at anvende. Man kan bare slå op i JCR og aflæse, hvilken “værdi” (et tal) et bestemt tidsskrift har. I alt, alt for mange tilfælde anvendes disse tal til at bestemme, hvilken værdi artikler, der publiceres i dette tidsskrift, har. Nordmanden Per O. Seglen er nok den, der ihærdigst har argumenteret imod denne anvendelse af JIF. Gang på gang har han dokumenteret, at JIF “intet som helst” udsiger om den enkelte artikels citationsimpakt, hvilket er ganske logisk, for selv i tidsskrifter med meget høje JIF-værdier er der artikler, som kun opnår 2, 1 eller sågar 0 citationer. “De 15 % mest siterte artiklene svarer for halvparten av siteringene, og den mest siterte halvparten av artiklene er, i gjennomsnitt, omtrent 10 ganger så høyt sitert som den mindst siterte halvparten”. Altså en vældig skævfordeling. Men ved brug af impaktfaktoren tilsløres forskellene: “De minst siterte artiklene blir vurdert like høyt som de mest siterte. En opp­når altså det stikk motsatte av det som burde være hensikten med en evaluering” (Seglen, 1996).

Alligevel er der en vis benovelse over ISI’s JIF – den har opnået en art de facto-status, på trods af at den altså er udformet til et helt specielt formål (jf. ovenfor), og på trods af at næsten alle, der seriøst beskæftiger sig med den, kommer med deres forsøg på forbedring af udformningen.

“Boost your JIF”
Hvis det lykkes for tidsskriftsredaktørerne at skaffe manuskripter af høj kvalitet, burde det – alt andet lige – også føre til gode JIF-tal. Høj JIF betyder noget for tidsskrifters anseelse. Der verserer nu rygter om, at nogle tidsskriftsredaktører forsøger at blæse deres tidsskrifts JIF kunstigt op (“boost”). Det kan de bl.a. gøre: 

• ved at sørge for at få mange tidsskriftsselvreferencer i manuskripterne
• ved at trykke mange review-artikler (som statistisk set opnår højere citationstal end andre artikler)
• ved at indskrænke antallet af citérbare artikler: jo færre artikler i udregningens nævner, jo højere JIF-tal
• ved at afvise manuskripter, der behandler emner, som ikke har vestlige citatorers store interesse, som fx tropesygdomme. 

Der er publiceret en interessant undersøgelse om, hvad tidsskriftsredaktører selv mener om sagen. Chew et al. (2007) (se nedenfor) udvalgte syv medicinske tidsskrifter med høje JIF’s. Det amerikanske New England Journal of Medicine (NEJM) lå øverst, i bunden i denne undersøgelse lå det australske lægetidsskrift MJA med en JIF på 2,1. Redaktørerne af de syv tidsskrifter var alle meget opmærksomme på JIF’s betydning for tidsskrifterne og indrømmede, at de mere eller mindre aktivt søgte at forbedre deres JIF, ikke mindst ved at bejle til potentielt højt citerede forfattere. Redaktørerne mødte op ved faglige møder og fortalte forskerne, hvorfor de skulle sende deres (bedste) manuskripter til netop dette tidsskrift, ikke til konkurrenterne. Desuden var flere af redaktørerne meget aktive for at få deres hotte forfattere i søgelyset. Og forskerne “elskede at være på tv-skærmen eller at komme i avisen”.

Det er hidtil gået forrygende for NEJM. Dets JIF var 31,7 for år 2002, men steget til 52,6 for 2007. Det skyldes ikke blot, at dets citationstal vokser med ca. 2.000 pr. år, men også at antallet af citérbare artikler formindskes. I 2000-2002 bragte det mellem 375 og 379 om året, i 2005-07 har det kun haft mellem 303 og 308 citérbare artikler pr. år. 

Det sidste ord om JIF?
Man skulle tro, at det sidste ord om JIF som kvalitetsindikator var sagt med Seglens konklusioner, som jeg citerede ovenfor. Men nej, bibliometristerne vrider og vender sig for at forbedre denne indikator. Det er al ære værd, men det slemme er, at der stadig er nogle, der lider af impactitis, og at forskningsadministratorerne ikke engang vrider sig, men blot gnider sig i hænderne over at have lettilgængelig JIF til brug ved evaluering.