Systematisk utvärdering mer tillämpbar än vad många tror
NYHET | 2015-04-14
Det råder ofta missuppfattningar om systematiska utvärderingar och deras tillämpbarhet. Ett färskt exempel kan beskådas i en utvärdering av marin infrastruktur som publicerats i tidskriften Frontiers in Ecology and the Environment. Neal Haddaway, projektledare vid EviEM, har skrivit ett genmäle som publicerades i tidskriften i april.
Vissa forskare tvivlar på systematisk utvärdering
I en artikel som nyligen publicerats i tidskriften Frontiers in Ecology and the Environment utvärderar den australiensiska forskaren Katherine Dafforn och fem medförfattare ett antal studier om infrastruktur och byggnadsprojekt i marin miljö. Forskarna granskar de ekologiska konsekvenserna av byggnadsverk i vattnet utanför våra städer, men de hävdar att ”en systematisk utvärdering inte var möjlig eftersom många av de relevanta artiklarna är tvärvetenskapliga och har publicerats i böcker, konferenshandlingar och grå litteratur som inte skulle ha påträffats vid litteratursökningar”.
Neal Haddaway, projektledare vid EviEM, invänder att detta påstående avspeglar missförstånd om systematiska utvärderingars tillämpbarhet. I ett genmäle till tidskriften har han tillsammans med forskarassistenten Helen Bayliss vid Centre for Evidence-Based Conservation i Wales pekat på två missuppfattningar: 1) att systematiska utvärderingar inte lämpar sig för tvärvetenskapliga projekt, samt 2) att systematiska utvärderingar inte kan beakta grå litteratur.
Systematisk utvärdering fungerar bra
i tvärvetenskapliga sammanhang
Den systematiska utvärderingsmetodiken utvecklades för ungefär 25 år sedan inom medicinsk vetenskap. Den har sedan kommit till användning inom samhällsvetenskap, psykologi samt forskning kring folkhälsa, internationell utveckling och miljöfrågor.
Men systematiska utvärderingar har också publicerats inom många andra områden. Den systematiska utvärderingsmetodiken kan inte bara tillämpas inom vitt skilda discipliner – den är också mycket användbar i möten mellan olika forskningsfält, exempelvis miljö och folkhälsa, eller utbildning och internationell utveckling. Detta framgår tydligt om man kastar en blick på de systematiska utvärderingar som nyligen publicerats av Collaboration for Environmental Evidence och av 3ie (International Initiative for Impact Evaluation).
Snarare än att systematisk utvärdering skulle medföra begränsningar möjliggör metoden pålitliga, transparenta och repeterbara sammanställningar av kunskap inom skilda discipliner som kanske mäter effekterna av en viss faktor på helt olika sätt.
Systematiska utvärderingar bör alltid
söka efter grå litteratur
Konventionella litteraturstudier som sammanställer kunskap inom ett visst område brukar bara bygga på vetenskaplig litteratur. Därigenom riskerar de att missa betydelsefulla och mycket användbara resultat som publicerats i grå litteratur, t.ex akademiska avhandlingar eller rapporter från organisationer eller myndigheter.
En utvärdering som enbart bygger på vetenskapligt granskad litteratur skulle därför kunna dra felaktiga slutsatser, exempelvis genom att överskatta effekterna av olika åtgärder. Sådan s.k. publikationsbias kan utgöra en betydande risk för den som behöver ett tillförlitligt svar på en utvärderad fråga.
En korrekt genomförd systematisk utvärdering innefattar däremot alltid försök att finna relevant grå litteratur. Sådana sökningar brukar utnyttja särskilda databaser för avhandlingar och rapporter. Information kan också hämtas direkt från utövare av en viss verksamhet. Sökningar efter grå litteratur är alltså ingalunda oförenliga med systematisk utvärdering. Tvärtom ingår de som en väsentlig del av varje sådan utvärdering.
Systematisk utvärdering är inte alltid det lämpligaste sättet att sammanställa kunskap inom ett visst område, särskilt inte om utvärderingsresurserna är begränsade. Men för tvärvetenskapliga frågor inom områden där det kan finnas betydande mängder grå litteratur är systematisk utvärdering ofta en idealisk metod.
Genom att påpeka missuppfattningarna i artikeln av Dafforn m.fl. vill Neal Haddaway och Helen Bayliss visa att systematisk utvärdering kan tillämpas i fler sammanhang än vad många tror.