Världsbanken sprider förvirring om systematisk utvärdering

NYHET | 2015-03-12

Enligt en ny rapport från Världsbanken bör systematiska utvärderingar ”tas med en nypa salt”. EviEM har granskat rapporten och konstaterar att författarna helt har missförstått vad som gör en systematisk utvärdering ”systematisk”.

Systematiska utvärderingar kan vara opålitliga
enligt rapport från Världsbanken

David Evans och Anna Popova säger sig i en rapport från Världsbanken ”systematiskt” ha utvärderat sex systematiska utvärderingar av samma fråga inom området internationell utveckling. Samtliga sex utvärderingar hade granskat försök att förbättra skolbarns lärande i låg- och medelinkomstländer.

Rapporten hävdar att utvärderingarna drog vitt skilda slutsatser, ett förvånande resultat med tanke på att de i huvudsak behandlade samma ämne. Enligt Evans och Popova visar den bristande överensstämmelsen att systematiska utvärderingar ”bör tas med en nypa salt”, eftersom deras slutsatser kan vara opålitliga.

Innehållet i rapporten har nyligen lyfts fram i ett blogginlägg på Världsbankens webbplats.

”Systematiska” utvärderingar var inte alls systematiska

Två av EviEM:s projektledare, Neal Haddaway och Magnus Land, fann Världsbanksrapportens uppgifter oroande. De undersökte tillsammans med Laurenz Langer vid Africa Evidence Network (AEN) varför utvärderingarnas slutsatser skilde sig åt.

Genom en kritisk granskning, både av Evans och Popovas rapport och av de ”systematiska” utvärderingar som rapporten byggde på, kunde Haddaway, Land och Langer konstatera att ingen av utvärderingarna var särskilt systematiskt genomförd. De har sammanfattat sina bedömningar i ett blogginlägg på AEN:s webbplats. Där visar de att bara två av utvärderingarna som togs upp i Evans och Popovas rapport var i närheten av att kunna kallas systematiska, och att flera andra av dem över huvud taget inte var systematiska.

Haddaway, Land och Langer menar att en utvärdering inte blir systematisk bara för att den bygger på systematiska sökningar – hela utvärderingsprocessen måste genomföras på ett systematiskt sätt. Deras slutsats är att systematiska utvärderingar kan betraktas som pålitliga sammanfattningar av befintlig kunskap förutsatt att de följer strikta riktlinjer. Sådana riktlinjer har exempelvis utfärdats av Collaboration for Environmental Evidence och Campbell Collaboration.