Kaffe och konsten att utvärdera utveckling

Ett av mina allra första jobb var som forskningsassistent på Sidas dåvarande utvärderingsenhet. Jag hade fått jobbet genom en av mina tidigare uppsatshandledare från universitetet, som behövde någon som kodade en mängd projektdokument och utvärderingar av Sidas MR- och demokratistöd för en studie.

Utvärderingen använde sig av programteori för att kartlägga vilka antaganden som ligger bakom olika former demokratistöd. Till exempel antagandet att utbildning till journalister i Vietnam ska leda till ökad demokrati. Naturligtvis går detta att bryta ner till massor av mindre antaganden: journalisterna ska förstå och ta till sig utbildningen, vilja agera på den och använda sig av den i sin yrkesutövning, detta ska leda till bättre journalistisk kvalitet som gör att medborgarna kan fatta mer grundade politiska ställningstaganden osv. Det blev rätt mycket kodning, och jag måste medge – jag har aldrig druckit så mycket Selectakaffe i hela mitt liv som under de där veckorna!

Genom alla duvningar i LFA, RBM, theory of change och Kirkpatrick som mitt senare yrkesliv tagit mig genom, har den där första kodningserfarenheten följt mig som en viktig insikt och erfarenhet. För vi identifierade rätt många slutledningshopp i projektdokumenten, där man missat att t.ex. bedöma journalisternas möjligheter att använda sig av utbildningen (en av utvärderingarna menade att politiker i Vietnam tenderade att ta mikrofonen ur journalisternas händer och hålla monolog utan att tillåta några frågor, så fina kurser var kanske inte så användbara under rådande omständigheter). Dessutom lärde jag mig den hårda vägen att det lönar sig att dricka bättre kaffe än det ur Selecta-automaterna.

Konventionella projektverktyg och utvärderingsmodeller inom utvecklingssamarbetet är till stor del byggda kring traditionella biståndsprojekt, exempelvis utbildnings- och hälsoinsatser eller humanitärt stöd. Inom dessa områden är det relativt rättframt att mäta outputs, till exempel antal byggda skolor, antal lärare och läkare eller hur många flyktingar som fått nödhjälp. Det är också relativt enkelt att mäta outcomes och impact såsom utbildningsnivå, hälsa och livslängd bland befolkningen.

Utvecklingssamarbete inom demokrati och fredsbyggande är erkänt svårare att planera för och mäta. Det är så många faktorer som påverkar exempelvis intensiteten i en konflikt, och det är svårt att uppskatta om effekter beror på kausala samband eller bara på korrelation. Ofta har utvärderingar varit process­orienterade, det vill säga undersökt om projekt genomförts som planerat och huruvida målgruppen fått del av insatsen. Detta är en viktig aspekt av utvärdering, men många forskare, praktiker, politiker och inte minst skattebetalare har frågat sig om insatserna verkligen gör någon skillnad.

På senare år har ansträngningar gjorts för att komma åt den verkliga effekten av projekt inom exempelvis rättsstatsuppbyggnad och säkerhetssektorreform. Forskare har anpassat kvantitativa vetenskapliga metoder som tidigare sällan använts inom samhällsvetenskapliga studier just på grund av svårigheterna att kontrollera och isolera effekter. Lösningen har varit att använda sig av så kallade randomiserade kontrollerade studier (RKS, eller RCT på engelska, randomized controlled trials).

Metoden är genomförbar i projekt riktade till individer eller institutioner där det är möjligt att göra ett slumpvis urval av målgrupp och kontrollgrupp. Urvalet bör göras bland ett medelstort till större antal aktörer (n) i jämförbar situation. Målgrupp och kontrollgrupp mäts vid baseline och i uppföljning, men det är bara målgruppen som blir föremål för insatsen. (Exempel: Av 50 liknande och jämförbara polisdistrikt i östra Kongo får poliserna i 10 slumpvalt utvalda distrikt utbildning, medan poliserna i 5 distrikt utgör kontrollgrupp för att jämföra om förändring i polisernas kunskap skett i relation till insatsen.)

Det stora genombrottet med metoden är att det med kontrollgruppen går att följa den påtagliga förändringen till följd av insatsen, och skapa den kontrafaktiska referenspunkt som annars ofta är så svår att skapa i samhällsvetenskapliga utvärderingar. Detta innebär en möjlighet till konkret och faktabaserat lärande kring resultat av fredsbyggande insatser (dock finns reservationer kring bl.a. etiska utmaningar, samt möjligheten att generalisera och överföra resultat i tid och till andra miljöer).

Den svenska Expertgruppen för Biståndsanalys (EBA) är en statlig kommitté med ansvar för att utvärdera och analysera Sveriges internationella bistånd och har nyligen skrivit en rapport om RKS som förordar ett ökat svenskt användande av metoden. FBA samarbetar sedan 2014 med Världsbankens initiativ kring impact evaluationom utvecklandet av RKS, som en del i vår förberedelse för att använda metoderna i framtida FBA-projekt.

Men efter ett mycket intressant möte med Världsbanken i Washington förra veckan (de bjöd bara på Selectakaffe för övrigt) satt jag och tänkte på den strof FBA hamrar in i alla våra deltagare på SSR-kurserna: ”SSR is a process that frames technical reforms in a political process”.

En nackdel med RKS är att det inte går att göra i projekt där man har ett litet och strategiskt urval av aktörer till vilka man vill rikta insatsen. Och fångar det verkligen upp alla politiska aspekter av samhällelig utveckling? RKS svarar ju på om en insats fungerar, men det svarar egentligen inte på hur.

Nyligen gav Carnegie Endowment ut en rapport med det poetiska namnet Plan for Sailboats – not Trains. I rapporten menar författaren Rachel Kleinfeld att RKS just är bra på att fånga upp outcomes, det vill säga att poliserna i vårt exempel lärt sig något av insatsen. Men polisreform är en känslig fråga, och sker i en politisk miljö. Det kommer finnas aktörer som är för och emot reform, och dessa kommer att agera. Det är ofta omöjligt att genomföra den insats som baseras på best practice, istället kommer insatser genomföras som möter minst motstånd, det vill säga kompromisser. Samtidigt, de reformer som genomförs kan få effekter på outcome-nivå, men möts ofta av kontra-initiativ från motståndare som får pendeln att svänga tillbaka. Tidpunkten för mätningen kan betyda allt, och vi vet alla sedan WDR 2011 att det tar minst 40 år att reformera exempelvis ett rättssystem.

För att bemöta detta lyfter Kleinfeld fram den så kallade komplexitetsteorin och arbete från MIT:s Poverty Lab och Harvards Problem-Driven Iterative Adaptation. (Ja, här behövs det en kopp kaffe om vi ska komma igenom sista biten). Det handlar om att tillåta utvecklingsprojekt i komplexa miljöer att ha en utforskande ansats och att anpassas kontinuerligt efter erfarenheter och resultat. Förutsättningar, möjligheter och motstånd förändras. Förändring går inte alltid att planera som ett tåg, ibland behöver man kryssa fram som en segelbåt för att nå sitt resultat.

Det handlar inte om att sluta göra antaganden, glömma theory of change eller slänga sina logframes. Vi måste använda oss av dessa metoder, men kanske ompröva dem lite oftare. Flexibilitet i insatser och programmering lyfts ofta fram som en viktig förutsättning för utvecklings­samarbete i konflikt- och postkonfliktmiljö. Samtidigt finns det mycket få incitament för att prova olika initiativ, erkänna vad som inte fungerar och att omformulera eller kanske stänga ner programkomponenter som inte möter förväntande resultat. Många biståndsfinansiärer skulle se sådant agerande som misslyckanden, och genom­förande organisationer undviker att ändra sina projektplaner eftersom de är måna om fortsatt finansiering.

Här minns jag en anekdot som en mycket erfaren FN-kollega berättade en gång. Storbritannien hade för länge sedan utbildat ett större antal poliser i ett centralasiatiskt land genom påkostade utbildningar i England. Dessvärre sågs ingen större effekt, korruptionen var utbredd och befolkningen hade lågt förtroende för polisen. Så plötsligt ungefär trettio år senare började saker förändras.

Små reformer påbörjades och förändringar gjordes som började leda till ett mer modernt polisarbete och därmed ökat samhälleligt förtroende. Så småningom råkade några representanter från den brittiska ambassaden i samspråk med några nyblivna polisgeneraler som berättade om sina erfarenheter från den brittiska polisakademin och hur de nu äntligen i sina nya roller kunde förverkliga dem. Det hade tagit många år men hindren och den politiska miljön gjorde att dessa förändringsaktörer nu kunde agera på sina kunskaper!

FBA har många viktiga vägval att göra när vi utvecklar vår verksamhet för att arbeta mer i direkta bilaterala projekt och program i framtiden, och för att hitta den bästa kombinationen av RKS och komplexitetsteori. För visst vore det fantastiskt om RKS kan hjälpa oss att kontinuerligt anpassa och utveckla våra metoder på ett flexibelt sätt, men med en fast grund i empirisk kunskap? Det kommer behövas många koppar bra kaffe innan det är färdigt.