Vuoden 2019 talousnobel myönnettiin kolmelle kokeellisen köyhyystutkimuksen uranuurtajalle. Kriitikoiden mukaan heidän lääketieteestä kopioimansa lähestymistapa ei kuitenkaan vähennä köyhyyttä.
Ruotsin keskuspankki palkitsi joulukuussa Abhijit Banerjeen, Esther Duflon ja Michael Kremerin niin kutsutulla talousnobelilla. ”Palkittujen tutkimusten tulokset ovat dramaattisesti parantaneet kykyämme torjua köyhyyttä käytännössä”, palkintokomitea perusteli valintaansa. Raati viittasi kolmikon käyttämään kokeelliseen köyhyystutkimuksen lähestymistapaan eli satunnaiskokeisiin.
Satunnaiskokeissa tutkijat vertaavat kahta keskenään samanlaista ryhmää, joista toiselle tehdään jokin toimenpide – esimerkiksi annetaan lääkettä – ja toiselle ei. Ryhmät valitaan satunnaistamalla, eli tietokoneohjelma arpoo, ketkä kuuluvat kokeiluryhmään ja ketkä kontrolliryhmään. Idea on, että näin saadaan tietoa nimenomaan valitun toimenpiteen vaikutuksista.
Satunnaiskokeet ovat lääketieteen peruskauraa, mutta nobelistikolmikko on käyttänyt niitä kehitysinterventioiden arvioinnissa.
Satunnaiskokeet ovat lääketieteen peruskauraa, mutta nobelistikolmikko on käyttänyt niitä kehitysinterventioiden arvioinnissa. He ovat tutkineet muiden muassa opetusta, mikrolainoja ja rokoteohjelmia kehitysmaissa.
Duflo tarkasteli esimerkiksi eräässä Intiassa toteuttamassaan tutkimuksessa opettajille annettavien suoritusbonusten vaikutusta siihen, olivatko opettajat oppitunneilla läsnä. Toiselle opettajaryhmälle maksettiin korkeampaa palkkaa, ja heiltä vaadittiin tiukasti läsnäoloa. Toiselle ryhmälle taas maksettiin matalampaa palkkaa, mutta myös bonusta sen mukaan, kuinka paljon he olivat paikalla. Valvonta toteutettiin siten, että oppilaat kuvasivat opettajiaan.
Tutkimuksen tulos oli, että bonuksia saaneet opettajat olivat ahkerammin läsnä oppitunneilla kuin ne, joille niitä ei maksettu.
Satunnaiskokeet ovat keino mitata tuloksia, ja joidenkin mielestä ainoa luotettava sellainen. Kaikki kehitystutkijat eivät kuitenkaan ole samaa mieltä.
Nobelistit vs. nobelistit
Viime vuoden Nobel-valinta nostatti paljon arvostelua. Satunnaiskokeisiin liittyvät tutkimuseettiset kysymykset ovat olleet otsikoissa, mutta myös lähestymistavan suhde itse köyhyyden vähentämiseen.
Tätä keskustelua on käyty itse asiassa varsin paljon jo ennen kolmikon saamaa Nobelia. Viisitoista eturivin kehitystutkijaa – mukaan lukien talousnobelistit Angus Deaton, James Heckman ja Joseph Stiglitz – julkaisivat vuonna 2018 avoimen kirjeen, jossa he esittivät suoraa kritiikkiä satunnaiskokeita kohtaan. Heidän mukaansa yksittäisten hankkeiden tuloksiin keskittyvä köyhyyden vähentäminen hukkaa kokonaiskuvan. Esimerkiksi se, että bonukset parantavat opettajien toimintaa, on melko pieni lohtu, jos velkakurimukseen joutuneet kehitysmaat leikkaavat samaan aikaan rajusti opetuksesta, tutkijat kritisoivat.
Suomen paljon puhuttu koulujärjestelmä olisi todennäköisesti jäänyt rakentamatta, jos sen vaikuttavuus olisi pitänyt todentaa tieteellisillä kokeilla.
Aalto-yliopiston kansainvälisen taloustieteen emeritusprofessori Pertti Haaparanta pitää tutkijaryhmän kritiikkiä osuvana. Kehityksen kannalta kaikkein merkittävimmät päätökset eivät ole testattavissa, eivätkä varsinkaan satunnaistettavissa, Haaparanta sanoo. Suomen paljon puhuttu koulujärjestelmä olisi todennäköisesti jäänyt rakentamatta, jos sen vaikuttavuus olisi pitänyt todentaa tieteellisillä kokeilla. Emme voi myöskään tutkia satunnaiskokeilla kokonaista verojärjestelmää, perusinfrastruktuurin rakentamista tai vaikkapa poliittista järjestelmää. Kokonaisten valtioiden ottaminen koeryhmiksi olisi käytännössä mahdotonta.
Satunnaiskokeiden puolustajien vastaus tähän on skaalaus eli yksittäisten tutkimustulosten yleistäminen. Lääketieteessä satunnaiskokeiden yleistäminen on verrattain mutkatonta: ihmisen elimistö toimii kutakuinkin samalla tavalla, joten esimerkiksi jonkin aineen haitallisuus voidaan yleistää koskemaan kaikkia ihmisiä.
Mutta voimmeko yleistää jonkin yhteiskunnallisen uudistuksen vaikuttavan samalla tavalla vaikkapa Suomessa ja Sambiassa?
”Eivät yhden kokeen tulokset välttämättä sovellu muualle, vaikka ne testattaisiin viidessä tai kuudessa eri paikassa”, Haaparanta sanoo.
Itse kokeiden toteuttaminen ei myöskään ole välttämättä aivan yksinkertaista. Haaparanta oli vuosina 2008–2010 mukana arvioimassa Kirkon Ulkomaanavun hanketta satunnaistamismenetelmällä. Kyse oli Mosambikissa Gazan provinssissa toteutetusta hankkeesta, jossa yritettiin saada maanviljelijöiden käyttöön paremmin kuivuutta kestäviä viljalajikkeita.
”Meidän piti tehdä satunnaistaminen virallisen väestönlaskennan tietojen mukaan, mutta kävikin ilmi, että tiedot olivat ihan väärin. Teimme sitten kylän vanhimpien kanssa todellisen väestönlaskennan.”
Muitakin yllätyksiä sattui. Yksi kylä, jonka piti olla koeryhmä, vaihtuikin kontrolliryhmäksi ja toinen kylä taas kontrolliryhmästä koeryhmäksi.
Haaparanta kertoo oppineensa, kuinka paljon resursseja ja ympärivuotista valvontaa toimivan satunnaiskokeen toteuttaminen vaatii. Eikä tällöinkään ole varmaa, että tulos olisi parempi kuin muilla arviointimenetelmillä.
”Meidänkin tapauksessamme voi kysyä, tarvitsimmeko oikeastaan satunnaistamista.”
Taustalla tulosvaatimukset
Vaatimukset kehitysyhteistyön tulosten ja vaikuttavuuden määrälliselle mittaamiselle ovat lisääntyneet samaan aikaan, kun nobelistit ovat raivanneet tilaa tutkimusmetodilleen. Abhijit Banerjeen ja Esther Duflon vuonna 2003 perustama J-PAL-laboratorio (Abdul Latif Jameel Poverty Action Lab) on ollut tutkimuslaitoksen alusta lähtien mukana nimenomaan käytännön kehitysyhteistyöhankkeissa.
Sillä on satoja yhteistyökumppaneita ympäri maailman: avunantajamaita, kehitysmaita, YK-järjestöjä, kansainvälisiä kehityspankkeja, yliopistoja, kansalaisjärjestöjä, suuria säätiöitä ja yrityksiä. Esimerkiksi brittien kehitysyhteistyövirasto DfID on käyttänyt J-PALin satunnaiskoepalveluita kehitysyhteistyönsä arvioinnissa jo pitkään. Laboratorio tekee satunnaiskokeita jopa konfliktiolosuhteissa testaamalla esimerkiksi syyrialaispakolaisten mielenterveyspalveluja.
Duflo on myös esittänyt, että Ranskan tulisi pohjata koko apubudjettinsa tieteellisten kokeiden tuottamaan tietoon.
”Siinä nyt ei ole mitään järkeä”, Pertti Haaparanta arvioi.
Kehitysyhteistyön vaikuttavuuden mittaamisella on Haaparannan mielestä sinänsä ollut järkevä pohja.
”Mutta ei kaikkia asioita kannata testeillä selvittää. Pitäisi olla jonkinlainen etukäteisnäkemys siitä, miten kehitystä saadaan aikaiseksi.”
Samoilla linjoilla on kehitysyhteistyön tulosohjauksesta vastaava ulkoministeriön neuvonantaja Suvi Virkkunen.
”Näitä tulosohjauksen ja evaluoinnin lähestymistapoja on monenlaisia, ja ne ovat vähän trendijuttuja aikakausittain. Tämä nyt on yksi, hyvin ekonomistinen tai suorastaan luonnontieteellinen lähestymistapa, joka ainakin minun yhteiskuntatieteilijätaustallani tuntuu aika vieraalta.”
Virkkunen tietää joidenkin avunantajien käyttäneen satunnaiskokeita, mutta laajassa mittakaavassa se ei kehitysyhteistyön tulosohjauksessa näy.
”Me näemme muutoksen pikemminkin kontekstispesifinä ja poliittisena”, Virkkunen kuvaa.
Ihmisten vaikutusmahdollisuuksiin vaikuttaminen on oleellisempaa kuin jokin, mitä voitaisiin testata laboratoriomaisesti.
Ihmisten vaikutusmahdollisuuksiin vaikuttaminen on oleellisempaa kuin jokin, mitä voitaisiin testata laboratoriomaisesti. Kehitysyhteistyön tulosohjauksen trendi on Virkkusen mukaan viime aikoina ollut pyrkimys ymmärtää, mistä laajemmat muutokset johtuvat. Numeerisesti osoitettavien tulosten mittaaminen on yhä keskeinen osa kansainvälistä keskustelua, mutta yhteiskunnalliseen muutokseen vaikuttavien tekijöiden hahmottaminen ja niistä oppiminen ovat nousseet entistä vahvemmin yksittäisten tulosten mittaamisen rinnalle.
Jotain hyvää?
Kehitystaloustieteessä satunnaistamisbuumi on ollut ilmeinen. Pertti Haaparannan mukaan satunnaistamisvimma on pahimmillaan johtanut siihen, että muilla menetelmillä kerätyt aineistopankit ovat jääneet käyttämättä.
”Vaikka järkevä ihminen käyttää kaikkea mahdollista saatavilla olevaa dataa.”
Eikö satunnaiskokeissa sitten ole mitään hyvää?
Haaparannan mielestä satunnaiskokeet voivat toimia joidenkin hyvin yksityiskohtaisten seikkojen selvittämisessä. Niitä voisi käyttää esimerkiksi testaamaan sitä, mitkä tekijät vaikuttavat ihmisten investointihalukkuuteen. Myös ihmisten koulutuspäätösten tutkimiseen Haaparanta pitää satunnaiskokeita käyttökelpoisena menetelmänä.
Varsinaisen kehityspolitiikan puolella Haaparanta näkee, että satunnaiskokeilla on annettavaa esimerkiksi opetusmenetelmien yksityiskohtien ja koulujen toiminnan kehittämisessä. Hän antaa myös arvoa nobelistien keräämälle taustatiedolle köyhien ihmisten kulutustottumuksista.
”Ja ehkä he ovat vaikuttaneet siihen, että köyhyyttä on tuotu enemmän esiin politiikkakeskustelussa.”
Haaparanta pitää kuitenkin ongelmallisena sitä, millä tavalla tuota keskustelua on käyty. Satunnaiskokeiden puolustajat pyrkivät esittämään lähestymistapansa teknisenä toimenpiteenä, jonka avulla voisimme saada moraalisista arvostuksista vapaata tietoa kehityksestä. Kun mennään taloustieteestä politiikkatoimenpiteisiin, arvovalinnat tulevat kuitenkin aina eteen.
”Onhan pelkästään jo se, mitä hankkeita tutkitaan ja missä päin maailmaa, itsessään valinta”, hän toteaa.
TEKSTI KUUTTI KOSKI
KUVAT JONATHAN NACKSTRAND, RUPAK DE CHOWDHURI, REUTERS, LEHTIKUVA
