Tutkimusjohtaja, Vaikuttavuuden talo, Yhteiskuntatieteiden laitos, Sosiaalityö
Jaa artikkeli
Teen päivittäin vaikuttavuutta näkyväksi. Työtäni ei yhtään helpota se, että työskentelen Itä-Suomen yliopiston Vaikuttavuuden talon tutkimusjohtajana.
"Arvioinnin perustyökaluista hyötyvät päättäjät, asiantuntijat ja työntekijät."
Törmään päivittäin haasteisiin, jotka tuon myöhemmin kolumnissani esiin. Tavoitteeni – työssäni ja tässä tekstissä – on tarjota kokonaisvaltainen lähestymistapa vaikuttavuuden arviointiin. Arvioinnin perustyökaluista hyötyvät paitsi päättäjät, myös asiantuntijat ja työntekijät. Mutta myös kaikki, jotka haluavat ymmärtää, miten vaikuttavuustieto voi auttaa meitä tekemään kestäviä ja hyvinvointia edistäviä valintoja.
Terveystaloustieteessä vaikuttavuuden määritelmä on vakiintunut: toiminnalla saadaan aikaan muutos yksilön terveydentilassa tai toimintakyvyssä. Haasteellista on se, että termin rinnalla kulkee useita samankaltaisia käsitteitä, joita käytetään lähes synonyymeinä vaikuttavuuden kanssa. Välillä taustalla ovat tieteenalasta riippuvat näkökulmat, toisinaan väärinkäsitys.
"Vaikutus ja vaikuttavuus ovat kaksi eri asiaa."
Vaikutus ja vaikuttavuus ovat kaksi eri asiaa. Vaikutus on muutos, jonka jokin prosessi saa aikaan. Vaikuttavuudella taas tarkoitetaan sitä, kuinka hyvin toimintamalli tai prosessi saavutti tavoitteen, joka sille asetettiin. Vaikuttavuutta on esimerkiksi, että asiakkaan mielenterveys koheni. Vaikuttavuuden arviointi edellyttää usein vertailuasetelmaa, päteviä mittareita ja laajaa aineistoa.
Muita sekaannuttavia käsitteitä ovat muiden muassa teho, tehokkuus, tuottavuus ja kustannusvaikuttavuus. En käy niitä tässä läpi, mutta käsitteiden eroihin on hyvä perehtyä.
On hyvä muistaa, että vaikuttavuuden aikaansaamalla toiminnalla tulisi olla kausaalinen yhteys (syy-seuraus) yksilön terveyteen, toimintakykyyn tai sairauteen. Perusongelma on, ettei yhteys ole aina suoraviivainen.
"vaikuttavuus voi näkyä vasta pitkän aikavälin päästä."
Toiminnan vaikuttavuus voi näkyä vasta pitkän aikavälin päästä. Tällöin kaikkia mahdollisesti sekoittavia tekijöitä – perintötekijät, kokemukset, elinympäristö, elintavat ja muut tottumukset tai jopa sattuma – ei pystytä aina huomioimaan, hyvästä tahdosta huolimatta.
Kaikkia samanaikaisia yhteiskunnallisia muutoksia tai edes sattumaa ei voi täysin sulkea pois vaikuttavuuden arvioinnista. Varsinkaan, kun kyse on mielenterveyden edistämiseen tähtäävistä toimenpiteistä, jotka toteutetaan todellisessa maailmassa eikä rajoitetussa sairaalaolosuhteissa.
Vaikuttavuuden arvioinnin täytyy perustua päteviin mittareihin. Arvioinnissa pitää lisäksi huomioida koko vaikuttavuusketjun kannalta olennaiset asiat: resurssit, osaaminen, teot, vaikutukset ja vaikuttavuus. Näin osataan arvioida, mikä toiminnassa on olennaista muutoksen aikaansaamiseksi.
Mielenterveyden edistämiseen tähtäävien toimenpiteiden vaikuttavuuden arvioinnissa olennaista on huomioida, että mielenterveys syntyy usean samanaikaisen tekijän vaikutuksesta. Tekijät voivat liittyä esimerkiksi terveellisiin elintapoihin, osallisuuteen, asuinympäristöön ja elinoloihin sekä terveysneuvontaan ja yhteiskunnalliseen muutokseen.
"Mielenterveys syntyy usean samanaikaisen tekijän vaikutuksesta."
Jotta saamme kokonaisvaltaisen kuvan toiminnan vaikuttavuudesta ja sen taustalla olevista tekijöistä, täytyy osata valita oikeanlaiset ja pätevät mittarit mittamaan kaikkia toiminnan kannalta olennaisia muuttujia. Voin tällöin arvioida, ovatko muutokset tavoitteiden mukaisia. Samalla osaamme rajata pois tekijät, jotka mahdollisesti sekoittavat tuloksia.
Mittareiden valinnassa auttaa teoreettinen viitekehys, joka ohjaa toiminnan ja toimenpiteiden suunnittelua sekä oleellisten mekanismien ja vaikutusten tarkastelua. Voi olla, että saamme silti ei-odotettuja tai ei-toivottuja tuloksia.
Etenkin jälkimmäisten minimointi on syytä huomioida. Emmehän esimerkiksi halua lisätä mielenterveysongelmia.
Laajemmin mittareiden valinnassa ja arvioinnissa täytyy huomioida, että toiminnan muutoksia pitää tarkastella sekä yksilön että ammattilaisen näkökulmasta – esimerkiksi, kuinka on onnistuttu edistämään yksilön mielenterveyttä, mutta myös sitä, millaisia muutoksia osaamisessa, toimintatavoissa ja käytännöissä on organisaatiotasolla tapahtunut.
"Tärkeää on myös huomioida toiminnan vaikuttavuus yhteiskunnallisella tasolla."
Tärkeää on myös huomioida toiminnan vaikuttavuus yhteiskunnallisella tasolla, kuten kuinka mielenterveyden edistämiseen ja eriarvoisuuden kaventamiseen asetetut yhteiskunnalliset tavoitteet toteutuvat, ja onko niillä saatu aikaan säästöjä esimerkiksi sosiaali- ja terveyspalveluiden kustannuksissa.
Vaikutusten arvioinnissa kannustetaan myös hyödyntämään osallistavia menetelmiä muun muassa siitä näkökulmasta, vastaavatko toimenpiteet asiakkaiden tarpeisiin ja koetaanko ne hyödyllisiksi.
Vaikuttavuustutkimukseen pitäisi kohdentaa enemmän resursseja. Etenkin, jos halutaan luotettavasti arvioida, onko tietystä toimintamallista hyötyä ihmisen mielenterveydelle vai ei. Vaikuttavuuden tutkiminen vaatii perusteellista suunnittelua, pilotointia, kokeellista tutkimusasetelmaa ja pitkää seuranta-aikaa.
On kuitenkin hyvä huomioida, että vaikuttavuutta voidaan arvioida useilla eri menetelmillä. Niissä voi hyödyntää esimerkiksi systemaattista kirjallisuuskatsausta, kvasikokeellisia tutkimusasetelmia, seuranta- ja vertailuasetelmia sekä tapaustutkimuksen menetelmiä.
"Vaikuttavuutta voidaan arvioida useilla eri menetelmillä."
Kun kyse on niin kompleksisesta yhteiskunnallisesta ilmiöistä kuin mielenterveys, on syytä pohtia, voidaanko toimenpiteiden vaikuttavuutta aina edes täysin arvioida. Voi olla mahdotonta osoittaa aukottomasti, mitkä tapahtumat ovat saaneet aikaan muutoksia ihmisten mielenterveydessä ja kuinka suuri osuus vaikutuksesta johtuu muista tekijöistä, joita emme osanneet mitata.
Muutoksen taustalla voivat olla myös yhteiskunnassa tapahtuneet muutokset, kuten koronapandemia tai uusien hyvinvointialueiden mukana tulleet vaikutukset.
Itä-Suomen yliopiston Vaikuttavuuden talo on tarjonnut parin vuoden ajan ilmaista, kaikille avointa verkkokurssia vaikuttavuudesta. Jokaisen olisi hyvä osata käyttää vaikuttavuustietoa vaikkapa perustellakseen toiveita oman asuinalueensa palveluiden kehittämiseksi. Toisaalta vaikuttavuustietoon on osattava suhtautua kriittisesti.
Ammattilaisten tulisi osata käyttää vaikuttavia työmenetelmiä ja pystyä arvioimaan työnsä vaikuttavuutta – ja toisaalta osata luopua ei-vaikuttavista työmenetelmistä. Päättäjien pitäisi osata käyttää vaikuttavuustietoa resurssien suuntaamiseksi ja priorisoimiseksi.
"Päättäjien pitäisi osata käyttää vaikuttavuustietoa resurssien suuntaamiseksi ja priorisoimiseksi."
On tärkeää myös huomioida, että vaikuttavuuden arviointi on aina arvovapaata. Se ei ota kantaa siihen, mikä on tulosten perusteella oikein tai väärin. Tulokset kertovat, mitkä ovat päätösten mahdolliset seuraukset.
Tutkijan tehtävä on tehdä vaikuttavuus näkyväksi ja helposti ymmärrettäväksi. Päättäjät tekevät ratkaisut vaikuttavuustiedon ja muiden kriteerien, kuten arvojen, ideologian tai kustannusten, perusteella.
Vaikuttavuustuloksia on mahdollista käyttää myös omien tarkoitusperien vahvistamiseksi eli käyttää väärin. Päättäjien kannalta päätöksentekoprosessia saattaa hankaloittaa, että vaikuttavuuden aikahorisontti – se, että toimenpiteiden säästöt tulevat näkyviin – voi olla vasta 15–20 vuoden päässä.
On hyvä muistaa, että asiaa voi tarkastella myös toisesta näkökulmasta. Jos päätöstä ei tehdä nyt, mahdolliset säästöt jäävät toteutumatta.
Kirjoittaja on Itä-Suomen yliopiston Vaikuttavuuden talon tutkimusjohtaja, joka edistää vaikuttavasti oman mielensä hyvinvointia liikkumalla luonnossa, lenkkeilemällä koiransa kanssa ja nauttimalla hyvistä elokuvista sekä videopeleistä.