Ennetustegevuse mõju hindamisel räägitakse kahest näitajast: tegevuse mõjusus, mis väljendab mõju või toimet ideaaltingimustes, näiteks teadusuuringus, laboris, ja tegevuse tulemuslikkus, mis väljendab mõju või toimet tavatingimustes, näiteks igapäevases töös (1). Näiteks võivad teadlased esimese näitaja saamiseks valitud koolides kontrollitud tingimustes uurida õpilaste sotsiaalse pädevuse kindlal viisil arendamist väljaspool tavapärast õppetööd, teise näitaja saamiseks uuritakse sotsiaalse pädevuse arendamist õpetaja tavapärase õppetöö käigus. Esmaste tõendite kogumiseks sobib mõjususe uuring hästi, kuid selleks, et tagada tegevuse jätkusuutlikkus ja pikaaegne mõju, tuleb hinnata ka tulemuslikkust.

Mõlemal juhul püütakse tõestada põhjuse (ehk ennetustegevuse) ja tagajärje (ehk tulemuste) seost. Selleks püstitatakse hüpoteesid ehk kontrollimist vajavad väited (2). Samuti võidakse uurida mõju kestust, mõju mõjutavaid või vahendavaid tegureid.

Mõjususe hindamine aitab mõista

• kas ennetustegevus on efektiivne määratud tulemusnäitajate mõjutamisel konkreetses sihtrühmas ja kindlal viisil elluviiduna;
• kas tegevus on efektiivne kogu sihtrühmas või selle konkreetse(te)s alarühma(de)s;
• kas ja kuidas mõjutavad tegevuse efektiivsust muud tegurid.

Esimene samm mõju hindamise planeerimisel on kindlaks määrata, mida soovitakse saavutada: selleks tuleb selgelt defineerida probleem, mõista selle tekkepõhjuseid ja määratleda sihtrühm (ptk 1) ning seada eesmärgid (ptk 2). Eesmärgi seadmisel tuleb lähtuda tegevuse programmiteooriast (ptk 2) ja varasematest uuringutest (rahvusvahelise teaduskirjanduse andmed tegevuse mõjust ja tegelikult rakendamisel saadud kogemustest, samuti protsessi hindamisel kasutatud meetoditest). Paralleelselt tuleb mõelda tulemusnäitajatele ja hindamisvahenditele (ptk 3) ning nende reliaablusele ja valiidsusele. Hindamisvahendeid on vaja, et mõõta tulemuste saavutamist ning jälgida eesmärkide poole liikumist. Oluline on mõelda ajapiirangule ja kui pikka uuringut on vaja, et sekkumise mõju jõuaks avalduda. Lisaks sekkumise kohe avalduva mõju hindamisele pärast selle lõppu tasub kaaluda ka kaugmõju hindamist, et aru saada, kui kaua sekkumise mõju püsib. Kui pika aja pärast kaugmõju hinnata, oleneb konkreetsest sekkumisest ja selle eesmärgist. Oluline on tähelepanu pöörata uuringu eetilistele aspektidele (ptk 3) ja vajaduse korral kooskõlastada uuring eetikakomitees.

Ennetustegevuse mõju võib olla keeruline hinnata, eriti juhul, kui tegevuse eesmärk on ennetada aastate või aastakümnete pärast ilmnevat probleemi. Näiteks püüavad mitu vanemlikke oskusi arendavat tegevust tekitada muudatust peresuhetes ja sellega ennetada laste vaimse tervise probleeme või uimastitarvitamist tulevikus, kui lapsed on suureks kasvanud. Eesmärgi saavutamise mõõtmiseks peaks vanemaid ja lapsi uurima mitme aasta jooksul, et mõista, kas positiivsed muutused on säilinud ka pärast tegevust ja viinud oodatud tulemuseni. Aga ainult pikaaegsele uuringule toetudes saab väita, et tegevus avaldas mõju oodatavale tulemusele ehk lapse parem vaimne tervis saavutati ja soovitu saavutati just ennetustegevuse tulemusena. Ennetustegevuse tõendatuse taseme hindamisel eeldatakse, et tegevuse positiivne mõju säilib ka vähemalt kuus kuud pärast aktiivse tegevuse lõpetamist. Mõju kestuse mõistmiseks on vaja koguda järelandmeid ja seetõttu pikemat uuringuaega.

Uuringu planeerimisel on oluline valida uuringukavand. Teadusmaailmas on tuntud kvantitatiivsete uuringute kavandite järjestamine usaldusväärsuse alusel: nende seadmine tõendatuse püramiidi (ptk 1.2). Mida kõrgemal (astmel) uuringukavand püramiidis asub, seda väiksem on tõenäosus, et selle kasutamisel võivad nihked tekkida (ehk tekkida süstemaatiline viga) ja hinnang mõju kohta jääda nihke tõttu tõest kaugele. Seega tasub mõju hindamiseks kavandada uuringukavandite nn kuldstandardiks peetav juhuslikustatud kontrollitud uuring või sellega ülesehituselt võimalikult lähedane uuring ja nõnda vähendada miinimumini nihke tekkimise võimalusi (ka ptk 4.1.4.). Uuringu üksikasjad ehk selle kavand tasub kirja panna: vormistada uuringuprotokoll, et huvilistel oleks soovi korral võimalik uuringu üksikasjadesse süveneda või uuringut korrata. Tuleb aga meeles pidada, et kvaliteetse info saamiseks ei piisa ainuüksi tugevast uuringukavandist, vaid oluline on teha uuring kvaliteetselt ehk protokolli järgides. Rahvusvaheliselt on kokku lepitud standardid (3), millest ennetustegevuse mõjususe ja tulemuslikkuse hindamisel lähtuda. 

4.1.1. Juhuslikustatud kontrollitud uuring

Kuigi on olemas mitmesuguseid uuringukavandeid, kasutatakse ennetustegevuse mõju hindamisel neist mõnda sagedamini. Eksperimentaalne uuring, mida tuntakse juhuslikustatud kontrollitud uuringuna (JuKU; ingl randomized controlled trial) on kvantitatiivsetest uuringutest kõige usaldusväärsem nii kliiniliste kui ka ennetusuuringute valdkonnas põhjuslikkuse väljaselgitamisel (4). Uuringu iseloomulikud tunnused on nimetatud joonisel 4.1 ja hõlmavad ka järgmisi asjaolusid:

• peale huvipakkuvas ennetustegevuses osalevate inimeste rühma on uuringus võrdluseks kontrollrühm ehk oluliste tunnuste poolest sarnased inimesed, kes ennetustegevuses ei osale;
• osalejad jagatakse juhuslikkuse alusel sekkumis- ja kontrollrühma (ehk iga osaleja suunatakse juhuse tahtel rühma, mis saab sekkumist, või rühma, mis ei saa sekkumist);
• andmed tulemusnäitajate kohta kogutakse nii uuringu alguses enne sekkumist kui ka pärast seda (4).

​​

JuKU-t saab rakendada ennetustegevuse korral, kui on hästi kirjeldatud 

• ennetustegevuse toimimist ehk programmiteooriat; 
• sihtrühma, kelleni soovitakse jõuda;
• tulemust, mis soovitakse saavutada;
• ennetustegevuse sisu: millest see koosneb ja kuidas seda ellu viiakse (5).

JuKU ei ole sobiv meetod ennetustegevuse hindamiseks arendamise varajastes etappides, sest eeldab head arusaamist ettenähtud tegevusest, rakendustäpsusest, rakendamist toetavatest tegevuskavadest (5). Näiteks kui kavandatud on tegevus, et mõjutada töötajate heaolu töökohtadel, tuleb läbi mõelda, kas kõik töökohad ja nende meeskonnad osalevad samalaadsetel koolitustel ja saavad samasugust tuge (nt mentorlus, materjalid jms), kas toimub ühesugune tegevus sarnastes sihtrühmades sama aja jooksul ja jõutakse sama hulga inimesteni. JuKU eeldab, et võimalik on tagada ja mõõta tegevuse elluviimise rakendustäpsust.

JuKU-t pole alati lihtne rakendada, hea sisendi JuKU elluviimiseks annab teostatavuse uuring. See võib aidata ka mõista,

• kui palju sihtrühma esindajaid on võimalik kaasata kindla aja jooksul, võttes arvesse sihtrühma suurust, kaasamis- ja välistamiskriteeriume;
• milline tegevus aitab sihtrühma kaasata;
• kui suur peaks olema uuringuvalim ehk kui ulatuslik peaks olema uuring, et tuvastatav efekt ilmneda saaks tulenevalt sellest, kui suur on teadaolevalt või arvatavalt sekkumise oodatav mõju ehk efekti suurus (6,7);
• kas sihtrühma esindajad on valmis osalema juhuslikustatud uuringus, kus nad kontrollrühma sattudes ei saa huvipakkuvas sekkumistegevuses osaleda;
• millised on mõõdetavad tulemusnäitajad;
• millised on tulemusnäitajate mõõtmiseks kasutatavad hindamisvahendid, kas vahendid on elluviijate ja osalejate seas kasutatavad, milline on vahendite reliaablus ja valiidsus, millistele andmetele (nt registriandmetele) on vaja juurdepääsu;
• millised ressursse (aeg, inimesed, raha, muud vahendid) on vaja uuringu elluviimiseks, kui paljud elluviijad loobuvad elluviimisest, ei korralda tegevust kavakohaselt või ei täida küsimustikke;
• milline on uuringus osalemise ja vastamise määr ning kui paljud sihtrühma liikmed loobuvad osalemisest või langevad uuringu käigus välja, ei täida küsimustikke (5).

JuKU tugevad küljed põhjuslikkuse hindamisel on järgmised.

• Juhuslikustamine aitab vähendada nihke tekke tõenäosust (ka ptk 4.1.4), sest uuringurühmadesse jaotatakse osalejad juhuslikkuse alusel. Näiteks võib uuringus tekkida valikunihe, kui motiveeritud osalejad suunatakse ennetustegevuses osalema ja mittemotiveeritud osalejad jäetakse kontrollrühma. Sel juhul pole sekkumis- ja kontrollrühma inimesed piisavalt sarnased ning sekkumise mõju ei ilmne. Seega püütakse vältida olukorda, et asjaolud, mis ei tulene sekkumisest, moonutavad selle mõju. Juhuslikustamine aitab ennetada oluliste erinevuste tekke tõenäosust uuringurühmade vahel (nt osalejate sugu, vanus, sotsiaalmajanduslik taust, probleemi või sellega seotud tegurite levimus sihtrühmas).
• Sekkumis- ja kontrollrühm aitavad mõista, mis toimub oluliste tunnuste poolest sarnaste inimestega ilma huvipakkuva sekkumiseta, ja võrrelda muutusi ajas kahe rühma vahel. Kogudes tegevuseelselt ja -järgselt andmeid ainult sekkumisrühmas ja nähes positiivseid muutusi, võib teha eksliku järelduse tegevuse mõjust. Tegelikult võis muutuse põhjustada hoopis osalejate võimete, teadmiste ja oskuste tavapärane areng ning muutumine ajas, pelk asjaolu, et neile pakuti tavapärasest erinevaid võimalusi või muud sündmused tegevuse ajal.
• Sekkumise eel- ja järelmõõtmine aitab tulemuste hindamisel võtta arvesse huvipakkuva näitaja algtaset ja kuidas see on seotud tulemustega. Näiteks võivad mõned näitajad sekkumisrühmas muutumatuna püsida, kontrollrühmas (ilma sekkumiseta) aga halveneda, mis näitab, et sekkumisel on ikkagi mõju. Kahe rühma eel- ja järelmõõtmised aitavad ka kindlaks teha uurijate pingutustele vaatamata tekkinud erinevusi rühmade vahel, mis võivad tulemusi mõjutada.

Eristatakse JuKU alatüüpe, näiteks klaster-juhuslikustatud kontrollitud uuring, astmeline klaster-juhuslikustatud kontrollitud uuring, rohkem kui kahe rühmaga paralleelne juhuslikustatud kontrollitud uuring jms (8). Klaster-juhuslikustatud kontrollitud uuringusse kaasatakse näiteks osalejaid, kes kuuluvad mingitesse eelnevalt kujunenud gruppidesse ehk klastritesse (nt kool, noortekeskus, huviring), mida uuringusse kaasamisel ei ole võimalik eirata ega noori n-ö lahutada ja ühekaupa juhuslikkuse alusel uuringurühmadesse jagada. Tegevuse mõju hindamisel peab aga uuringus osalejate rühma arvesse võtma, et tulemus poleks nihkes ja sekkumise mõju ala- või ülehinnatud.

JuKUde aruannete koostamiseks on häid juhendeid (9), mis aitavad nii uuringut planeerida kui ka tulemuste avalikustamisel uuringu olulisemad nüansid sarnaselt esile tuua. Nii JuKU kui ka selle alatüüpide aruandejuhiseid saab vaadata Equator Network veebilehelt, neist tasub sekkumisuuringute kohta artiklite või aruannete avaldamisel lähtuda.

• NÄIDE 1

  Aastatel 2016–2018 korraldati Eesti koolides kahe aasta pikkune uuring, et hinnata VEPA-metoodika mõju. Klaster-juhuslikustatud kontrollitud uuringus osales 42 Eesti kooli ja 708 esimese klassi õpilast (umbes pooled neist sekkumisklassides ja pooled kontrollklassides). Laste käitumise ja vaimse tervise kohta koguti andmeid kolm korda: enne sekkumist kooliaasta alguses, esimese ja teise kooliaasta lõpus. Andmeid koguti nii õpetajatelt, lastevanematelt kui ka lastelt. Uuringu tulemused näitasid metoodikat kasutanud klassides esimese kooliaasta lõpus laste käitumise ja tähelepanu ning keskendumisega seotud raskuste vähenemist, teise kooliaasta lõpuks positiivne mõju suurenes (10).

• NÄIDE 2

  SPIN-programmile tehti kontrollnimekiri juhuslikustatud kontrollitud uuringu korraldamise eeltingimuste kohta, mis aitab ennetustegevuse koordinaatoril läbi mõelda kogu tegevuse, mis enne uuringu kavandamist tuleb teha (11). Sarnastest etappidest ja tegevusest võib olla abi ka teistel, kes JuKU-t tulevikus soovivad rakendada.

4.1.2. Kvaasieksperimentaalsed uuringud

Vahel võib uuritavate juhuslikkuse alusel uuringurühmadesse jagamine osutuda võimatuks või väga keeruliseks eetilistel, poliitilistel või logistilistel põhjustel. Sellisel juhul on lahenduseks kvaasieksperimentaalne uuring, milles on küll nii sekkumis- kui ka võrdlusrühm, kuid uuritavad jagatakse uuringurühmade vahel muul (kui juhuslikkuse) alusel. Näiteks võib otsustada, et Põhja-Eesti tervisekeskuses alustatakse uue sekkumise elluviimist ja Lõuna-Eesti tervisekeskustes jätkatakse kasutusel olevat sekkumist (või ei pakuta seal üldse sekkumist). Sel juhul on võimalik sekkumise elluviimist lihtsamini korraldada, kuid eelnevalt määratud valik võib mõjutada tulemusi.

Mõnikord võib otsese kontrollrühma moodustamine uuringus üldse keeruliseks osutuda. Sellisel juhul on lahendus kaudsete kontrollide kaasamine, näiteks ajaloolised või geograafilised võrdlused, kui võrreldakse uuringuandmeid varasema perioodi või teise piirkonna keskmistega.

Kvaasieksperimentaalsed uuringutüübid on näiteks järgmised (4,5,12).

• Statistilise sobitamise meetodid (nt tõenäosuse alusel sobitamine, ingl propensity score matching), kus statistiliselt moodustatakse võrreldavad rühmad, võttes arvesse tegureid, mis mõjutasid tõenäosust, et inimene osaleb tegevuses.
• Erinevused erinevustes (ingl differences in differences) on meetod, kus võrreldakse sekkumisrühma eel- ja järelhindamise tulemusi võrdlusrühmaga, kes sekkumises ei osalenud. Seda uuringukavandit kasutatakse näiteks uue seaduse või korra mõju hindamisel, kui võrdlusrühmana saab kasutada piirkonda, kus sekkumist ei rakendatud.
• Regressiooni katkemise meetod (ingl regression discontinuity), kus kasutatakse sekkumis- ja võrdlusgrupi moodustamiseks ning osalejate määramiseks äralõikepunkti (nt õpilase testitulemus).
• Katkestatud aegread (ingl interrupted time series), kus tehakse sihtrühmas palju järjestikusi mõõtmisi (nii enne sekkumist kui ka selle järel) ja kontrollrühm puudub. Tulemusi võrreldakse sekkumiseelse ja -järgse seisundiga. Seda uuringutüüpi on kasutatud näiteks uue maksusüsteemi rakendamisel ja selle mõju hindamisel.

• NÄIDE

  Tööturukoolituse, ettevõtluse stardiabi ja tööandjale makstava palgatoetuse tulemuslikkuse hindamiseks Eestis analüüsiti tööturuandmebaasi andmeid ja programmis osalenute hilisemat tööturuseisundit võrreldi sarnaste tunnustega (sugu, vanus, haridustase, elukoht jne) programmis mitteosalenutega (13).

4.1.3. Uuringu kvaliteeti mõjutavad tegurid

Uuringu planeerimise ja elluviimise käigus võib ette tulla probleeme, mis mõjutavad kogu uuringu kvaliteeti. Põhimõtteliselt on JuKU väga hea ehk kvaliteetne teaduslik tõendusmaterjal, sest hästi kavandatud ja rakendatud JuKU korral on nihke tekke tõenäosus kõige väiksem. Siiski võivad ka JuKU kvaliteeti halvendada mitmesugused tegurid. Üldiselt n-ö tasakaalustavad uuringu juhuvead end piisavalt suure uuringu korral, kuid korduvad ehk süstemaatilised vead viivad uuringu tulemused nihkesse. Seetõttu tasub olla väga hoolikas nende vältimisel nii uuringut kavandades kui ellu viies.

Ennetustegevuse tõendatuse taseme hindamisel antakse koondhinnang tõendatusele, et aru saada, kui korrektne on sekkumise mõjule antud hinnang. Tõendatuse koondhinnang saab olla hea, mõõdukas või madal. Hea hinnangu korral võime olla väga kindlad, et sekkumise mõju on sarnane uuringutes nähtuga ja madal hinnang viitab, et sekkumise mõju võib uuringutes nähtust oluliselt erineda ning selles ei saa kindel olla. Sekkumise tõendatuse hindamisel tuginetakse GRADE-metoodika (ingl The Grading of Recommendations Assessment, Development and Evaluation) põhimõtetele (14). Hindamise lihtsustamiseks kasutatakse GRADE nelja tõendatuse astme asemel kolme. Tõendatuse koondhinnangut muudavad madalamaks allpool nimetatud asjaolud (15).

• Uuringus esinenud piirangud ehk nihke tõenäosus (ing risk of bias). Nihe on süstemaatiline ehk korduv viga, mille teke on tõenäoline, kui 
  • juhuslikustamise ja uuringurühmadesse jagamise süsteem polnud korrektne (ingl lack of allocation concealment). Korrektselt saab seda teha näiteks spetsiaalse arvutiprogrammi abil, mis ütleb, millisesse uuringurühma iga kaasatud uuritav läheb ehk seda ei otsusta uurija. Sellisel juhul ei tohiks uuringurühmadel olla ühegi uuritavaid kirjeldava tunnuse olulisi erinevusi. Uuringu avaldamisel tuleb kirjeldada juhuslikustamist ja rühmadesse jagamist, selgitada uuringurühmade vahel mingi(te) tunnus(t)e poolest tekkinud erinevusi ning võtta neid andmete analüüsil arvesse;
  • uuringus osalenuid ei pimendatud (ingl no blinding). Mõnikord võib olla tähtis, et uuritav ei teaks, mida temaga tehti (nt kas osaleja võtab ravimit või saab platseeboravi). Samuti see, et uurija ei teaks sekkumise mõju hinnates, millisesse uuringurühma uuritav kuulus. Näiteks psühhosotsiaalsete sekkumiste korral aga võib pimendamine olla väga keeruline või võimatu, mistõttu tuleb uuringus asjaomase nihke tekkega arvestada;
  • palju uuritavaid langes uuringust välja või uuritavaid jälgiti valikuliselt (ingl loss to follow-up / selective follow-up). Vahel inimesed loobuvad uuringus osalemisest, eriti kui see kestab väga kaua ja ei taheta ega jõuta pikalt osaleda või kolitakse mujale. Kui sekkumis- ja kontrollrühma väljalangemine erineb (nt sekkumisrühmast langeb välja oluliselt enam inimesi), võib põhjus olla ka sekkumine ise. See võib olla liiga keeruline ja ebameeldiv (nt kõrvaltoimetega). Kui väljalangemist, eriti uuringurühmadest erinevalt välja langemist andmete analüüsimisel mitte arvestada, siis tekib oht, et saadakse nihkes tulemused. Uuringutes sageli paratamatult tekkiva väljalangemisega toimetulekuks on oluline kasutada kohaseid statistilisi meetodeid, nt imputeerimist (puuduvate andmete asendamine);
  • sekkumiskavatsuse (ingl intention-to-treat) põhimõttest ei peetud kinni. Vahel kaasatakse andmeanalüüsi ainult nende inimeste tulemused, kes kogu sekkumise läbisid, kuid tulemuste üldistamiseks on oluline lähtuda algsest kavatsusest ehk sellest, millisesse rühma (sekkumis- või kontrollrühm) inimene uuringu alguses määrati. End ei tohi segada lasta sellest, kas tegelikult läbis osaleja kogu sekkumise või ainult osaliselt, loobus, lahkus või vahetas mingil hetkel omaalgatuslikult uuringurühma;
  • tulemusi esitati valikuliselt (ingl publication bias), näiteks avaldatakse vaid enam huvi pakkuvad positiivsed tulemused ja jäetakse avaldamata muud tulemused; uuringu metoodikat võib olla mõjutanud see, et selle tellis kasumile orienteeritud asutus või sekkumise autor ja keegi teine pole selle sekkumise mõju hindamisel samavõrra positiivseid tulemusi saanud; ei ole selgelt kirjeldatud, kuidas tulemused saadi või on ebaselge, milline oli uurijate hinnangul paljudest teatatud tulemustest kõige olulisem ehk esmane tulemusnäitaja ja millised teisesed. Vahel võidakse ühe uuringu (nt pikaajaline, mitmes laines tehtud uuring) tulemusi avaldada korduvalt, kuid nii segaselt, et jääb mulje, nagu näitaks sekkumise mõju mitu uuringut.
• Uuringute tulemused ei ole kooskõlas (ingl inconsistency of results). Üksikuuringu korral seda küsimust ei teki, aga mitme sama sekkumise mõju hindava uuringu tulemuste kokkuvõtmisel (nt süstemaatilises ülevaates ja metaanalüüsis)  vaadatakse, kas sekkumise mõju suund (nt positiivne/negatiivne) ja suurus (nt kui positiivne/negatiivne) on sarnased.
• Tõendus on kaudne (ingl indirectness of evidence), mis tähendab, et olemasolevates uuringutes ei ole uuritavad, huvipakkuv sekkumine, selle võrdlustegevus (kontrollrühmas kasutatav sekkumine) või oluliseks peetud tulemusnäitajad täpselt need, mis meid huvitavad. Näiteks kui varem uuriti sekkumise mõju depressioonisümptomitega täiskasvanute seas, aga sekkumist viiakse nüüd ellu depressioonisümptomitega alaealiste seas; kui varasemad uuringud on hinnanud 16 kohtumisest koosneva vanemlusprogrammi mõju, aga Eestis viiakse ellu kuuest kohtumisest koosnevat vanemlusprogrammi. Tõendus on ka siis kaudne, kui sekkumist on varem uuritud teistes oludes, näiteks on seda ellu viidud haavatavas olukorras inimeste hulgas tervishoiuasutustes, aga nüüd soovitakse rakendada kõigi õpilastega haridusasutustes. Sellisel juhul puudub tegelikult teadmine, kas sekkumine toimib uues sihtrühmas ja olukorras.
• Uuringute tulemused on ebatäpsed (ingl imprecision) ehk mõjuhinnangu usaldusvahemik on lai, mistõttu on mõju tegelik suurus ebakindel. Sageli jääb hinnang ebatäpseks, kui uuringuvalim on liiga väike või tundub uuringuvalim esmapilgul küll suur, kuid huvipakkuvat tulemust nähakse või registreeritakse väga harva (väike arv). Kui uuringuvalim on liiga väike, siis on juhuslikkusel suurem osa: tulemus võib juhuse tõttu kalduda.

Muud kaalutlused, mis võivad mõjutada uuringu kvaliteeti ja tulemusi on järgmised.

• Passiivse vs. aktiivse kontrollrühma kasutamine. Mõnes valdkonnas, näiteks vaimse tervise valdkonnas, võib uuringu tulemusi mõjutada kontrollrühmale pakutav sekkumine. Aktiivsele kontrollrühmale pakutakse mõnd muud tegevust, näiteks koolitust, materjale vms. Passiivsele kontrollrühmale muud tegevust ei pakuta, mis võib suurendada tõenäosust saada vaimse tervise näitajate madalamad hinnangud. Aktiivse kontrollrühma kasutamisel aga võib uuringus nähtav huvipakkuva sekkumise mõjuhinnang olla tegelikust väiksem, sest tõenäoliselt paraneb olukord vähemalt mingil määral ka kontrollrühmas.
• Osaleja mõju hindamisvahendile ja vahendi mõju osalejale (ptk 3.4.2). Näiteks ainult enesekohaste subjektiivsete andmete kogumine probleemide hindamisel võib mõjutada tulemusi, sest inimesed võivad üle- või alahinnata probleemide esinemist või nende tõsidust. Näiteks võidakse tahta end paremast küljest näidata ja märkida küsimustikku, et viimasel kuul ei olda liikluses kiirust ületatud või autot joobes juhtitud. Uuringutulemuste usaldusväärsuse suurendamiseks tasub koguda ka objektiivseid andmeid osalejate kiiruseületamise ja joobes juhtimise kohta. Inimese hinnangut (nt oma heaolule) võib mõjutada ka see, kuidas ta suhtub uuritavas sekkumises osalemisse või mitteosalemisse. Hinnang võib olla kehvem, kui osaleja teab, et ta on sattunud kontrollrühma ja sekkumises ei osale (4).
• Mitmene testimine ehk suur hulk erinevaid tulemusnäitajaid uuringus. Suure hulga tulemusnäitajate korral suureneb tõenäosus näha vähemalt mõne näitaja positiivset muutust. Kui aga tegemist pole peamise, vaid mõnega paljudest teisestest tulemusnäitajatest, siis ei tähenda see, et sekkumisel on ka tegelikult oluline positiivne mõju. Sama probleem võib tekkida, kui sekkumise üldist positiivset mõju ei nähta ja minnakse uurima sekkumise mõju erinevates  alarühmades, kuhu kuulub väike arv uuritavaid. Ka nii suureneb tõenäosus, et mõnes alarühmas nähakse mõne näitaja positiivset mõju sekkumise tõttu, kuid see võis ilmneda ka vaid juhuse tõttu.

Seega võib tõendatuse koondhinnang olla madal erinevatel põhjustel. Näiteks ei olnud tegemist piisavalt esindusliku või piisavalt suure valimiga; osalejad langesid uuringust välja, sh erinev hulk sekkumis- ja kontrollrühmast; uuringumetoodika polnud piisavalt põhjalikult kirjeldatud; uuringu tulemused olid valikuliselt esitatud jms. Juhuslikustatud kontrollitud uuringu kui sekkumise mõju kohta parimat tõendust andva kavandiga uuringu kvaliteet peetakse a priori heaks, kuid eespool nimetatud põhjustel ehk uuringusse lähemalt süvenedes võib selguda, et tõendatuse koondhinnang on hoopis mõõdukas või madal. Uuringu kvaliteeti võib mõjutada ka selle elluviimiseks vajalike ressursside olemasolu. Näiteks kui parima tõenduse annaks pikaajaline piisavalt ulatuslik (ehk piisavalt suure valimiga) juhuslikustatud kontrollitud uuring, aga võimalik on teha vaid lühiajaline ja väikse valimiga uuring, siis tuleb arvestada, et uuringu kvaliteet jääb halvemaks ning kaaluda sekkumise mõju hindamiseks mõne muu kavandiga ja vähem ressursse nõudva uuringu korraldamist.

Mõned tegurid aga võivad tõendatuse astet ka tõsta. Näiteks metoodiliselt ja korralduslikult kvaliteetsetelt tehtud vaatlusuuringust (nt kohortuuring, pikiuuring ja läbilõikeuuring) pärineva tõenduse, mida a priori peetakse madala astme tõenduseks, tugevus suureneb, kui (15)

• sekkumisel on võrdlustegevusest oluliselt suurem mõju (ingl large magnitude of effect);
• ilmneb annus-vastus seos (ingl dose-response relationship) ja on näha, et mida rohkem (n-ö suuremas annuses) sekkuda, seda parema tulemuse saab. Näiteks võib annus-vastus seos ilmneda nõustamissessioonide arvu suurenemise korral;
• sekkumise mõju segada võivad tegurid n-ö töötavad sekkumise kasuks.

4.1.4. Ennetustegevuse mõju puudumine või kõrvalmõju

Kui uuring ei näita ennetustegevuse mõju esmasele tulemusnäitajale ehk põhiprobleemile, tekitab see küsimusi.

• Kas oleks mõistlik loobuda ennetustegevusest ja leida probleemi lahendamiseks mõni teine meetod? 
• Kas muuta ennetustegevuse mõnd aspekti, et saavutada paremaid tulemusi?

Vastused olenevad tehtud uuringust, samuti sellest, kas uuringus hinnati peale mõju ka muid tegureid, näiteks rakendustäpsust või muid mõju vahendavaid tegureid. Teisisõnu, edasine tegevus oleneb sellest, kuivõrd võimaldas uuring kontrollida ennetustegevuse programmiteoorias sõnastatud loogikat.

Mõju puudumise põhjused 

1. Vähene või kõikuv ennetustegevuse rakendustäpsus. Näiteks mingil põhjusel ei korraldatud tegevust planeeritud mahus või meetodi kohaselt, see ei jõudnud piisava arvu osalejateni.
2. Elluviidud tegevus ei kutsunud esile vahendavate tegurite (piisavat) muutust ja seetõttu ei saavutanud eesmärki. Näiteks võib vanemlike oskuste arendamise programm aidata parandada suhete kvaliteeti peres ainult siis, kui vanemlikud oskused paranesid. Kui programm on lühike ja kasutab passiivõppemeetodeid, on oskuste paranemine vähem tõenäoline. Kui aga vanemlikud oskused tegevuse tulemusena ei muutu, ei saa ka oodata suhete paranemist.
3. Ennetustegevus võis esile kutsuda vahendavate tegurite (piisava) muutuse, kuid ei mõjutanud tulemusnäitajat. Näiteks eeldab alkoholiennetuse programm „Effekt“, et muutes lapsevanemate hoiakud noorte alkoholitarvitamise vastu taunivamaks, muutub ka laste käitumine. Uuring näitas, et kontrollrühmaga võrreldes muutusid küll lapsevanemate hoiakud, aga mitte laste käitumine (16), mis annab põhjuse minna tagasi tegevuse programmiteooria juurde.

Mida enam on kogutud andmeid tegurite kohta, mis eesmärgi saavutamist võivad soodustada, pärssida või mõjutada (ka ptk 2.4), seda lihtsam on otsustada järgmiste sammude üle. Näiteks võis sugu mõjutada tegevuses osalemise aktiivsust (ehk tegevus ulatus enamate tüdrukute kui poisteni), mis omakord mõjutas vahendavaid tegureid (tüdrukute käitumishoiakud muutusid ja poistel mitte). Võimalik on, et poiste ja tüdrukute jaoks pole mõju vahendavad tegurid samad, näiteks poistel ei ole hoiakud olulised, vaid hoopis eakaaslaste käitumine või individuaalsed omadused. Selle analüüsimiseks aga on vaja andmeid osalejate taustategurite ja muude nähtuse või probleemiga seotud tegurite kohta. Samuti võib sotsiaal-majanduslik staatus mõjutada ligipääsu ennetustegevusele ja seega tulemuste saavutamist, sest väikese sissetulekuga peredel võib olla vähem aega, võimalusi või ka motivatsiooni osaleda.

Mida erinevamates sihtrühmades ja keskkondades ennetustegevust ellu viiakse, seda enam võivad erinevad tegurid hakata (erinevalt) ennetustegevuse toimimist, protsesse ja mõju saavutamist mõjutama (protsessi hindamine, ptk 3.2) ja seda keerulisem on ka järeldusi teha. Seega võib mõju puudumine viidata, et vaja on

• analüüsida probleemi põhjuseid, kitsendada või muuta sihtrühma ja vaadata üle tõendusmaterjal (ehk liikuda 1. peatükis kirjeldatud tegevuse juurde);
• vaadata üle tegevuse eesmärgid, programmiteooria ja selle teoreetiline raamistik (ehk liikuda 2. peatükis kirjeldatud tegevuse juurde);
• uurida põhjalikult ennetustegevuse elluviimise protsesse ja tegevuse teostatavust (ehk liikuda 3. peatükis kirjeldatud tegevuse juurde).

Mõni ennetustegevus võib olla küll mõjus, kuid elluviimise käigus kohelda osalejaid ebavõrdselt, teine võib lisaks kasule kaasa tuua ka kahju. Seetõttu tuleb kõiki näitajaid vaadelda kogumina ja võtta arvesse ka muid asjaolusid, näiteks kasu ja kahju tasakaal, osalejate eelistused ja väärtushinnangud, elluviimisega kaasnevad kulud, ebavõrdsuse võimalik suurenemine tegevuse elluviimisel, autonoomia ja privaatsuse tagamine ning arvestada teiste eetiliste aspektidega (17). Seega võib mõni ennetustegevus osutuda siiski sobimatuks, sest on oht kahju tekkimiseks.

Loe edasi →