Protsessi hindamise eesmärk on jälgida, mis tegevuse ajal ja järel toimub ning mõõta ka ennetustegevuse kavakohasust (8). Protsessi on oluline hinnata, et mõista, mida, kellega, kus, kuidas, kui palju ja kui kvaliteetselt tehti, mida oli selleks vaja, kuidas osalejad ning elluviijad tegevust kogesid, milliste tulemusteni jõuti, mis võis protsessi ning tegevuse edukust mõjutada. Seega on protsessi hindamine oluline ennetustegevuse elluviimisel ja esmasel uurimisel, selleta ei saa teha järeldusi tegevuse mõju kohta. 
Protsessi hindamist on kujutatud joonisel 3.1, kus oranžides kastides on esile toodud hindamise põhikomponendid (9). Kui see info jääb kogumata, on keeruline teha järeldusi ennetustegevuse mõju kohta. Seega aitab protsessi hindamine mõista, miks ennetustegevus viis või ei viinud soovitud mõjuni või miks põhjustas hoopis soovimatuid tagajärgi ja kuidas tegevus võimalikult soodsaks ning sobivaks muuta (10). Protsessi hindamine on oluline ennetustegevuse arendamise igas etapis, küll aga võivad täpsemad uurimisküsimused erineda vastavalt tegevuse arenguetapile ja olemasolevatele teadmistele.

Protsessi hindamine annab olulise sisendi ennetustegevuse, sh programmiteooria ja elluviimisjuhise edasiarendamisse, hindamiseks aga on vaja ennetustegevuse programmiteooria selget kirjeldust. Protsessi hindamise olulisemad osad on rakendustäpsuse, konteksti ja mõjumehhanismide uurimine, et mõista, kuidas ja miks need mõjutavad tegevuse elluviimist ja muutuse esilekutsumist.

Igasuguse ennetustegevuse kui protsessi hindamist peab planeerima. Näiteks võib ennetustegevus olla hoopis veebirakendus. Ka siis on oluline mõista, kas ja kui palju osaleja kasutab rakendust nii, nagu oli ette nähtud. Kuidas näiteks on tulemustega seotud osaleja liikumine rakenduses ja see, mida ta seal teeb, millised keskkonnategurid ning individuaalsed omadused mõjutavad rakenduse kasutamist, millised on osalejate ja huvirühmade esindajate kogemused (ka raskused) rakenduse kasutamisel.

3.2.1. Elluviimise rakendustäpsus

Elluviimise rakendustäpsus (ka rakendustruudus) näitab, mis ulatuses ja kui täpselt tegevus on korraldatud, võrreldes juhendmaterjalide ja ettekirjutustega (8). Teisisõnu, rakendustäpsus aitab mõista, kas tegevust rakendatakse nii, nagu oli ette nähtud. Rakendustäpsus seostub otseselt tegevuse edukuse ja tulemuslikkusega. Näiteks võib vähene rakendustäpsus selgitada, miks tulemust ei saavutatud või peegeldada tegevuse elluviimise keerukust elluviijate jaoks. Rakendustäpsuse mõõtmine aitab ka leida viise, kuidas muuta tegevus soodsamaks ja sobivamaks. Näiteks vaadeldakse uuringutes, kas tegevuse keskpärane elluviimine annab sarnase tulemuse, nagu selle hea (või halva) kvaliteediga elluviimine.

Rakendustäpsust võib pidada katusterminiks, mis sisaldab erinevaid komponente (9,11,12). Näiteks uuritakse rakendustäpsuse juures tegevuse

• elluviimise määra (ingl dosage) ehk kestust ja sagedust;
  Näiteks kui ennetustegevus näeb ette iganädalasi kahetunniseid kohtumisi kolme kuu vältel, siis uuritakse, kui palju ja kui sageli kohtumisi tegelikult toimus, kui pikad need olid ja kui paljud osalejad kohtumistel osales (kas neid oli vajalik hulk).
• elluviimise juhendist kinnipidamist (ingl adherence) ehk sisu kattuvust ettenähtuga;
  Näiteks kui ennetustegevus näeb ette emotsiooni reguleerimist ja sotsiaalsete oskuste õpet aktiivõppemeetodeid kasutades, siis  uuritakse, kas emotsiooni reguleerimise ja sotsiaalsete oskuste õppe moodulid on ettenähtud õppemeetodeid kasutades läbitud, millised moodulid on tegemata jäetud või muudetud kujul läbitud. 
• ulatust (ingl reach, coverage) ehk sihtrühmast kaasatute, hõlmatute hulka;
  Näiteks kui tegevus on suunatud varases murdeeas noortele ühes koolis, siis uuritakse, kas osalesid õiges vanuserühmas noored ja milline oli osalejate tegelik osatähtsus kogu sihtrühmast.
• rakendamise kvaliteeti (ingl quality of implementation) ehk kvalitatiivseid elluviimise aspekte, sh entusiasm, hoiakud, oskuslikkus jms.
  Näiteks võib elluviija küll teha, mida on vaja, aga väljendada sealjuures negatiivset hoiakut ja suhtuda sisusse skeptiliselt, viia iga tegevuse ellu kiirustades, mis võib mõjutada ennetustegevuse tulemuslikkust.

Mida detailsemalt ja selgemalt on kirjeldatud ennetustegevus ning kuidas selle rakendamist toetatakse, seda ühetaolisem ja täpsem on üldiselt tegevus (13). Elluviimist mõjutab ka tegevuse keerukus: mida keerulisem ja komplekssem tegevus, seda raskem võib olla tagada rakendustäpsust. Rakendustäpsust aitavad suurendada (aga ei pruugi alati tagada) ühtsed juhendmaterjalid, elluviijate koolitamine ja muud elluviimise toetusmeetodid, elluviimise regulaarne jälgimine ning tagasisidestamine. Eriti kasulik on see keeruka ennetustegevuse korral, mille rakendamisel võib tekkida rohkem vigu.

Rakendustäpsuse mõõtmine võib aidata välja selgitada ennetustegevuse aktiivaineid (ptk 2.3), sh kui palju on neid vaja kasutada muutuse esilekutsumiseks. Selleks saab võrrelda elluviimise erinevaid andmeid ja välja selgitada, millised komponendid või nende kogumid on edu tagamiseks hädavajalikud ja millised pole mõju esilekutsumiseks olulised. Nõnda saab erineva tegevuse ülesehitust ja sisu optimeerida ning seega ennetustegevust lihtsustada. Aktiivainete ülevaadet on vaja ka tegevuse kohandamisel, sest see aitab võtta arvesse, mida ja kuidas sisu, ülesehituse ja elluviimise juures võib teisiti teha ning mis peab samaks jääma.

3.2.2. Rakendustäpsuse mõõtmine

Rakendustäpsust ja sellega seotud komponente on oluline mõõta. Rakendustäpsuse mõõtmine aitab tegevust edasi arendada ja parendada, samuti mõista, kuidas on seotud rakendustäpsus ja mõju. Kui näiteks ennetustegevuse rakendustäpsus on suur, ent mõju ei ilmne, võib järeldada, et ennetustegevus ei toimi ja selle programmiteooria on vaja üle vaadata. Kui aga rakendustäpsus on pigem väike, ent mõju siiski märkimisväärne, võib see viidata kolmanda muutuja olulisele panusele mõju saavutamisel (nt kontekst).

Rakendustäpsust saab mõõta mitut moodi. Kui soovitakse mõista ennetustegevuse juhistest kinnipidamist, on võimalik paluda elluviijatel täita päevikut ja märkida üles, mida, mis vormis ja kui kaua iga päev ennetustegevuse raames tehti. Lisaks on võimalik koguda andmeid osalejatelt või vaatlejatelt ja kasutada küsimustikke, vaatlusi, lindistusi, intervjuusid vm meetodeid. Näiteks kasutatakse tihti vaatleja täidetavat kontrollnimekirja (ingl observer-rated checklist, ORC), mis võimaldab koguda struktureeritud vaatlusandmeid kavandatud tegevuse elluviimise täpsuse ja järjepidevuse kohta tegelikkuses. Struktureeritud vaatlusprotsessi käigus märgivad vaatlejad rakendamisel nähtud erineva tegevuse ja neid saab võrrelda juhistega, et hinnata rakendamise vastavust kavandatud plaanile.

Üldine soovitus rakendustäpsuse mõõtmisel on kasutada erinevaid uurimismeetodeid ja koguda nii objektiivseid kui ka subjektiivseid andmeid eri rühmadelt: elluviijatelt, osalejatelt ja teistelt, näiteks sõltumatutelt vaatlejatelt (12). Oluline on läbi mõelda andmete kogumise ajalised piirid valimi moodustamine: iga elluviija intervjueerimine ei pruugi anda rikkalikumat sisendit, kui vestlus väiksema hulga elluviijatega (14), juhul, kui valimi koostamine on hästi läbi mõeldud. Igas elluviimise paigas ei pruugi ka olla võimalik vaatlusi korraldada, kuid vaid paar vaatlust ja neile tuginevad järeldused võivad olla kallutatud (15). Seetõttu tasub koguda rakendustäpsuse olulisemate näitajate kohta kvantitatiivseid andmeid kõigis elluviimiskeskkondades ja kombineerida neid kvalitatiivsete andmetega, mis on kogutud hästi moodustatud valimiga ja aitavad selgitada ennetustegevuse toimimist. Andmete kogumine eri ajal võib olla kasulik, et mõista millised tegurid mõjutavad tegevuse elluviimist eri etappides.

3.2.3. Rakendustäpsuse ja kohandamise tasakaal

Ennetustegevust võib võrrelda toiduretseptiga, mis nimetab toidu valmistamiseks vajalikud ained, kogused, mida nendega teha ja lisamise järjekorra. Iga kokk kasutab aineid ja koguseid aga veidi erinevalt, kohandades retsepti kodus leiduvale, maitse-eelistustele või erivajadustele sobivaks. Pannkoogiretseptis võib näiteks kasutada rohkem või vähem piima, tavalist või kaerapiima. Mõni lisab tainasse kakaod, teine banaani, mõni laseb tainal 30 min oodata, teine mitte, mõni lisab sulavõi, teine õli, kolmas ei lisa midagi. Nii nagu pannkoogitegemisel on ka ennetustegevuse elluviimisel küsimus põhitulemuses: kas lõpuks valmib pannkook või mõni muu kook, kas lõpuks saavutame soovitud tulemuse või ei saavuta seda. 

Retsept, vajalikud ained, vahendid ja oskused aitavad tagada, et kõik alustavad pannkoogi küpsetamist sarnaselt lähtekohalt ja panevad tainasse enam-vähem samu aineid sarnases koguses ning järjekorras, et saavutada oodatud tulemus. Mida rohkem retseptist kõrvale kalduda, seda suurem on risk, et tulemus pole soovitud pannkook. Siiski võivad kohandused muuta pannkoogi sööja jaoks hoopis maitsvamaks. Ka ennetustegevuse rakendamine uues kontekstis võib eeldada mõne osa kohandamist kohalikele oludele ja vajadustele sobivaks.

Kohandamine võib aidata ennetustegevust edasi arendada, tekitada omanikutunnet ja suurendada elluviimise motivatsiooni (16). Kohandamine, eriti kultuurilise ja sotsiaal-majanduslike eripäradega arvestamine, võib olla teinekord vältimatu, sest tegevuse kavandamise taust võib märkimisväärselt erineda uuest rakendamise keskkonnast. Tegevust samamoodi rakendades võib see kaotada rakendajate jaoks tähenduslikkuse ja arusaadavuse. Ennetustegevuse kohandamine võib seega parandada nii rakendamise tõhusust kui ka jätkusuutlikkust ja aidata eesmärke paremini saavutada (17).

Seega pole rakendustäpsus ja kohandamine vastandid, vaid oluline on leida mõlema vajaduse sobiv tasakaal. Täielik rakendustäpsus polegi sageli tõenäoline ja häid tulemusi on saavutatud ka 60–80% rakendustäpsuse tasemel. Maksimaalsest rakendustäpsusest puudu jääv osa võib kajastada just tegevuse kujundamist oma käe järgi, mis suurendab tähenduslikkust elluviija ja osaleja jaoks. Näiteks on nii haridus- kui ka tervishoiuvaldkonnas uurimusi, mis näitavad, et kohandused võivad tegevuse tulemusi positiivselt mõjutada (18).

Elluviijate valikute lihtsustamiseks tasub koostada juhend, mis kirjeldab aktsepteeritavaid ja vähem sobivaid kohandusi. Näiteks on kasutatud valgusfoorimeetodit, kirjeldades punase värviga kohandusi, mis seavad ohtu tegevuse toimimise, kollasega kohandusi, mida tuleks ettevaatlikult ja ekspertidega konsulteerides teha ning rohelisega kohandusi, mis on turvalised ja toetavad ning sobivad oludega (19).

• NÄIDE

  Ennetustegevuse arendajad kohandasid USA sotsiaal-emotsionaalsete oskuste programmi Nigeeriasse, tehes esmalt kohaliku uurimistöö sotsiaal-emotsionaalsete pädevuste tähenduse, seotud uskumuste ja väärtuste ning kohalike mängude, laulude ja lugude kohta (20). Kohalik kultuuritaust põimiti kokku algse programmi kavandatud sisuga, mis suurendas tegevuse vastuvõetavust rakendajate seas ning parandas elluviimise määra ja täpsust (20).

3.2.4. Ennetustegevuses osaleja vaade ja mõjumehhanismid

Ennetustegevuse toimimist ja tulemuste saavutamist mõjutavad osalejate ning elluviijate reaktsioonid tegevusele ehk kuivõrd vastuvõetav, asjakohane ja kasulik tegevus on osalejate arvates.Osaleja ei ole passiivne tegevuse vastuvõtja, vaid autonoomne tegevuses osaleja (21). Näiteks ravimiuuringutes võivad ravirežiimist kinnipidamist mõjutada ravimi ebameeldivad kõrvaltoimed (vähene aktsepteeritavus), vähene tuntav kasu või hoopis see, et sümptomid, mille leevendamiseks ravimist kasutatakse, on kerged ning seetõttu ei taju osaleja ravimi võtmise kasu ega mõttekust. Ravi tulemus oleneb aga sellest, kas osaleja võtab ravimit ettekirjutuste kohaselt.

Tegevus peab olema vastuvõetav ka elluviijatele. Näiteks koolis ennetustegevust ellu viies on oluline, et see oleks aktsepteeritav nii õpetajatele kui ka tegevuse rakendajatele, kooli juhtkonnale, lastevanematele kui olulistele huvirühmadele ja õpilastele endile, kellele tegevus on suunatud.

Kvalitatiivsed meetodid võivad aidata tegevuse ajal ja järel mõista, kuidas osalejad tõlgendavad ennetustegevuse mõju, millised on osalejate kogemused (ka negatiivsed), millised olid ettenägematud asjaolud või tagajärjed, kuidas tegevus aitas muutust tekitada (21). Kvantitatiivsed meetodid võivad aidata uurida, millised tegurid soodustavad, pärsivad või mõjutavad eesmärgi saavutamist (ka ptk 2.4).

Loe edasi →