Ensinnäkin, oli kysymyksessä sitten ihan perinteinen kasvokkainen koulutus tai virtuaalinen koulutus, niin kaksi asiaa on oltava huomioituna, kun pyrit mittaamaan koulutuksen vaikuttavuutta. A) sinulla pitää olla selkeät tavoitteet, joita on mahdollista mitata ja B) selkeät, konkreettiset mittarit millä mitata. Kuulostaa aika selkeältä, mutta itse asiassa tässä piilee monta muttaa.
Tavoitteet Jokainen koulutus pohjautuu tavoitteisiin. Mitä halutaan, että osallistujat oppivat tai mitä tietoja tai taitoja heidän tulisi omaksua pystyäkseen soveltamaan oppimaansa käytäntöön. Ongelma tavoitteiden asetannassa tulee silloin, kun tavoitteet eivät ole selkeitä, konkreettisia tai ne jäävät “hötöisiksi”. Edellisessä postauksessani kirjoitinkin, että tavoitteiden tulisi olla konkreettisia, tekemistä kuvaavia verbejä. Jos käytetään esimerkiksi tavoitteina, että “osallistuja ymmärtää” tai “osallistuja tietää koulutuksen jälkeen”, nämä ovat hyvin haastellisia ilmaisutapoja, koska ymmärtää ja tietää ovat subjektiivisia kokemuksia. Lisäksi ymmärtää ja tietää- kokemuksia on hyvinkin hankala mitata, tai mitata sitä, miten jonkun asian ymmärtäminen konkreettisesti vaikuttaa tekemiseen. Vaikka joku sanoisi ymmärtäneensä jonkin asian, mikä on tae, että ymmärrys vaikuttaa käytännön tekemiseen? Jos tavoitteet eivät ole asetettu konkreettisiksi tai ne jäävät toisistaan irrallisiksi, on äärimmäisen vaikeaa tehdä johtopäätöksiä sen suhteen, että onko koulutus nyt oikeasti vaikuttanut henkilön tiedon soveltamiseen, vai onko hän vain valinnut toisenlaisen toimintatavan tässä tilanteessa. Tästä samasta asiasta puhuu myös esimerkiksi Julie Dirksen kirjassaan Design for How People Learn (2012). Hänen mukaansa hyvät tavoitteet viittaavat sellaiseen, mitä osallistuja tulee oikeasti tekemään oikeassa elämässään, ja joista tietää, että he ovat ne tavoitteet saavuttaneet kun tarkastellaan lopputulosta. Vaikka sinulla olisi tilanne, jossa tieto tai tiedon karttuminen on lopputulos, se yleensä vaati osallistujilta jotain mitä heidän tarvitsee tehdä, muutoin on vaikeaa mitata, onko oikeasti oppimista tapahtunut.
Tavoitteiden määritteleminen virtuaaliseen koulutukseen tai webinaariin on aivan ensiarvoisen tärkeää. Niihin pohjautuvat kaikki materiaalisi, koko sisältösi,kaikki aktiviteettisi ja kokonaisuudessaan kaikki se, mitä tulet tapahtumassa tekemään. Jos tavoitteita ei ole määritelty, on aina riski, että fokus katoaa, ja koulutuksesi tai webinaarisi muodostuu yksisuuntaiseksi monologiksi, jossa osallistuja on sivuosassa. Olet sitten siirtämässä jo olemassa olevaa koulutusta/valmennusta verkkoon tai rakentamassa aivan uutta, sinun pitäisi lähteä liikkeelle siitä, mitä haluat osallistujiesi konkreettisesti saavuttavan osallistumalla tapahtumaasi. Pidä myös mielessä, että virtuaalisia tapahtumia on useita erilaisia ja näiden ominaispiirteet myös määrittävät tavoitteiden asetantaa. On eri asia rakentaa sisältö ja materiaali webinaariin, jossa on esimerkiksi 50 osallistujaa, kuin pienryhmäkoulutukseen verkossa, jossa osallistujia on maksimissaan 10. Suuressa ryhmässä on mahdotonta pitää esimerkiksi kaikkien mikkejä auki. Mutta voit osallistaa jokikisen osallistujan esimerkiksi chatin, kyselyiden tai viittaa-toiminnon avulla. Tässäkin kannattaa kuitenkin miettiä kysymyksen esittämismuotoa. Mitä sitten tällä tarkoitan? Konkreettisesti seuraavaa:
Sinä: Oletko koskaan toiminut esihenkilönä? Jos kyllä,n iin nosta kätesi ylös. (50 webinaariosallistujasta 20 nostaa kätensä ylös. 30 osallistujaa eivät ole millään tavoin osallistettuja.) Edellämainitulla tavalla osallistat vain osan porukasta, kun tavoite olisi huomioida jokainen osallistuja. Tämä onnistuisi seuraavasti: Sinä: Oletko koskaan toiminut esihenkilönä? Jos kyllä, niin nosta kätesi ylös muttta mikäli et, niin klikkaa valikosta punaista rastia. Voit myös kirjoittaa vastauksesi chatiin, jos toimit esimerkiksi asiantuntijaroolissa, mutta et suorana esihenkilönä. (50 webinaariosallistujasta 20 nostaa kätensä ylös, 20 klikkaa punaista rastia ja 10 vastaa chatiin omasta roolistaan)
Hyvin pieni tarkennus kysymykseen, mutta mahdollistaa sen, että jokainen pääsee vastaamaan, jolloin tällä on valtavan suuri merkitys osallistujan kokemukseen.
Tavoitteet on myös siksi tärkeää miettiä etukäteen, koska ne auttavat sinua selventämään osallistujilta, mikä asia heitä eniten kiinnostaa. Esimerkin kautta, eli sen sijaan, että kävisit tapahtuman alussa tulevan agendan läpi lukemalla sen ääneen, pyydä osallistujia lukemaan dian sisältö ja merkkaamaan piirtotyökalujen avulla heitä eniten kiinnostava aihe. Tämä toimii silloin kun ryhmäkoko ei ole liian suuri, sillä suuremmassa ryhmässä diasta tulee herkästi liian sekava, jolloin voisit pyytää osallistujia valitsemaan vaihtoehdon kyselyn kautta. Eli klikkaat ruudulle kyselyn, joista jokainen osallistuja pääsee valitsemaan yhden (tai mikäli haluat, useamman) vaihtoehdon. Kun vastaukset on saatu, näet suoraan mitkä asiat ovat osallistujien mielessä keskeisimpinä, ja tiedät mitä asiaa he odottavat eniten kuulevansa. Pystyt paremmin hahmottamaan, mitä osallistujat haluavat ja vastaamaan heidän tarpeeseensa.
Olen aiemmissa postauksissani puhunut luovuuden käytöstä ja siitä, että virtuaalisissa ympäristöissä on rajattomat mahdollisuudet toteuttaa aktiviteetteja. Kannattaa pistää mietintämyssy päähän ja pohtia, millä tavoin pystyisit tekemään asioita aktivoivalla ja osallistavalla otteella, jolloin myös osallistuja kokee itsensä aktiiviseksi tekijäksi sen sijaan, että hän olisi passiivinen sivustakatsoja. Älä jää vanhojen toimintamalliesi vangiksi, vaan etsi lisää tietoa, hyödynnä olemassa olevaa osaamista ja hae vinkkejä muilta virtuaalisten koulutusten tai webinaarien vetäjiltä.
Osallistamalla osallistujat ja olemalla aktiivinen voit varmistaa, että opittava asia jää paremmin mieleen. Kun muodostat tavoitteista konkreettisia sen sijaan, että ne jäävät tulkinnanvaraisiksi on myös helpompi nähdä, miten opittu asia vaikuttaa esimerkiksi henkilön työhön. Totta kai monet muutkin asiat ovat näihin vaikuttamassa, mutta tavoitteet pitäisi pitää kirkkaina mielessä läpi koulutuksen, ja niiden pohjalle rakentuvat kaikki muut palikat.
Mittarit ja vaikuttavuus Miten sitten saada selville mitä osallistujat koulutuksesta saivat irti, tai miten he kokivat voivansa hyödyntää opittua asiaa/opittuja tietoja?
Me kaikki tiedämme tutut hymynaama-palautteet, smile sheetit. Yleensä näissä kysytään esimerkiksi - Miten arvioisit kouluttajaa asteikolla 1-5? Kommentoi tarvittaessa. - Miten arvioisit koulutuksen sisältöä asteikolla 1-5? Kommentoi tarvittaessa. - Mikä asia jäi päivästä parhaiten mieleesi? - Mikä asia tuntui haasteelliselta?
Ja niin edelleen. Sinällään hyviä kysymyksiä, vai…? Näiden edellämainittujen kysymysten kanssa on se ongelma, että ne eivät sinällään kerro meillä vielä yhtään mitään. Kyllä, me saatamme saada yleiskuvan siitä miten tykätty koulutus tai kouluttaja oli, ja mikä asia sieltä jäi mieleen mutta auttavatko nämä kysymykset meitä näkemään sen, OPPIKO osallistuja jotain? Vastaisin, että ei. Jos määrittelet tavoitteesi konkreettiseksi tekemiseksi, myös palautekyselyiden tulisi peilautua näihin tavoitteisiin. Will Thalheimer on kirjassaan Performance-Focused Smile Sheets: A Radical Rethinking of a Dangerous Art Form (2016) puhunut nimenomaisesti näistä hymynaama-palautteiden käytöstä ja siitä, että liian monta käytännön asiaa jää puuttumaan, koska kysymyksiä ei aseteta oikein. Hän myös puhuu siitä, että näitä palautteita voidaan käyttää kolmeen eri tarkoitukseen: 1) jotta saadaan selville osallistujien tyytyväisyys koulutukseen ja oppimistapahtuman laatuun, 2) jotta saadaan selville koulutuksen vaikuttavuus, joka puolestaan johtaa parantuneeseen oppimiseen ja käytännön soveltamiseen tai 3) jotta voidaan rohkaista osallistujia aktiiviseen tekemiseen, jonka avulla saavutetaan oppimistavoitteet.
Nimenomaisesti kohta 2 on se, mihin meidän pitäisi pystyä vaikuttamaan, ja mistä monet organisaatiot saavat eniten hyötyä. Palautekyselyiden kysymysten parantaminen tai parempi sanallistaminen on kriittistä kahdesta syystä. Kun sanallistaminen on parempaa, me saamme paremmanlaatuista tietoa. Kun sanallistaminen on riittävän ytimekästä ja konkreettista, me saamme motivoituneempia vastaajia. Molempia näistä tarvitaan.
On olemassa kymmeniä erilaisia asioita tai käsitteitä, joista kysyä osallistujiltamme. Ne asiat joista päätämme kysyä vaikuttavat siihen informatioon mitä me saamme, ja niihin mahdollisiin johtopäätöksiin, joita me teemme saamastamme informaatiosta. Perinteisesti rakennetuilla palautekyselyillä saadaan tietoa enemmän koulutuksen “maineesta” ja osallistujien tyytyväisyydestä. Nämä eivät kuitenkaan kerro mitään koulutuksen vaikuttavuudesta, valitettavasti.
Mutta mitä asioita meidän sitten pitäisi kysyä? Tähän on vaikea yksiselitteisesti vastata, koska jokainen koulutus eroaa toisistaan erilaisten muuttujien takia, joita ovat muun muassa osallistujat, sisältö, käytetty teknologia j tavoitteet. Jos kuitenkin mietimme asiaa osallistujan näkökulmasta ja siitä, millainen on lopulta koulutuksen vaikutus osallistujan tekemiseen, meidän tulisi keskittyä sellaisiin kysymyksiin, jotka vastaavat tavoitteiden konkretiaa.
Jos tätä mietittäisiin käytännössä, niin se voisi näyttää seuraavalta:
Entinen kysymys: Asteikolla 1-5, miten hyödyllinen koulutus oli sinulle oman työsi kannalta? - 1: Erittäin hyödytön - 2: Melko hyödytön - 3: Kohtalaisen hyödyllinen - 4: Hyödyllinen - 5: Erittäin hyödyllinen
Uusi kysymys: Kuinka kykenevästi pystyt siirtämään oppimasi käytäntöön omassa työssäsi? VALITSE YKSI VAIHTOEHTO, joka kuvaa parhaiten valmiuksiasi. - Nykyinen roolini ei mahdollista minua soveltamaan oppimaani käytännössä - Minulle on vielä epäselvää mitä minun tulisi tehdä ja/tai miksi se tulisi tehdä - Tarvitsen lisää ohjausta ennen kuin voin soveltaa oppimaani käytäntöön - Tarvitsen enemmän käytännön kokemuksia soveltaakseni oppimaani hyvin - Voin menestyksekkäästi soveltaa oppimaani käytäntöön
Jälkimmäisellä esimerkillä pyrin osoittamaan sitä, että konkreettisemmalla sanallistamisella ja kysymyksen asetannalla myös osallistuja pystyy paremmin pohtimaan oppimaansa, ja me saamme paljon arvokkaampaa ja laadukkaampaa tietoa koulutuksen vaikuttavuudesta. Tällöin myös me pystymme huomattavasti paremmin arvioimaan koulutuksen suunnittelua, sisällön relevanssia ja kouluttajan/fasilitaattorin toimintaa.
Yksi yleisimpiä väärinkäsityksiä on, että meidän tulisi käyttää täsmälleen samoja kysymyksiä täsmälleen samoilla sanoilla kaikissa koulutuksiemme arvioinnissa. Monesti tätä perustellaan sillä, että tällöin voisimme vertailla kursseja keskenään tai kouluttajia toisiinsa. Totta kai joitain kysymyksiä voidaan käyttää useiden eri koulutuksien palautekyselyissä, mutta kysymysten tulisi aina peilata koulutuksen tavoitteita ja koulutusten vertailu keskenään on vaikeaa.
Virtuaalisten koulutusten vaikuttavuus Ei ole merkitystä, mietimmekö me kasvokkaisten koulutusten tai virtuaalisten koulutusten vaikuttavuutta. Samat periaatteet pätevät kumpaankin. Ongelma on enemmän siinä, että monesti virtuaalisten koulutusten tavoitteet ovat jääneet epäselviksi, tai virtuaalisten koulutusten tai webinaarien ajatellaan olevan vain yksisuuntaista luennointia osallistujien suuntaan. Ajatellaan myös, että koska emme pysty toimimaan kuin kasvokkain, niin virtuaalisten koulutusten hyöty jää pieneksi koska "ne eivät vain toimi". Tai että koska osallistujat eivät vain osallistu, niin virtuaaliset koulutukset ovat huonoja.
Osallistujat osallistuvat juuri niin paljon, kuin heiltä pyydetään ja sen pohjalta kuinka paljon heidän odotuksiaan hallitaan etukäteen. Parhaana käytäntönä kaikissa virtuaalisissa tapahtumissa tulisi olla se, että osallistujalle kerrotaan etukäteen, esimerkiksi ilmoittautumisen vahvistusviestissä tai ennen koulutusta/webinaaria lähetettävässä sähköpostissa, että millainen osallistujan rooli tulee olemaan (aktiivinen/passiivinen eli odotetaanko osallistujalta osallistumista erinäisiin aktiviteetteihin, ovatko mikit auki, käytetäänkö kameroita jne.), mitä välineitä hän tarvitsee tai mitä käytännön asioita ottaa huomioon (kuulokkeet, mikki, läppäri, hiljainen tila, sulje muut selainlehdet pois häiritsemästä, laita kännykkä äänettömälle, älä vastaile sähköposteihin koulutuksen/webinaarin aikana) ja miten hän pääsee liittymään virtuaaliseen tilaan (linkki). Ja jos luot odotuksia aktivoivalle ja osallistavalle tapahtumalle, VARMISTA, että tulet aktiivisesti osallistamaan osallistujia, pyydät heitä mukaan keskusteluihin, hyödynnät eri työkaluja ja teet osallistujan näkyväksi. Kaikkeen tähän vaikuttavat ne alkuun asetetut tavoitteet ja niiden pohjalta pystyt myös arvioimaan, että saavutettiinko tavoitteet ja miten osallistujat kokivat oppineensa, kunhan vain pohjaat myös vaikuttavuuden mittarisi tavoitteisiin ja konkretiaan.