Tevreden deelnemers zeggen weinig

De Amerikaanse hoogleraar Donald Kirkpatrick beschreef in 1959 vier niveaus van evaluatie: de reactie van deelnemers, wat ze hebben geleerd, wat ze daarna anders doen in hun werk en wat dat de organisatie oplevert. Dat model geldt nog steeds als standaard.

Tevredenheid is geen leerresultaat

Het evaluatieformulier dat deelnemers aan het eind van een training of bijeenkomst krijgen overhandigd, meet vaak alleen het eerste niveau: de reactie. Maar juist dat niveau zegt weinig over wat deelnemers leren en toepassen. Een meta-analyse van George Alliger en collega's, uitgebracht door het onderzoekslaboratorium van de Amerikaanse luchtmacht, vond een gemiddelde correlatie van 0,08 tussen de reacties van deelnemers en wat ze direct na de training hadden geleerd. Dat is vrijwel geen verband.

Of deelnemers een training prettig vonden, hing ook nauwelijks samen met wat ze later in hun werk deden (0,07). Hoe nuttig ze de training vonden, hing daar iets sterker mee samen (0,18 en 0,21). Een hoog rapportcijfer is dus geen bewijs dat een training werkt. Een vraag naar de bruikbaarheid van het geleerde zegt meer dan een vraag naar het plezier dat de training gaf.

De kloof met de opdrachtgever

Dat evalueren vaak bij het eerste niveau blijft steken, zie je terug aan de kant van de opdrachtgever. In het eerste Workplace Learning Report van LinkedIn, uit 2017, zei 8 procent van de ondervraagde topbestuurders het effect van opleidingen op de bedrijfsvoering te zien. Een duidelijk rendement zag 4 procent. Het cijfer is oud, maar het laat zien waarom een tevredenheidsscore een opdrachtgever weinig vertelt.

Wie antwoordt wanneer?

Een tweede probleem betreft de respons. De Australische onderzoeker Duncan Nulty zette in 2008 cijfers van universiteiten op een rij. Evaluaties die direct in de zaal konden worden ingevuld, haalden tot 65 procent respons; online vragenlijsten, waarop de respons pas achteraf werd verzameld, kwamen uit tussen 20 en 47 procent.

Het moment van evaluatie is dus zeer bepalend voor de uitkomst. Amerikaanse onderzoekers (Standish en collega's, 2018) zagen bijvoorbeeld dat online evaluaties meer respons kregen als studenten ze tijdens de les konden invullen, zeker als daar tijd voor werd ingeruimd.

Keurmerken eisen meten, registers niet altijd

Voor een deel van de opleiders is evalueren geen keuze. Het keurmerk van de NRTO, de brancheorganisatie voor particuliere opleiders, eist dat een opleider de tevredenheid van klanten "meet, registreert en analyseert". Die meting moet ook nagaan of "de beoogde leeruitkomsten zijn gerealiseerd". Geven de uitkomsten daar aanleiding toe, dan moet de opleider aantoonbaar maatregelen nemen.

Voor een Cedeo-erkenning moet minstens 80 procent van de klanten tevreden zijn. Opleiders moeten dat elke twee jaar opnieuw aantonen.

Bij beroepsregisters ligt het anders. De artsenfederatie KNMG schrijft in haar beoordelingsregels voor accreditatie dat deelnemers het programma en de docenten "bij voorkeur" schriftelijk evalueren: een aanbeveling, geen eis. Het accreditatiereglement van het Nederlands Instituut van Psychologen voor de gz-psycholoog vraagt wel registratie van aanwezigheid, maar geen evaluatie door deelnemers.

Wat dit betekent

Wie wil weten wat een training oplevert, vraagt deelnemers hoe bruikbaar ze het geleerde vinden, niet alleen of ze het naar hun zin hadden. Dat sluit aan bij wat keurmerken vragen: niet alleen tevredenheid, maar ook of de beoogde leeruitkomsten zijn gehaald.

Een evaluatie zegt bovendien pas iets als genoeg deelnemers meedoen, en dat lukt het best ter plekke, met tijd ervoor ingepland. Dan heeft ook de opdrachtgever meer in handen dan een tevredenheidsscore.

Het rapportcijfer aan het eind van de dag is dan ook geen eindpunt. Het is hooguit het begin van een antwoord op de vraag wat een training heeft opgeleverd.

Dit artikel is geschreven door Tools for Change. Tools for Change ontwikkelt Evaluate, een tool voor digitale evaluaties met opslag in Nederland.