Моделът на Къркпатрик: 4 нива за оценка на обученията

Как да оцените дали едно обучение е постигнало целта си? Моделът на Къркпатрик отговаря с четири нива, а работата започва още преди обучението: решете кой резултат то трябва да промени. После измервате четири неща, от най-лесното към най-трудното: как участниците са приели обучението (кратка анкета в края), какво са научили (тест или сравнение „преди и след“), дали прилагат наученото в работата (питате тях и прекия им ръководител през следващите седмици) и дали се е променил резултатът за организацията (нейните собствени показатели, по възможност сравнени с подобна група, която не е обучавана). Само първото е класическа анкета за удовлетвореност. Статията дава на HR специалистите, обучителите и ръководителите на екипи план за всяко ниво, график кога какво да пускате, начин да сравните отговорите преди и след обучението и правила за самите въпроси.

Най-важното

• Първо назовете резултата, който обучението трябва да промени, и оттам изведете поведението, знанията и реакцията, които водят до него.
• Анкетата за реакция показва дали хората са намерили обучението за полезно и приложимо, а не дали са научили нещо.
• Наученото се измерва с тест, упражнение или сравнение „преди и след“. Оценката „преди“ и „сега“ в един формуляр в края е по-евтиният заместител.
• Поведението проверявайте при участника и при човек, който вижда работата му, обикновено прекия ръководител, още през първите седмици, а не чак след 90 дни.
• За да сравните отговорите на едни и същи хора преди и след обучението, ви трябва идентификатор. Кажете на участниците кой вижда отделните отговори, показвайте резултатите само обобщено и не наричайте такава анкета анонимна.

Започнете от резултата, който обучението трябва да промени

Оценката на обучението проверява дали програмата е постигнала промяната, заради която е създадена, и какво да се поправи, ако не е. Организациите я правят по три причини: за да подобрят следващото провеждане, за да решат дали програмата да продължи, или да отпадне, и за да обосноват бюджета за обучения пред ръководството.

Моделът на Доналд Къркпатрик, създаден през 50-те години на миналия век, оценява обучението на четири нива: реакция, научаване, поведение и резултати. Измервате в този ред, но планирате в обратния. Kirkpatrick Partners, които развиват модела днес, съветват да започнете от ниво 4 и неговите показатели. За кол център веригата може да изглежда така:

1. Резултат: по-малко повторни оплаквания.
2. Поведение: операторите потвърждават решението с клиента, преди да приключат разговора.
3. Научаване: операторите знаят стъпките за потвърждение и могат да ги приложат в истински разговор.
4. Реакция: операторите намират стъпките за полезни в разговорите, които водят.

Ако някое звено от веригата липсва, обучението може да е било приятно, но няма как да покажете какво е променило. Сред видовете проучвания сред служителите, които повечето организации вече правят, анкетата след обучение е най-честата, а тя покрива само последното звено.

Четирите нива на Къркпатрик: какво измерва всяко и кой отговаря

Всяко ниво изисква различни доказателства, от различни хора, в различен момент:

Само ниво 1 и части от нива 2 и 3 са анкети за участниците. За останалото трябват тестове, хората, които виждат работата, и собствените данни на организацията. Анкета, която пита участниците и за четирите нива, просто събира мнението им четири пъти.

Реакция (ниво 1): питайте за ползата, не само за впечатленията

Колко на човек му е харесал курсът, казва малко за това колко е научил. Оценките на реакцията отразяват най-вече преживяването: стила на обучителя, атмосферата в групата. Въпросите за ползата и приложимостта на обучението имат по-тясна връзка с наученото и с прилагането му в работата, отколкото въпросите дали е било приятно. Затова им дайте по-голямата част от формуляра:

• Приложимост: „Доколко съдържанието беше приложимо във вашата работа?“ („Изобщо не“, „В малка степен“, „До известна степен“, „В голяма степен“, „Изцяло“).
• Намерение да приложат наученото: „Колко вероятно е да използвате стъпките за потвърждение в разговорите си през следващите две седмици?“
• Яснота на целите: „Доколко ясни бяха целите на обучението?“
• Обучителят и материалите поотделно: редове като „Обясненията на обучителя“, „Упражненията“ и „Раздадените материали“, всеки с оценка от „Слабо“ до „Отлично“. Едно твърдение на ред ви казва дали да смените обучителя, или материалите.
• Една обща оценка, формулирана еднакво за всяко обучение, за да сравнявате програми и доставчици.

Въпросът „Бихте ли препоръчали обучението на колега?“ може да остане като незадължителен въпрос за намерение. Той не измерва какво хората правят след това.

В Survey.bg редовете за обучителя и материалите се събират във въпрос тип „Матрици“ с „Един отговор на редица“, а резултатите показват отговорите на всеки ред като дял от този ред. На страницата с готовата анкета за обратна връзка от обучение шаблонът за края на обучението има 6 въпроса и вече разделя обучителя (редове 1 и 3 на първия въпрос) от материала (редове 4 и 5); добавете към него въпросите за приложимост и намерение. За курс в училище или университет има отделна анкета за оценка на обучение.

Научаване (ниво 2): тест преди и след обучението

Най-силното доказателство, че хората са научили нещо, е кратък тест преди обучението и отново в края му. Kirkpatrick Partners наричат това традиционния метод и добавят, че упражнение, ролева игра или задача, която показва умението, понякога пасва по-добре на съдържанието. Тестът трябва да е кратък, а въпросите в двата варианта да не са дословно едни и същи: повторението само по себе си може изкуствено да повиши резултата. Ако повечето хора още в началото имат висок резултат, тестът няма как да покаже напредък. Тогава измервайте поведението.

Тестът може да е анкета със затворени въпроси, чиито отговори оценявате сами. Самооценката в началото и в края е по-слаба: хората, които не са знаели какво не знаят, надценяват началното си ниво и така скриват реалния напредък.

Авторите на актуалната версия на модела, обновена през 2010-те години като „New World Kirkpatrick Model“, добавят на това ниво два въпроса, които смятат за ранни признаци дали хората ще приложат умението. Единият е за увереност („Уверен съм, че мога да приложа стъпките за потвърждение в истински разговор“), другият за решимост („Възнамерявам да прилагам стъпките за потвърждение във всеки разговор през следващата седмица“).

Когато тест не е възможен: оценка „преди и сега“ в края

Ретроспективната оценка е един формуляр в края на обучението, който иска по две оценки за всяко умение: „преди обучението“ и „сега“. Хората преценяват предишното си ниво, след като вече знаят какво включва умението, и така избягват надценената начална точка. В Survey.bg това правят два въпроса тип „Матрици“ с едни и същи редове: единият за „преди“, другият за „сега“.

Тази оценка измерва как хората възприемат наученото, а не доказани знания, разчита на паметта и може да бъде повлияна от очакването, че човек е напреднал, и от желанието да изглежда добре. Allen и Nimon (2007) я препоръчват за случаите, в които истински предварителен тест не е възможен, а не вместо него. Практичното ѝ предимство е, че двете оценки са в един и същи отговор, така че няма какво да съпоставяте.

Поведение (ниво 3): участникът и хората, които виждат работата му

Поведението се вижда в работата, затова мнението на самия участник е един от източниците, а не доказателството. Добавете прекия ръководител, а при обучение за ръководители или обучители – хората, които виждат поведението: колеги, подчинени, обучаеми. Наблюдението и работните записи също се броят.

Задайте на участника и на един наблюдател едни и същи два или три кратки въпроса за конкретното поведение, поотделно. Два независими отговора за едно и също поведение казват повече от всеки от тях сам по себе си. Например питате оператора: „Колко често през последните две седмици потвърждавахте решението с клиента, преди да приключите разговора?“ Ръководителя питате същото за [име]. Предложете „Никога“, „Рядко“, „Понякога“, „Често“ и „Винаги“, а на ръководителя дайте и отговор „Нямах възможност да наблюдавам това“.

Питайте ръководителите само за поведение, което могат да видят, и отчитайте отговорите „Нямах възможност да наблюдавам това“ отделно, никога като нула. Когато ръководителят не вижда работата, например при служители на терен или при дистанционни екипи, разчитайте на колеги, подчинени или работни записи.

Започнете рано. Kirkpatrick Partners предупреждават, че измерването на поведението не може да започне 90 дни след обучението: тогава вече е късно да премахнете това, което пречи на хората. Правете кратки проверки през първите седмици и по-пълен кръг, след като хората са имали реален случай да използват умението: за процедура в разговорите с клиенти – след няколко седмици, а за умение, което се ползва веднъж на тримесечие – след следващото му използване. Като питате ръководителя, включвате и човека, от чиято подкрепа зависи дали умението ще се използва. Резултатът зависи от тази подкрепа след обучението, а не само от самото обучение.

Отчитайте всеки следващ кръг с броя на отговорилите, например „отговориха 9 от 15 участници“. Хората, които са приложили умението, отговарят по-охотно от тези, които не са, затова при малко отговори картината изглежда по-добра, отколкото е. Изпратете поканата отново на неотговорилите, а когато отговорите са малко, опишете какво казват, вместо да давате процент.

Резултати (ниво 4): показателите на организацията и честно сравнение

Резултатите се измерват в собствените данни на организацията, с показатели, избрани преди обучението. Изпреварващите показатели се променят рано, например делът на проблемите, решени още при първото обаждане. Изоставащите се променят по-късно, например броят на повторните оплаквания за тримесечие. Анкетата за участниците няма роля на това ниво. Съществуваща анкета сред клиенти или служители може да служи за показател, ако е проведена по един и същи начин преди и след обучението. Ако питате ръководителите дали резултатът се е подобрил, получавате тяхното мнение за резултата, а не самия резултат.

Промяната „преди и след“ сама по себе си не доказва, че обучението я е причинило: нова система, сезонът или нов ръководител могат да променят същите числа. За да твърдите, че обучението има ефект, сравнете с група, която не е обучавана (или още не е), и измервайте двете групи в няколко момента. Сравнението важи само ако двете групи са били подобни преди обучението:

• Първо сравнете изходните им стойности.
• Не избирайте обучаваната група по резултатите ѝ. Доброволците и без това са мотивирани, а най-слабият екип вероятно би се подобрил и сам.
• При поетапно въвеждане (един екип сега, друг следващото тримесечие) определете реда по нещо, което няма връзка с представянето, например по местоположение или с жребий.

Пример за такъв дизайн е програма за обучение на мениджъри в Нидерландия, оценена с контролна група и повторни измервания (Steensma и Groeneveld, Journal of Workplace Learning, 2010). Обучените мениджъри са се подобрили по знания, поведение и дългосрочни резултати, но тези „резултати“ са оценки от колеги при оценяване на 360 градуса, а не данни от отчетите на компанията.

Кога да пускате всяка анкета

Определете датите, преди обучението да започне:

В края на обучението сложете линка на последния слайд, покажете QR код, направен от линка с външен генератор, или поставете линка в чата на онлайн срещата. Обучителят обявява анкетата и излиза от залата или от разговора. Хората отговарят от собствените си устройства, никой не събира телефони и не гледа в екраните: когато човек отговаря насаме, е по-вероятно да бъде откровен. Следващите кръгове се изпращат по имейл.

Честият съвет анкетата да не отнема от времето на обучението не издържа. Kirkpatrick Partners наричат единичната анкета в самия край на програмата „традиционен капан“: тогава вече е късно да се коригира каквото и да е. Няколко минути, предвидени в програмата, не струват нищо на участниците, а това е единственият момент, в който всички са на място и помнят подробностите.

Как да сравните отговорите „преди“ и „след“

Групите можете да сравните, без да знаете кой е отговорил: средната стойност преди срещу средната стойност след. Но за да видите промяната при всеки човек или да сложите отговорите на участника до тези на ръководителя му, ви трябва идентификатор, а тогава анкетата не е анонимна. Решете какво ви трябва, преди да тръгне първата анкета.

Пет начина за сравнение, от най-простия до най-строгия

1. Сравнение на групи, без идентификатор. Две анкети с общ линк; сравнявате средните стойности. Това е най-евтиният начин. Показва промяната в групата, не при отделния човек, а отговорилите в двата кръга може да не са едни и същи хора.
2. Оценка „преди и сега“, описана по-горе: няма какво да съпоставяте.
3. Покани по имейл със следене на отговорите. Опцията „Следете получените отговори“ е изключена по подразбиране. Когато е включена, всеки отговор се свързва с имейла на получателя, поканата съобщава на получателите, че създателят на анкетата вижда отговорите им, а вие можете да отворите отговорите на всеки получател от списъка с получатели. Файлът от „Свали като Excel“ не съдържа имейл адреса, затова, за да съчетаете две анкети човек по човек, пак ви трябва въпрос, който носи идентификатор.
4. Въпрос за код. Незадължителен въпрос „Едноредово текстово поле“, зададен и в двете анкети, за код, който давате на всеки участник (например на картичка по време на обучението), или за имейла му, с едно изречение защо питате и кой ще го чете. Свързвате двата Excel файла по този въпрос и приемате, че няколко отговора няма да се съчетаят. Който държи списъка с кодовете, може да разпознае хората.
5. Код, който участникът съставя сам. Едни и същи три или четири кратки въпроса в двата формуляра, всеки за една буква или цифра от факти, които знае само участникът: например първата буква от името на майката или денят от месеца на рождената дата. Свързвате файловете по получения код, а никой не държи списък, който свързва код с човек. Някои кодове няма да съвпаднат, и то повече, колкото по-дълъг е интервалът, затова начинът пасва по-добре на двойка „начало и край“, отколкото на проверка месеци по-късно. Изпратете анкетата с общ линк или с покана по имейл, при която „Следете получените отговори“ е изключена, за да не се свърже нито един отговор с имейл адрес.

Какво да кажете на участниците за това кой вижда отговорите им

Кажете кой вижда отделните отговори (например само HR, но не обучителят и не прекият ръководител), че обучителят или доставчикът получава обобщение, а не отделни отговори, и че резултатите се показват само обобщено. Напишете това във въведението на анкетата и в поканата. Как да го формулирате, без да обещавате повече, отколкото можете да спазите, вижте в статията за разликата между анонимна и поверителна анкета.

В много малка група дори обобщението може да издаде един човек. Изчакайте да се съберат достатъчно отговори или обединете няколко групи, преди да покажете резултати по екипи.

Осем правила за въпросите

Важат за всеки от формулярите по-горе:

1. Кратко. Анкетата в края на обучението трябва да се попълва за няколко минути; готовите шаблони за обучение в Survey.bg се попълват за 2–4 минути. В онлайн експеримент по-дългата обявена продължителност е означавала, че по-малко хора започват и завършват анкетата, а отговорите към края са ставали по-бързи, по-кратки и по-еднообразни (Galesic и Bosnjak, 2009).
2. Всеки въпрос е свързан с цел и ниво. Ако не можете да кажете кое решение ще промени отговорът, махнете въпроса.
3. Питайте само за това, което можете да промените. Ако залата е определена и няма да се смени, не питайте за залата.
4. Предимно затворени въпроси. Те се анализират по-лесно и се пропускат много по-рядко. В панела на Pew Research Center сред възрастното население на САЩ около 1–2 % от респондентите са пропуснали затворен въпрос срещу средно около 18 % при отворените (Pew, 2021). Във формуляр за обучение числата ще са други, но посоката е същата. Вижте предимствата и слабостите на отворените и затворените въпроси.
5. Задайте въпрос, а не твърдение за съгласие, и надпишете всяка точка от скалата. „Доколко съдържанието беше приложимо във вашата работа?“ с пет надписани отговора е по-добър избор от твърдение със скала „съгласен–несъгласен“, която подтиква хората да се съгласяват независимо от съдържанието (склонност към съгласие). Ако запазите такива твърдения, пет степени дават по-добри данни от седем или единадесет (Revilla, Saris и Krosnick, 2014). Дръжте списъка с отговори до около пет варианта, а „да“ и „не“ използвайте за факти: „Използвали ли сте стъпките за потвърждение след обучението?“ Повече за неутралната формулировка на въпросите.
6. Завършете с един незадължителен отворен въпрос, например „Каква промяна би направила обучението по-полезно за работата ви?“
7. Пазете едни и същи основни въпроси при всяко оценяване, за да сравнявате програми, обучители и доставчици във времето.
8. Изпробвайте формуляра на двама или трима души, които не са го писали, на езика, на който ще се попълва, и поправете всичко, в което се спънат.

Как да го направите в Survey.bg

1. Направете анкетата за края на обучението от шаблона „Оценка на учебен курс/Оценка на преподавател“ на страницата за обратна връзка от обучение. Сменете въпроси 5 и 6, които са писани за университет, и добавете въпросите за приложимост и намерение от ниво 1 и теста или оценката „преди и сега“ от ниво 2.
2. За всеки следващ кръг използвайте „Копирай анкета“, за да има всеки кръг свои резултати. При настройката по подразбиране „Само едно попълване на анкетата от едно устройство (PC, таблет или мобилно)“ участник, който отвори същата анкета отново до година, вижда предишните си отговори и може само да ги промени.
3. За ниво 3 направете една анкета за участниците и една за ръководителите и пазете получателите в „Имейл списъци“. Към всеки човек в списъка можете да добавите до пет допълнителни стойности, например екипа или „обучен“ и „за сравнение“, по които после да филтрирате резултатите. Включете „Следете получените отговори“ и изпратете поканите. Тогава можете да изпратите повторно съобщение само на тези, които „Не са отговорили на досегашна имейл покана“ (без следене това са всички). За да затворите анкетата за ръководителите за общия линк, добавете „Анкетата може да бъде попълнена само чрез покана по имейл“, но винаги заедно със следенето на отговорите, иначе поканените няма да могат да я отворят. Повече за поканите по имейл за участие в проучване.
4. Четете резултатите по групи с филтъра „Имейл стойност е“ (и той изисква следене на отговорите) и използвайте „Свали като Excel“, за да сложите два кръга един до друг в електронна таблица. Инструментът не сравнява две анкети вместо вас.
5. Добавете въпрос за код (начин 4 или 5 по-горе), ако трябва да съпоставите отделни хора. При начин 5 оставете следенето на отговорите изключено.

Планирайте от края, измервайте от началото

Назовете първо резултата и вървете назад към поведението, наученото и реакцията, които водят до него; после измервайте в обратния ред. Анкетата за реакция е началото, а не доказателството. Проверете наученото с тест преди обучението и в края му или с оценка „преди и сега“, когато тест не е възможен. Питайте участника и човек, който вижда работата му, след седмици, а не след месеци. Резултата търсете в собствените показатели на организацията, сравнени с група, която преди обучението е била подобна.

Преди първата анкета решете дали ще съпоставяте отговорите човек по човек, и кажете на участниците кой ще ги вижда. Когато резултатите дойдат, действайте по тях както при всяко проучване сред служителите.

Започнете с анкетата за края на обучението: въпросите от ниво 1 и тест или оценка „преди и сега“.

Още по темата

• Какво да правим с резултатите от анкета сред служителите
• Видове проучвания сред служителите: кое какво измерва
• Как уеб-базираните проучвания правят по-ефективни интервютата с напускащите служители