Добрите въпроси към участниците в събитие започват от решение, което още предстои. На повечето събития стигат три кратки анкети – преди, по време и след събитието. Преди него питате защо хората идват и какво още можете да промените. По време на него задавате един-два въпроса след сесия, за да поправите каквото можете още същия ден. След него искате обща оценка, оценка на всеки елемент и всяка сесия и отговор дали хората ще дойдат пак, а после сравнявате отговорите с това, за което са дошли. Статията е за всеки, който се занимава с организиране и оценка на конференции, форуми, семинари, работни срещи, изложения, фирмени събития и уебинари. Списъци с въпроси се намират лесно, причините зад тях – не.
Най-важното
- Планирайте до три кратки анкети, по една за всеки етап, и свържете всяка с решение, което още можете да вземете.
- Преди събитието попитайте защо хората идват. Задайте същия въпрос и след него, за да разделите резултатите по отговора.
- По време на събитието стигат един-два въпроса зад линк или QR код в края на сесията. Анкетата не е екран за гласуване на живо.
- След събитието изпратете анкетата скоро и я дръжте кратка: една балансирана скала с надпис на всяка степен, по едно нещо на ред и отговор „Не ползвах“.
- Подреждайте елементите по дела на недоволните сред оценилите ги и сравнявайте новите с връщащите се участници.
Три кратки анкети, всяка за свое решение
Преди да напишете първия въпрос, решете за какво решение ще използвате всяка анкета, кога тръгва и колко дълга може да бъде.
| Етап | Кога | Какво решава | Дължина | Как стига до хората |
|---|---|---|---|---|
| Преди | При регистрацията или седмица-две преди събитието | Теми, формат, ден и час, ако още не са решени, кетъринг, места в залата | Няколко въпроса | Потвърждението за регистрация или имейл до регистрираните |
| По време | В края на сесия или на деня | Какво да се поправи днес (звук, зала, почивки), интерес към всяка сесия | Един-два въпроса | Линк или QR код на последния слайд или в печатната програма |
| След | Скоро след събитието, докато впечатленията са свежи | Следващото издание: място, програма, лектори, цена и дали хората ще се върнат | Един екран със затворени въпроси на телефон и най-много два отворени | Имейлът с благодарност, последният слайд, страницата на събитието |
Питайте само за това, което още може да се промени: въпрос за най-удобния ден от седмицата, след като залата е наета, само удължава анкетата. А дължината има цена. В експеримент на Galesic и Bosnjak (2009) колкото по-дълга е обявената анкета, толкова по-малко хора са я започнали и завършили, а отговорите към края са ставали по-бързи и по-еднообразни. Според преглед на Cochrane на Edwards и колеги (2023) по-кратките електронни въпросници увеличават отговорите (съотношение на шансовете 1,51), както и паричните (1,88) и непаричните стимули (1,60), макар резултатите на отделните изследвания силно да се различават.
Обичайният съвет е анкетата преди събитието да тръгне седмица-две по-рано; ръководствата на доставчиците на софтуер говорят за една до четири седмици, без доказателства. Анкетата след събитието изпратете скоро, докато преживяното е свежо. Често се срещат срокове от 24 или 48 часа, но нито едно изследване не стои зад тях.
Преди събитието: въпроси, които още могат да променят плана
Попитайте защо хората идват, кои от планираните теми ги интересуват и само онези практически подробности, които още не са решени. Причината за участие става и отправна точка за крайната оценка.
- Основна причина. „Коя е основната причина да участвате в събитието?“ Да науча повече за областта / Да придобия конкретно умение / Да се срещна с колеги и да създам нови контакти / Да представя или обсъдя своя работа / Друго. Позволете един отговор, за да можете после да разделите резултатите по него. Въпрос с „Множество отговори“ дава по-богат списък, но по него резултатите не се разделят чисто. Вариантите не бива да се застъпват, трябва да покриват всички случаи и да се побират на един екран на телефона.
- Теми. „Кои от планираните теми ви интересуват най-много?“ Изброете истинските теми от проекта на програмата и задайте 3 в „Макс брой избрани опции“. Броят на избралите показва за кои сесии ви трябват по-големите зали.
- Логистика, само докато е отворена. Вид на мястото, ден от седмицата и част от деня, всеки въпрос с отговор „Нямам предпочитание“.
- Меню. Бюфет / Сервирана вечеря / Нямам предпочитание / Няма да присъствам на вечерята.
- Хранене и достъпност. Един въпрос с няколко отговора (Нямам специални изисквания / Вегетарианско / Веганско / Без глутен / Алергия към ядки / Друго, моля, уточнете) и незадължителен отворен въпрос за нужди от достъпност. Питайте само за това, по което кетърингът или залата ще направят нещо, кажете кой ще вижда отговорите и ги изтрийте след събитието.
- Гости. „Ще доведете ли гост?“ Да / Не / Още не знам – заради местата, кафето и печатните материали.
- Предишно участие. „Участвали ли сте в предишно издание на събитието?“ Да / Не. Зададен отново след събитието, въпросът разделя новите от връщащите се участници.
Дръжте тази анкета отделно от формуляра за регистрация (име, фирма, вид билет, данни за фактура). Вмъкната в него, анкетата за предпочитания забавя хората точно когато се записват.
По време на събитието: кратки проверки, а не гласуване на живо
Сложете анкета с един-два въпроса на последния слайд на всяка сесия или всеки ден, прочетете отговорите в почивката и поправете каквото можете още същия ден. Покажете линка или QR код, направен от него с външен генератор, на слайда и в печатната програма; Survey.bg не създава QR кодове. Изберете „Оптимизирана анкета (един въпрос на страница)“ в „Избери вид анкета“: всеки въпрос излиза на отделен екран, което е удобно на телефон.
Отговорите се отчитат, щом пристигнат, а ги виждате, когато отворите резултатите или презаредите страницата; нищо не се обновява само. Няма екран за гласуване на живо, режим за презентатора, облак от думи или въпроси от публиката. За гласуване, което се вижда на екрана в залата, ви трябва специален инструмент за анкети на живо. Опцията „Резултатите от анкетата са публични“ създава страница с резултатите, но тя показва състоянието им в момента на зареждане и показва всеки отговор на отворен въпрос на всеки, който има линка.
Две употреби в залата работят добре:
- Един въпрос на лекция. Лекторът показва анкета с въпрос като „Кой от тези подходи използвате днес?“ и отваря резултатите в края на лекцията или в почивката, за да ги обсъди с публиката.
- Проверка „какво да оправим днес“. Незадължителният отворен въпрос „Има ли нещо, което в момента ви пречи да следите сесиите?“ улавя звука, температурата, местата, опашките и кафето. Четете го във всяка почивка и го задавайте само в анкета с настройката по подразбиране за устройствата (вижте следващата част).
Как един участник да оцени няколко сесии от телефона си
Направете по една кратка анкета за всяка сесия и оставете настройката по подразбиране. Тази настройка, „Само едно попълване на анкетата от едно устройство (PC, таблет или мобилно)“, пази отговорите в браузъра една година: който отвори анкетата отново на същото устройство, вижда предишните си отговори и може да ги промени. Затова една анкета с въпрос „Коя сесия оценявате?“ не може да събере втора, отделна оценка от същия телефон. Ако човек я отвори отново, само редактира първата си оценка.
| По една анкета за всяка сесия (препоръчително) | Една анкета с „Множество отговори на едно устройство (PC, таблет или мобилно)“ | |
|---|---|---|
| Какво получават участниците | Всяка сесия има свой линк и свои резултати | Всяко отваряне на линка е нов, празен формуляр; сесията се избира от падащо меню |
| Отворени въпроси | Подходящи | Неподходящи: започнат формуляр тръгва отначало след 30 секунди без действие |
| Повторни отговори | Един отговор от устройство | Всеки може да попълни отново и нищо в инструмента не го засича |
| План | Всяка анкета трябва да е активна, а към ограничението на плана се броят само активните анкети (безплатният план: до 10 активни анкети) | Една активна анкета |
Тези 30 секунди не могат да се променят и важат и за собствените телефони на участниците: който спре заради известие, губи въведеното. Освен това оценките на един човек за различните сесии не са свързани помежду си. Затова използвайте тази настройка само за проверка със затворени въпроси на един екран.
След събитието: основната анкета
Изпратете анкетата скоро, ограничете я до един екран със затворени въпроси на телефон плюс най-много два незадължителни отворени, използвайте една балансирана скала с надпис на всяка степен и попитайте отново за причината за участие. Сложете линка в имейла с благодарност, на последния слайд и на страницата на събитието или вградете анкетата чрез „Интеграция с уебсайт“. Готовата анкета за събитие в Survey.bg е добра основа; въпросите по-долу показват как да я допълните.
Поканите, изпратени от Survey.bg, се броят към месечния лимит на плана ви за покани по имейл, затова при голям списък поставете линка в собствения си имейл с благодарност (вижте как да изпратите покана по имейл за участие в проучване). Автоматично напомняне няма. Второ писмо само до тези, които „Не са отговорили на досегашна имейл покана“, може да изпратите само ако при изпращането е била включена опцията „Следете получените отговори“, която по подразбиране е изключена; без нея писмото отива до всички. Следенето свързва всеки отговор с имейла на получателя и поканата им го съобщава.
Наградна игра може да увеличи броя на отговорите. Включете в нея всеки, който е отговорил, каквото и да е отговорил. Повече отговори обаче не значи непременно по-представителни, а за играта ви трябват име или имейл, така че отговорите вече могат да се свържат с конкретен човек. Кажете го на участниците и сложете незадължителния въпрос за контакт последен.
Примерни въпроси и какво решава всеки от тях
Ядрото на анкетата след събитието е кратък набор от въпроси; третата колона казва за какво решение служи всеки от тях.
| Въпрос | Отговори | Какво решава |
|---|---|---|
| Като цяло доколко сте доволни от събитието? | Много недоволен / Недоволен / Нито доволен, нито недоволен / Доволен / Много доволен | Основното сравнение с предишното издание |
| Доколко сте доволни от всеки от следните елементи? (матрица) | Същите пет отговора плюс „Не ползвах“ | Какво да промените първо |
| Събитието беше… | Твърде кратко / Колкото трябва / Твърде дълго | Форматът на следващото издание |
| Доколко събитието отговори на очакванията ви при регистрацията? | Изобщо не / В малка степен / До известна степен / В голяма степен / Напълно | Дали поканата е обещала това, което събитието е дало |
| Колко вероятно е да дойдете на следващото издание? | Почти сигурно не / По-скоро не / Колкото да, толкова и не / По-скоро да / Почти сигурно да | Колко участници задържате и кой няма да се върне |
| Коя беше основната причина да участвате? Участвали ли сте в предишно издание? | Същите отговори като преди събитието | Разделянето на резултатите |
| Кое беше най-полезно за вас? Ако можехте да промените едно нещо за следващия път, какво би било то? | Отворени, незадължителни | Това, което скалите не улавят |
Редовете на матрицата, всеки с едно нещо: съдържание на програмата, лектори, колко лесно се стига до мястото, удобство на залата, звук и екрани, храна, кафе паузи, регистрация и посрещане, колко си струва цената на билета (при платени събития) и паркинг (ако има).
Скалите. Оценките са по-надеждни, когато всяка степен е надписана с думи, стъпките между степените са приблизително равни и има средна точка (Krosnick и Presser, 2010); повечето данни говорят в полза на пет до седем степени (Maitland, 2009). Скалата за очакванията е едностранна, от „Изобщо не“ до „Напълно“. Скалата за следващото издание има два отрицателни отговора, затова показва кой няма да дойде пак. Ако искате отговор „Още не съм решил(а)“, сложете го след скалата, а не в средата ѝ.
Матрицата. Съберете елементите във въпрос тип „Матрици“ с „Един отговор на редица“. В резултатите процентите на матрицата са дял от реда, а „Не ползвах“ е част от реда, затова изчислете дела на недоволните сред оценилите от броя на отговорите или от файла от „Свали като Excel“. Не избирайте „случайна подредба на колонките“ или „случайна подредба и на двете“, защото така разбърквате скалата; „случайна подредба на редовете“ е наред.
Повторените и отворените въпроси. Повторените въпроси за причината и за предишното участие ви позволяват да разделите резултатите само на тази анкета, без да свързвате отговорите на един човек в две анкети. Нека са с „Един отговор само“, защото филтър по въпрос с няколко отговора намира само точно същата комбинация от отметки. Хората пропускат отворените въпроси много по-често от затворените (Pew Research Center, 2021), затова задайте най-много два. Повече за това кога си струва отворен въпрос.
Net Promoter Score (NPS) не е задължителен: „Колко вероятно е да препоръчате събитието на приятел или колега?“ от 0 до 10. Резултатът е делът на препоръчващите (9–10) минус дела на критиците (0–6). В Survey.bg няма тип въпрос или отчет за NPS, затова използвайте въпрос „Един отговор само“ с отговори от 0 до 10 и изчислете резултата от файла от „Свали като Excel“.
Оценка на лекторите и сесиите
Оценявайте сесиите и лекторите в отделни, кратки матрици.
- Матрица за сесиите. По един ред за всяка сесия, с нейното заглавие и лектора, същите пет отговора и колона „Не присъствах“. Ограничете я до около шест до осем реда: на телефон дългите матрици водят до отметки в една и съща колона отгоре до долу, прекъснати анкети и пропуснати редове. При по-голяма програма задайте първо „Коя секция посетихте?“ като въпрос с един отговор на отделна страница, а после чрез правилото „Покажи въпрос“ показвайте всяка матрица само на посетилите секцията. Ако хората се местят между секциите, направете по една анкета за всяка сесия.
- Матрица за лекторите. Три реда: познаване на темата, яснота на представянето и отговори на въпросите.
- Една сесия. Посочете я с едно падащо меню със „ден, час, заглавие“, а не с три полета за свободен текст: всеки изписва едно и също по различен начин и отговорите не могат да се преброят.
Когато оценяват всички сесии в края, хората ги сравняват една до друга, но спомените избледняват и общото впечатление се отразява на всяка оценка. Оценката веднага след сесията е по-свежа, но прекъсва повече. Моделът на Къркпатрик препоръчва проверки и по време на програмата, не само в края, затова оставете кратката проверка след всяка сесия за самите сесии, а крайната матрица – за програмата като цяло. Не четете малка разлика между двама лектори като класиране.
Хората поправят отговорите си, за да не се изложат, особено когато някой е до тях (Tourangeau и Yan, 2007). Затова онлайн анкета, попълнена насаме, може да получи по-откровени коментари за лекторите от хартиен лист, предаден на изхода, макар и по-малко, ако пита за име. Показвайте на лекторите само обобщени резултати и не наричайте анкетата анонимна; как да го кажете точно, вижте в статията за разликата между анонимна и поверителна анкета.
Шест грешки в готовите списъци с въпроси
Повечето списъци с въпроси за събития повтарят едни и същи шест грешки. Проверете своя формуляр по тях.
| Грешка | Типичен пример | Поправка |
|---|---|---|
| Две неща в един ред (двоен въпрос) | „Храни и напитки“, „Паркинг и удобства“ | По един ред за всяко |
| Небалансирани или различни скали | Отлично / Мн. добро / Добро / Задоволително / Слабо / Ужасно, а в следващата матрица друг набор | Една балансирана петстепенна скала с надпис на всяка степен навсякъде |
| Двусмислени редове | „Времетраене“ с оценка от „Отлично“ до „Лошо“; „Цени“; „Удобство на мястото“ | Твърде кратко / Колкото трябва / Твърде дълго; уточнете коя цена; отделете „лесно се стига“ от „удобно е“ |
| Редове, които не всеки е ползвал | Паркинг, изложението, вечерята | Колона „Не ползвах“ |
| Твърде много отворени въпроси | Четири, два от тях почти еднакви | Най-много два, незадължителни |
| Въпрос дали ще дойдат пак без ясен отрицателен край | Много вероятно / Донякъде вероятно / Малко вероятно | Балансирана петстепенна скала с два отрицателни отговора |
Как да четете отговорите и какво да правите с тях
Подредете елементите по дела на недоволните сред оценилите ги, разделете новите от връщащите се участници и по причина за участие, групирайте отворените отговори по теми и кажете колко души са отговорили.
Делът на недоволните. За всеки елемент разделете броя на избралите „Недоволен“ или „Много недоволен“ на броя на оценилите го, без „Не ползвах“. Ако на реда за кафе паузите са отговорили 85 души, 25 от тях са избрали „Не ползвах“, а 12 са недоволни, резултатите показват 14 % (12 от 85), но делът сред оценилите е 20 % (12 от 60). Подреждайте по този дял, а не по средната оценка, която може да скрие недоволно малцинство.
Разделяне на резултатите. За да видите само новите участници или само една причина за участие, използвайте „Създай филтър“, после „Покажи само отговори където“, „Когато въпрос“ … „е равен на“. За да сложите два въпроса един срещу друг, отворете „Крос табулация“; тя работи с въпроси с един отговор, с няколко отговора, с падащо меню и с избор на изображение.
Преди и след. Сравнете това, за което хората казват, че са дошли, с оценката на очакванията, разделена по причината, посочена след събитието. Сравнявайте групи, а не отделни хора: за да свържете отговорите на един човек в две анкети, ще трябва да знаете кой е той.
Отворените отговори. Прочетете ги всички, групирайте ги в няколко теми, пребройте отговорите във всяка тема и цитирайте един-два типични.
Кой е отговорил. Обратна връзка дават само тези, които сами са решили да я дадат, а процентът на отговорилите сам по себе си не показва дали в отговорите има систематично отклонение (Groves и Peytcheva, 2008). Пишете „отговориха N от около M присъствали“ до всяка графика, като вземате M от списъка от регистрацията на входа, защото имейлът с благодарност стига и до хората, които не са дошли. Проверете дали новите и връщащите се участници са отговорили приблизително в същото съотношение, в което са в този списък.
Малки числа. Показвайте броя, не само процента: един недоволен от петима е 20 %. Когато оценилите са под около 30, действайте само там, където недоволните са ясно повече, а не при разлика от един-двама души.
Издания и обратна връзка към участниците. Сравнявайте изданията само със същите въпроси и същата скала; нов набор от надписи прекъсва сравнението. В следващата покана кажете на участниците какво сте променили заради отговорите им.
Многодневни събития и обучения
При многодневно събитие пускайте формуляр с един до три въпроса в края на всеки ден (какво да оправим утре, коя беше най-полезната сесия за деня) и пълната анкета веднъж, след последния ден. Направете отделна анкета за всеки ден с настройката по подразбиране за устройствата, по причините от частта за оценката на няколко сесии от един телефон.
При обучение анкетата след него измерва реакцията – първото от четирите нива на модела на Къркпатрик: как участниците са приели обучението. Наученото, поведението и резултатите изискват други измервания по-късно; как да ги планирате, вижте в статията за четирите нива на Къркпатрик. За готови въпроси вижте анкетата за обратна връзка от обучение.
Три анкети, три решения
Всяка от трите анкети служи за свое решение. Преди събитието питайте защо хората идват и какво още не е решено. По време на него задавайте един-два въпроса след сесия и ги четете в почивката. След него изпратете една кратка анкета с балансирана скала с надпис на всяка степен, по едно нещо на ред, отговор „Не ползвах“ и отново въпроса за причината за участие. После подредете елементите по дела на недоволните сред оценилите и сравнете новите с връщащите се участници.
Преди следващото си събитие запишете всичко, което още е отворено, от програмата до кетъринга, и съставете предварителната анкета от този списък. Подгответе анкетата за след събитието по същото време, за да е въпросът за причината за участие дословно същият и в двете.
Готов шаблон: обратна връзка от събитие
9 въпроса за след събитието: обща оценка, матрица с пет елемента, какво им е харесало и дали участниците ще дойдат пак. Добавете колона „Не ползвах“ и въпроса за основната причина за участие.
Вижте шаблона