Как проектирането на анкетата зависи от бъдещия анализ на данните

Проектирането на анкетата зависи от анализа на данните, който ще направите след това: видът на всеки въпрос определя каква диаграма ще начертаете и какво число ще напишете в отчета. Затова първо решете числото и едва после пишете въпроса. Един отговор от човек дава дялове от цялото, които се събират до 100 %. Няколко отговора от човек дават дялове от участниците, чийто сбор минава 100 %. Оценката по скала дава разпределение по подредени степени. Отвореният отговор дава текст, който трябва да кодирате, преди да го преброите. Статията е за всеки, който прави анкета в онлайн инструмент. В нея ще намерите таблица „вид въпрос – диаграма – число“, грешките в проектирането, които развалят всеки от тези случаи, и какво ще ви покаже екранът с резултатите.

Най-важното

• Един отговор от човек дава дялове, които се събират до 100 %. Покажете ги със стълбчета, а с кръгова диаграма – само ако частите са до пет и една от тях е ясно най-голяма.
• При „отбележете всички подходящи“ отчитайте всеки отговор като процент от участниците, дори сборът да мине 100 %. За този вид въпрос колоната % в Survey.bg е дял от всички отметки, а не от хората.
• Една оценка по скала не е ликертова скала. Използвайте от 5 до 7 степени, дума за всяка степен и средна точка на двустранна скала и отчитайте цялото разпределение.
• Отворените отговори могат да се преброят, след като ги кодирате по теми, но това струва време.

Започнете от числото, което ще отчетете

Преди да напишете въпроса, напишете изречението, което той ще даде в отчета („Х % от клиентите …“, „трите най-чести причини са …“), диаграмата, която му трябва, и групите, които ще сравнявате. Ако не можете да напишете изречението, въпросът или не е нужен, или още не е ясен. Ако и целта на цялата анкета е още мъглява, първо определете каква информация ви трябва.

Пример: искате да разберете дали клиентите предпочитат доставка до адрес или да вземат поръчката си от магазина. Изречението в отчета може да е „58 % предпочитат да вземат поръчката от магазина“ (всички числа в примерите тук са измислени). Това означава въпрос с един отговор, два варианта и „Нямам предпочитание“, показан със стълбчеста диаграма.

След това избройте групите, които ще сравнявате, например нови и постоянни клиенти, и преценете колко отговора ще има във всяка. Процент, сметнат от по-малко от няколко десетки отговора, се мести с по няколко пункта при всеки нов участник, а Survey.bg не проверява дали разликата между две групи е статистически значима. Затова под всяка диаграма пишете базата: броя на отговорилите (n).

Видове въпроси, диаграми и числа: таблицата

Намерете в първата колона числото, което ви трябва, и прочетете реда. Видовете въпроси са с имената от редактора на Survey.bg.

Резултатите са в пет раздела: „Обзор“, „Анализ“, „Крос табулация“, „Индивидуални отговори“ и „Управление на филтри“. В „Анализ“ всеки въпрос с избор има таблица с броя и процента на отговорите и стълбчеста диаграма на броя; с „Промени диаграма“ тя става кръгова. Всичко, което екранът не изчислява, идва от експорт: от „Анализ“ („Свали като Excel“, „Свали като PDF“) или от „Индивидуални отговори“ („Свали като CSV“, „Свали като Excel“; файлът в Excel оттук пристига по имейл).

Затворени въпроси с един отговор: дялове от цялото

Когато всеки човек дава един отговор, процентите се събират до 100 % от отговорилите. Две правила за вариантите и едно за диаграмата гарантират, че дяловете са верни.

Варианти без припокриване и без празнини

Всеки участник трябва да намери точно един вариант, който се отнася за него. Списък за семейно положение с „женен/омъжена“, „неженен/неомъжена“ и „разведен(а)“ оставя без отговор овдовелите и хората, които живеят с партньор без брак. Използвайте категориите на Националния статистически институт (НСИ) и включете „Покажи опция Друго“, за да има отговор „Друго (моля, уточнете)“.

Възрастови групи 20–30 и 30–40 слагат всеки 30-годишен на две места, а без група „под 20“ по-младите няма къде да отговорят. Пишете „под 20“, 20–29, 30–39 и т.н. Вътрешните групи нека са с еднаква ширина, а където можете, ползвайте групите на НСИ или на предишната си анкета, за да сравнявате резултатите. Отворена първа или последна група, като „65 и повече“, е нормална. Месеци, разделени на януари–февруари, март–юни и август–ноември, дават неравни периоди и изпускат юли и декември. Използвайте четири периода по три месеца, шест по два или три по четири. Как се формулира самият списък, е описано в статията как да оформите въпрос с избор от няколко варианта.

Кръгова или стълбчеста диаграма

Кръговата диаграма, „питката“, работи само при до пет части, от които една е ясно най-голяма: плоска, с надпис на всяко парче и от най-голямото надолу. Във всички останали случаи ползвайте стълбчета; така съветва и британската държавна аналитична служба (Analysis Function) в ръководството си Data visualisation: charts от 2022 г. Подреждайте стълбчетата по големина, освен ако категориите имат естествен ред, като възрастта и месеците.

После посочете базата. Редът „Общо“ под всяка таблица в „Анализ“ е броят на хората, избрали някой вариант, заедно с „Други отговори“. Сравнете го с броя на отговорите в „Обзор“ и дайте и двете числа: „58 % от 212-те отговорили“. Стълбче за хората, пропуснали въпроса, няма; ако ви трябва, добавете го от експорта.

Затворени въпроси с няколко отговора: процент от участниците

Когато хората могат да отбележат няколко варианта, отчитайте всеки като дял от хората, отговорили на въпроса, а стълбчетата подредете по големина. Сборът им може да мине 100 % и това е вярно: хората отбелязват по няколко отговора.

Форматът на въпроса също мести числата. В експеримент на Pew Research Center с 4581 възрастни в САЩ (проведен през 2018 г., публикуван през 2019 г.) въпросът „да или не“ за всеки елемент дава по-високи стойности от списъка „отбележете всички подходящи“ при всичките дванадесет елемента, средно с 8 пункта, а подредбата на елементите по големина остава почти същата. Pew вече ползва формата „да или не“, защото кара хората да обмислят всеки елемент. Изводът на Pew, че по-високите стойности са по-близо до истината, почива на допускането, че хората по-скоро премълчават, отколкото преувеличават, затова напишете в отчета кой формат сте използвали. Ако ви е важно самото ниво, питайте „да или не“ за всеки елемент; ако ви трябва само подредбата, списъкът с отметки е достатъчен. И помнете какво брои отметката: въпросът „През кои месеци посетихте магазина ни?“ брои хора за всеки месец, а не посещения.

Колоната % в Survey.bg не е дял от участниците. При „Множество отговори“ и при изображенията с „Множествен избор“ тя показва дела на всеки вариант от всички поставени отметки, включително отговорите „Друго“, затова сборът е 100 %. Да речем, че 100 души отговарят и поставят общо 150 отметки, 62 от тях за имейл: екранът показва имейла с около 41 %, а всъщност 62 % от участниците ползват имейл. Разделете броя за всеки вариант на броя на отговорилите на въпроса; него ще намерите в експорта от „Индивидуални отговори“.

Две настройки променят самия въпрос. „Мин брой избрани опции“ над едно кара хората да отбелязват неща, които не биха избрали. „Макс брой избрани опции“ („изберете до три“) превръща „кое се отнася за вас“ в „кое е най-важно“, т.е. във въпрос за приоритети. Ползвайте ги само когато точно това искате да попитате.

Скала за оценка или ликертова скала: изберете скалата според резултата

Ликертовата скала е набор от твърдения, на които се отговаря по една и съща скала „съгласен – несъгласен“, а отговорите се обединяват в общ бал. Един въпрос от типа „оценете от 1 до 5“ е въпрос за оценка и се отчита с разпределението на отговорите. Елементът „Ликертова скала“ в Survey.bg е точно такава единична оценка: една скала от 2 до 10 степени, с думи само в двата края, а в резултатите – брой и процент за всяка степен.

Едностранна или двустранна скала

Двустранната скала (от „много недоволен“ до „много доволен“) има нужда от средна точка и от еднакъв брой степени от двете страни. Едностранната (от „изобщо не е важно“ до „изключително важно“) няма среда и обикновено работи добре с пет степени.

Колко степени

Сигурният избор е скала от пет до седем степени. В прегледа на Krosnick и Presser от 2010 г. надеждността расте от две до пет степени, след седем ползата е минимална, а над седем все по-трудно се намират думи за всяка степен; най-слаби са скалите с три степени. Отвъд това данните не са еднозначни: Maitland (Survey Practice, 2009) описва голямо изследване, в което късите скали се справят добре, и довод в полза на скали до 11 степени с думи само в краищата. Затова скала от 0 до 10 е защитим избор, когато ви трябва, например за да сравнявате с вече натрупани данни.

Дума за всяка степен

Дума за всяка степен прави отговорите по-надеждни, а думите трябва да делят скалата на приблизително равни стъпки. Елементът „Ликертова скала“ има думи само в краищата. За да надпишете всяка степен, използвайте „Един отговор само“ с по един вариант за степен или „Един отговор на редица“ с надписана колона за всяка степен.

Средната точка

На двустранна скала запазете средната точка. Статистически това е редно: Krosnick и Presser цитират изследване (O'Muircheartaigh, Krosnick и Helic, 1999), според което средната точка повишава надеждността и валидността, а хората с наистина неутрално мнение без нея избират наслуки съседна степен. Опасението, че тя привлича небрежни отговори, има само частична подкрепа. Махнете я само когато въпросът е решение, което трябва да падне на едната страна, и го кажете в отчета. Въпросът „Какво ще науча, ако всички изберат „неутрално“?“ е полезна бърза проверка, но не и доказателство.

Твърдения „съгласен – несъгласен“

Твърденията, с които човек трябва да се съгласи или не, подтикват към съгласие, каквото и да казват; това се нарича склонност към съгласие. Пряк въпрос с надписани отговори („Колко сте доволни от доставката?“) или избор между две противоположни твърдения я намалява.

Как да отчетете оценката

Всеки участник избира една степен, така че отговорите по скалата се изключват взаимно. Степените обаче са подредени и затова съседните могат да се обединят („доволни“, „недоволни“) за едно основно число, например „71 % са доволни или много доволни“. Обединяването губи информация: в едно изследване, цитирано от Krosnick и Presser, надеждността е 0,83 при оценка с 6 степени и 0,71, след като същите отговори се прегрупират в две. Затова показвайте цялото разпределение със стълбчета в реда на скалата, не с кръгова диаграма, пазете пълната таблица и слагайте разпределението до всяка средна стойност. „Звездички“ и „Лента за избор“ показват на екрана само средна стойност за всеки елемент, без разпределение, затова го вземете от експорта.

Как се анализират отворените въпроси

Отворените отговори се превръщат в числа чрез кодиране: прочитате част от тях, съставяте кратък списък с теми, отнасяте всеки отговор към една или повече теми и преброявате. Ако двама души кодират едни и същи отговори и сравнят резултата, броят е по-надежден. Тогава основното число е от рода на „28 % споменават цената“, показано със стълбчета по теми.

Кодирането отнема време, а хората пропускат отворените въпроси много по-често. В онлайн панела на Pew Research Center (American Trends Panel) отворените въпроси от 2018 до 2021 г. остават без отговор средно при около 18 % от участниците (от 3 % до малко над 50 %) срещу 1–2 % при затворените. Затова задавайте малко отворени въпроси и ги пазете за причините, казани със собствени думи. При пробното попълване отвореният въпрос може да ви даде и списъка с варианти за затворен въпрос. За плюсовете и минусите вижте предимствата и слабостите на отворените и затворените въпроси, а за избора между тях – кога да използваме отворени и кога затворени въпроси.

В „Анализ“ отворените отговори са изброени един по един с датата им, без групиране и броене. Свалете ги от „Индивидуални отговори“ и ги кодирайте в електронна таблица.

Задължителни отговори и „не знам“: пазете базата

Направете въпроса задължителен само ако всеки участник наистина може да му отговори, например въпрос за подбор, по който логиката прескача въпросите, които не се отнасят за дадения участник. Иначе принуденият отговор става догадка, а Американската асоциация за изследване на общественото мнение (AAPOR) предупреждава в препоръките си за добри практики, че задължителните отговори увеличават риска хората да прекъснат анкетата.

• Въпросът може да не се отнася за всеки (ползвали ли сте услугата?): добавете „Не се отнася за мен“ или „Не съм сигурен“.
• Мнение или удовлетвореност по скала: не добавяйте „Нямам мнение“. Krosnick и Presser описват, че хората избират този отговор и когато имат мнение, и качеството на данните пада. Вместо това направете оценката незадължителна.
• Чувствителен въпрос: позволете да бъде пропуснат или да се избере „Предпочитам да не отговоря“.

Отчитайте колко души са отговорили на всеки въпрос. „Задължителен отговор“ се задава за всеки въпрос поотделно и по подразбиране е изключен; задължителен въпрос, скрит от логиката, не пречи анкетата да бъде изпратена.

Проверете анализа, преди да изпратите анкетата

Попълнете черновата веднъж сами с крайни отговори и помолете няколко колеги да я попълнят. После отворете резултатите и напишете изреченията от отчета според това, което виждате. Това е най-евтиният урок по анализ на анкета: ако някое изречение не може да се напише, променете въпроса сега. Статистическата служба на Канада (Statistics Canada) отбелязва, че пробно попълване с много малко хора открива повечето проблеми с формулировките и последователността. Преди старта изтрийте пробните отговори в „Индивидуални отговори“ (изтриването е окончателно). Вижте също как да подредите въпросите и да тествате черновата и съвети за формулирането на всеки въпрос.

Последователност на въпросите

Въпрос, зададен по-рано, може да промени отговорите на следващите. Затова вървете от общото към конкретното и пазете всеки въпрос, който следите във времето, на едно и също място във всяко издание на анкетата. Започнете с лесни въпроси по темата, а демографските оставете към края, освен ако някой от тях решава кой продължава нататък.

Накратко

Анкета, проектирана за анализ, започва от отчета: първо напишете изречението и диаграмата за всеки въпрос, после изберете вида въпрос, който ще ги даде. Не смесвайте четирите вида резултат: дялове от цялото, дялове от участниците, разпределение по скала и кодирани теми. Преди старта проверете дали екранът с резултатите ви позволява да напишете всяко изречение, и отбележете какво ще трябва да вземете от експорта, например дела от участниците при „Множество отговори“ или разпределението зад средната стойност на „Лента за избор“.

За да се упражните, отворете шаблона за оценка на продукт или услуга, напишете изречение за отчета към всеки от въпросите му и поправете всеки въпрос, който не може да даде своето число, преди да изпратите анкетата.

Още по темата

• Нужно ли е да „слушаме“ посетителите на уебсайтове и защо?
• Анкетата на малкия екран: кои правила се потвърждават от изследванията
• Как да достигнем до правилната аудитория на анкетата