Отклонение поради липса на отговори: какво е и как да го намалим

Отклонението поради липса на отговори е изкривяване на резултатите, което се появява, когато хората, пропуснали анкетата, се различават от отговорилите точно по това, което анкетата измерва. Малкият брой отговори сам по себе си не го създава. Ниският процент на отговорилите прави отклонението по-вероятно, но не доказва, че резултатите ви са грешни, а високият процент не го изключва. Статията е за всеки, който изпраща анкета до списък със служители, клиенти, членове или ученици и трябва да прецени доколко може да се довери на резултатите. В нея ще намерите защо хората не отговарят, пет проверки, които можете да направите със собствения си списък и резултати, и какво да направите преди, по време на и след анкетата.

Най-важното

• Отклонението поради липса на отговори идва от разликата между отговорилите и неотговорилите, а не от малкия брой отговори.
• Ниският процент на отговорилите е предупреждение, а не доказателство. Още отговори от същите хора, които и без това отговарят, стесняват допустимата грешка, но отклонението остава.
• Можете да го проверите: сравнете отговорилите с поканените, ранните отговори с късните и попитайте неколцина от неотговорилите.
• Намалявате го с кратка анкета по тема, която засяга хората, с повторна покана само до неотговорилите и с отчет на процента на отговорилите заедно с ограниченията му.

Какво е отклонението поради липса на отговори

Отклонението поради липса на отговори е систематична грешка, която възниква, когато хората, които не отговарят, се различават от отговорилите по това, което анкетата измерва, и затова резултатите само от отговорилите се накланят в една посока. Среща се и като „отклонения, породени от липса на отговори“, а в англоезичната литература – като non-response bias.

Големината му зависи от две неща: колко души липсват и доколко се различават от останалите. Ако пропусналите анкетата приличат на отговорилите, резултатите не са изкривени, колкото и хора да липсват. Ако се различават, дори умерен дял липсващи измества резултата.

Да вземем анкета сред служителите. Ако по-възрастните служители отговарят по-рядко, резултатите се накланят към мнението на по-младите. Това се вижда, защото знаете възрастовата група на всеки, и може да се коригира. По-трудният случай е, когато хората пропускат анкетата заради отговора, който биха дали: ако недоволните от прекия си ръководител не я попълнят, удовлетвореността изглежда по-висока, отколкото е, и нищо в данните ви не го показва.

Отклонението поради липса на отговори засяга това кой отговаря. Отклонението в отговорите засяга това дали отговорите са верни.

Във втората колона попада и отклонението заради намесата на анкетьора, при което човекът, който задава въпросите, влияе на отговорите.

Пълна липса на отговор и пропуснати въпроси

Липсата на отговори бива два вида. При пълната поканеният не отговаря на нищо. При частичната респондентът попълва анкетата, но пропуска някои въпроси.

В онлайн панела на Pew Research Center около 1–2 % от респондентите пропускат обикновен затворен въпрос, а отворен въпрос пропускат средно около 18 %, от 3 % до малко над 50 % според въпроса (Pew Research Center, 2021). Пропуските са повече при попълване от мобилен телефон и при въпроси, които изискват повече мислене. Членовете на панела попълват анкети редовно, затова приемайте тези числа като долна граница за еднократна анкета.

Задължителният въпрос не може да се пропусне, затова при него липсата на отговор се проявява другояче: хората прекъсват анкетата или посочват какъв да е отговор. Сложете основните си показатели в затворени въпроси, а отворените оставете малко на брой и незадължителни (вижте предимствата и слабостите на отворените и затворените въпроси).

Нисък процент на отговорилите: предупреждение, а не доказателство

Процентът на отговорилите сам по себе си не показва дали резултатите ви са изкривени. Изследването на Pew Research Center от 2017 г. и по-ранни проучвания сочат, че той е ненадежден показател за отклонение (Pew Research Center, 2017).

В САЩ процентът на отговорилите в телефонните проучвания на Pew пада от 36 % през 1997 г. до 9 % през 2012 г. Проучването от 2012 г. все пак съвпада с държавните данни за сравнение по повечето показатели, а версия с повече усилия и 22 % отговорили се различава с два пункта или по-малко по 28 от 40 показателя (Pew Research Center, 2012). Там обаче, където самата тема определя желанието за участие, отклонението е голямо. През 2012 г. 55 % от респондентите казват, че са работили като доброволци, срещу 27 % в държавното проучване Current Population Survey; през 2017 г. 46 % съобщават, че са работили заедно със съседите си, срещу 8 % в същия държавен източник. Хората, които помагат на другите, по-охотно попълват и анкети.

Едно условие е важно. Pew претегля проучванията си така, че възрастта, полът, образованието, расата и регионът да съответстват на населението, и изводът важи след тази корекция. Анкета, изпратена до списък със служители или клиенти, обикновено не се претегля, затова това сравнение трябва да направите сами (проверка 1 по-долу).

Един пример показва защо броят не е проверката. От група от 20 000 души поканвате 200 и получавате 50–60 отговора. Ако тези отговори бяха случайна извадка, допустимата грешка щеше да е около ±13 процентни пункта при ниво на доверие 95 % (за въпрос, по който мненията се делят 50 на 50): широка, но достатъчна, за да видите големите разлики. Щом групата наброява хиляди, размерът ѝ почти не влияе: 377 отговора дават около ±5 пункта и при 20 000, и при 2 милиона души. Истинският въпрос е дали отговорилите 50–60 приличат на останалите около 140–150 поканени. Ако поканите 600 и получите 180 отговора от същия тип хора, ще стесните допустимата грешка, но не и отклонението. Защо е така, обяснява статията за разликата между стохастичната грешка и отклонението.

Защо хората не отговарят на анкетата

Хората, които не отговарят, попадат в три групи и всяка има нужда от различна мярка.

Когато причината са деликатните въпроси, вижте какво да правите с чувствителните въпроси в анкетата.

Един случай изобщо не е липса на отговори. Ако списъкът ви е непълен или остарял, част от хората, които трябва да участват в анкетата, никога не получават покана. Това е непълен обхват и повторните покани няма да го оправят; оправя го само по-добрият списък.

Как да проверите дали липсата на отговори изкривява резултатите

Сравнете отговорилите с поканените. Ако съставът им съвпада по всичко, което знаете, това успокоява, но не е доказателство. Четири от петте проверки използват данни, които вече имате; четвъртата пита направо неколцина неотговорили.

1. Сравнете отговорилите с всички поканени

Използвайте това, което знаете за всеки в списъка: отдел, регион, вид клиент или възрастова група. Група, която е отговорила наполовина по-рядко от останалите, е слабо представена в резултатите. В Survey.bg, ако сте включили „Следете получените отговори“ (по подразбиране проследяването е изключено) и имейл списъкът ви пази стойност за всеки адрес, например отдела, филтрирайте резултатите с „Имейл стойност е“. Иначе добавете един демографски въпрос, сравнете броя отговори от всяка група с броя на хората в нея и в раздела „Крос табулация“ вижте дали основните отговори се различават по групи.

2. Сравнете процента на отговорилите по групи

Нисък процент в една група е по-важен от нисък общ процент. Докато анкетата е отворена и проследяването е включено, филтърът „Неотговорили“ в списъка с получатели показва кой още липсва. Погледнете отново след всяка повторна покана.

3. Сравнете ранните и късните отговори

При имейл анкета „късни“ са отговорите след повторната покана. Хората, които отговарят едва след нея, често, макар и не винаги, приличат повече на онези, които изобщо не отговарят. Разделете отговорите по датата на повторната покана с филтъра „Анкетата е завършена между“ (той се води по датата, на която е започнат всеки отговор). Ако двете групи се различават по основните въпроси, подозирайте отклонение; това е подсказка, а не доказателство.

4. Попитайте неколцина от неотговорилите

Задайте на няколко души, които не са отговорили, един-два основни въпроса по телефона или лично, с неутрална формулировка. Нищо друго не показва какво мислят неотговорилите: Австралийското статистическо бюро отбелязва, че въпросът може да се реши напълно само с данни от самите неотговорили. Хората, които ви отговорят сега, са по-склонните сред неотговорилите, затова четете резултата като посока, а не като число.

5. Вижте пропуснатите въпроси и къде хората спират

Въпрос, който мнозина пропускат, е липса на отговор на отделен въпрос, а страницата, на която спират незавършените отговори, показва къде хората се отказват. Филтърът „Покажи незавършени отговори“ и условието „няма отговор“ при даден въпрос ви показват къде.

Как да намалите отклонението преди и по време на анкетата

Насочете усилията си към групите, които липсват, а не към общия брой. Още начини поканените да отговорят ще намерите в деветте съвета за увеличаване на броя на респондентите.

Прегледът на Cochrane на Edwards и колеги (2023; 758 рандомизирани изпитвания, данни до декември 2021 г.) показва какво е повишило отговорите на уеб и имейл анкети:

Отношение на шансовете над 1 означава повече отговори, под 1 – по-малко. При около половината от изпитаните подходи резултатите се различават силно между изпитванията.

Повече отговори не означава по-малко отклонение. Стимулът, паричен или под формата на ваучер, привлича и хора, на които темата е безразлична. Това намалява отклонението, когато липсват точно те, но може да разшири разликата, когато привлича главно групи, които и без това отговарят, затова направете проверка 1 преди и след. Предпочитайте мерки, които стигат до липсващите групи: втори начин за отговор (на хартия, по телефона или лично), повторна покана от неутрален подател, на когото имат доверие (HR или човек от ръководството, който стои зад проучването, но никога прекият ръководител на екипа, за който се пита), и време, удобно за работещите на смени.

Изпращайте повторна покана само до неотговорилите. В изпитванията с пощенски въпросници повторната покана по имейл е повишила отговорите (отношение на шансовете 1,60). В Survey.bg изпратете нов имейл с „Изпрати имейл до получатели, които“ и „Не са отговорили на досегашна имейл покана“. Инструментът знае кой е отговорил само когато е включено „Следете получените отговори“, а то по подразбиране е изключено (вижте следващия абзац). Тогава „неотговорил“ означава човек, който не е отворил анкетата от линка в собствената си покана: който е започнал и спрял, не получава имейла, а който е отговорил през друг линк, го получава. Без проследяване тази опция изпраща имейла до целия списък. Преди да изпратите, проверете кои групи още липсват. Всеки имейл се брои към месечните имейл покани на плана ви.

Кажете кой вижда отговорите и какво се записва. Обяснете защо правите проучването, как ще се използват резултатите, кой има достъп до тях и че се показват само обобщено; в изпитванията с пощенски въпросници уверението за поверителност е повишило отговорите (1,33). Не обещавайте анонимност. Ако включите проследяването, за да изпратите повторна покана само до неотговорилите, кажете го, защото същата настройка ви позволява да видите отговорите на всеки човек: „Записваме кой е отворил анкетата от поканата си, за да изпратим повторна покана само до онези, които още не са го направили. Организаторът вижда отделните отговори, а резултатите се показват само обобщено.“ Самата покана тогава добавя в долната си част бележка, че отговорите не са анонимни.

Нека анкетата е кратка, а въпросите – такива, на които може да се отговори. Посочете реалната продължителност: в изпитванията на Cochrane обявяването на по-кратко или по-дълго време не е дало надеждна полза. Махнете въпросите, които анализът няма да използва, подредете останалите логично, поправете сложните, неясните и многословните въпроси и включете „Покажи опция Друго“ или вариант „Не знам“, където това е честен отговор. Отбелязвайте „Задължителен отговор“ само на въпросите, без които не можете (респондентът ги вижда със звездичка): ако всеки отговор е задължителен, хората се отказват или посочват какво да е.

Направете пробно попълване и засечете времето. Дайте анкетата на двама-трима души от целевата група и засечете колко време им отнема, вместо да разчитате на правило колко въпроса се попълват за минута.

След анкетата: претегляне и отчет на процента на отговорилите

Претеглянето коригира резултатите така, че всяка група да тежи колкото е делът ѝ сред поканените: ако са отговорили по-малко по-възрастни служители, техните отговори получават малко по-голяма тежест. То поправя само признаците, по които претегляте. Ако хората са пропуснали анкетата заради мнението си, претеглянето по възраст или отдел няма да го поправи, а оценките стават по-малко точни. Практическо правило, а не стандарт: претегляйте по един-два признака и с поне около 20–30 отговора във всяка група; иначе покажете състава на отговорилите до състава на поканените. Survey.bg не претегля отговорите, но можете да го направите в електронна таблица след „Свали като Excel“.

Отчитайте процента на отговорилите заедно с определението му. Най-простото стандартно определение, RR1 в Standard Definitions на Американската асоциация за изследване на общественото мнение (AAPOR), е броят завършени отговори, разделен на броя поканени. Ако броите и частичните отговори, кажете го. Инструментът не отчита върнатите имейли, затова недоставените адреси остават в бройката и процентът ви е долна граница. Анкета, разпространена с общ линк, няма известен брой поканени, затова за нея процент на отговорилите не може да се посочи.

Кажете какво са показали проверките и в каква посока би изместило резултатите останалото отклонение: „Търговският отдел е отговорил наполовина по-рядко от останалите и е дал по-ниски оценки, така че общата оценка може да е малко завишена.“

Накратко

Сравнете отговорилите с поканените, съпоставете ранните отговори с късните и когато залогът е голям, попитайте неколцина неотговорили. Изпращайте повторна покана само до онези, които не са отговорили, насочете усилията си към групите, които изостават, и отчетете процента на отговорилите с определението му и с това, което са показали проверките.

Анкетата сред служителите е най-лесното начало: знаете кого сте поканили и в кой отдел работи всеки. Започнете от готовия шаблон за работна среда по-долу: в него вече има въпроси за отдела и стажа, така че можете да сравните отговорилите от всеки отдел с броя на служителите в него.

Още по темата

• Нужно ли е да „слушаме“ посетителите на уебсайтове и защо?
• Анкетата на малкия екран: кои правила се потвърждават от изследванията
• Как да достигнем до правилната аудитория на анкетата