Kwestionariusz stanowi naturalne rozwinięcie szczegółowych pytań badawczych, dlatego przede wszystkim powinien być z nimi spójny.

Oznacza to, że każdy cel badawczy powinien być zaadresowany przez jedno lub kilka pytań w kwestionariuszu. Co do zasady, obecność pytań wykraczających poza cele badawcze nie jest dużym przewinieniem, ale należy pamiętać, że każde dodatkowe pytanie zwiększa objętość narzędzia, wydłuża czas wypełnienia przez respondenta, powoduje jego zmęczenie i spadek koncentracji oraz zwiększa koszty realizacji.

Nieprzemyślana kolejność pytań, bloków czy zestawów bloków może powodować u respondenta uczucie dezorientacji, zmęczenia, a nawet frustracji skutkującej porzuceniem ankiety w trakcie wypełniania.

Dotyczy to zarówno ankiet długich, jak i tych zawierających tylko kilka pytań.

Aby ułatwić organizację i przebieg ankiety, dobrym zwyczajem jest stworzenie podziału na bloki. Liczba bloków oraz objętość każdego z nich zależy oczywiście od obszerności celów badawczych, jednak dla każdego kwestionariusza można wyróżnić następujące trzy części:

I. Screen-out - kwalifikacja do ankiety

Inaczej część screeningowa lub screenująca (ang. screen – przesiewać) zawiera tzw. pytania kwalifikujące do głównej części ankiety. Zazwyczaj wykorzystywana przy celowym doborze próby lub kwestionariuszach rekrutacyjnych (np. w badaniach jakościowych). Część ta ma na celu odpowiednią selekcję respondentów, przez co stanowi bardzo istotny fragment badania, a jego nieodpowiednie sformułowanie może skutkować zaburzeniem wyników całego projektu.

Pod adresem screenoutu można sformułować kilka prostych zasad:

1) Nie powinien ukierunkowywać respondenta na cel badania, tj. nie powinien sugerować, którą odpowiedź respondent ma wybrać, aby zakwalifikować się do badania właściwego.

Należy zatem unikać pytań zawierających w sobie definicję grupy celowej. Przykładowo, chcąc dotrzeć do osób, które konsumują jagodzianki kilka razy w tygodniu lub częściej, za pomocą pytania

Czy sięgasz po jagodzianki Czy sięgasz po jagodzianki przynajmniej kilka razy w tygodniu?
• Tak
• Nie

zbyt wyraźnie sugerujemy respondentowi, co powinien wybrać, aby zakwalifikować się do dalszej części ankiety (i np. otrzymać pełne wynagrodzenie)

Nieco lepszym rozwiązaniem będzie próba uzyskania tej samej informacji zadając pytanie o częstotliwość konsumpcji, np.

Jak często sięgasz po jagodzianki?
• Raz w miesiącu lub rzadziej
• Kilka razy w miesiącu
• Raz w tygodniu
• Kilka razy w tygodniu
• Codziennie lub prawie codziennie

A prawdopodobnie najlepszym sposobem będzie zadanie pytania w formie tabeli / matrycy / karuzeli, w której zapytamy respondenta o częstotliwość sięgania o różne rodzaje słodyczy na tej samej skali, wyświetlając nazwy słodyczy w losowej kolejności, np.

Dla każdego z poniższych produktów, określ jak często po niego sięgasz?

Wiersze: lista produktów, wyświetla w losowej kolejności

Skala:

• Raz w miesiącu lub rzadziej
• Kilka razy w miesiącu
• Raz w tygodniu
• Kilka razy w tygodniu
• Codziennie lub prawie codziennie

2) Powinien być możliwie krótki, tzn. zawierać tylko te pytania, które służą selekcji respondentów. Nie należy miksować ze sobą pytań z innych części kwestionariusza, np. części głównej albo metryczki.

3) Powinien bazować na pytaniach zamkniętych lub w ostateczności na pytaniach otwartych, do których logika przejścia jest w pełni zautomatyzowana.

Przykładem takiego pytania jest np. pytanie numeryczne (np. o wiek lub o liczbę posiadanych samochodów), które wymuszają na respondencie wpisanie wartości w konkretnym formacie. Zdecydowanie jednak zalecamy stosowanie wyłącznie pytań o charakterze zamkniętym, aby uniknąć niepotrzebnych niejednoznaczności oraz zminimalizować fatygę respondenta w pierwszych minutach ankiety.

II. Część zasadnicza ankiety

To najważniejsza, a zaraz najbardziej merytoryczna część kwestionariusza. Nie będziemy w tym miejscu opisywać całego repertuaru typów pytań, skal, czy zaawansowanych technik badawczych do potencjalnego wykorzystania w ankiecie, a skupimy się na uniwersalnych zasadach projektowania.

W różnych dyscyplinach można spotkać się z tzw. modelem lejka (ang. funnel) lub odwróconego lejka. W kontekście budowy kwestionariusza oznacza to dwa różne podejścia od ogółu do szczegółu lub odwrotnie.

Przy większości standardowych badań, zdecydowanie rekomendujemy ten pierwszy kierunek, chociaż należy pamiętać, że istnieją badania, w których zasadne będzie poprowadzić respondenta od pytań o detale, a zakończyć na bardzo ogólnych tematach.

Najbardziej wyrazistym struktury lejkowej jest zestaw pytań wchodzących w ramy tzw. analizy lejkowej (ang. funnel analysis) opisującej pewien fragment ścieżki konsumenta (ang. customer journey), np.:

1. Wybierz wszystkie marki, które znasz:
2. Zaznacz wszystkie marki, które kupiłeś/aś w ciągu ostatnich 12 miesięcy:
3. Zaznacz wszystkie marki, które kupiłeś/aś w ciągu ostatnich 6 miesięcy:
4. Zaznacz wszystkie marki, które kupiłeś/aś w ciągu ostatnich 3 miesięcy:
5. Wskaż markę, którą kupiłeś/aś jako ostatnią:

Jak można zauważyć, zbiór marek do wyboru respondenta w każdym pytaniu jest nie większy niż zbiór wyświetlony w pytaniu poprzednim (albo równoważnie – w każdym kolejnym pytaniu respondentowi wyświetlane są tylko te marki, które wybrał wcześniej).

Ten oczywisty przykład narzuca jednoznaczny rygor, co do kolejności pytań, natomiast w wielu przypadkach kolejność pytań ma podłoże metodologiczne. Klasycznym przykładem są pytania na temat różnych rodzajów świadomości (marki, reklamy, hasła itp.). W psychologii społecznej często można spotkać termin torowanie (ang. priming) na określenie efektu następujących po sobie zjawisk. W kwestionariuszu taka zależność może zachodzić między pytaniem o znajomość spontaniczną lub top-of-mind, a pytaniem o znajomość wspomaganą.

Zadając te pytania w jednej ankiecie, należy pamiętać, aby zawsze znajomość spontaniczna była przed wspomaganą – w przeciwnym wypadku wskaźniki spontanicznej znajomości będą systematycznie zawyżone (bo respondenci uzyskają „podpowiedź” w poprzednim pytaniu).

Na kwestionariusz można patrzeć, jak na rozmowę z nowo poznaną osobą. Rzadko kiedy zaczynamy taką konwersację od tzw. „ciężkich” tematów – raczej omawiamy kwestie lekkie, mało kontrowersyjne, łatwe w komunikacji. Podobnie jest z kwestionariuszem – pierwsze pytania powinny być możliwe przystępne, proste w odbiorze, bezproblemowe, nie powodujące u respondenta poczucia dezorientacji czy nadmiernego wysiłku.

W szczególności, w takiej części „rozgrzewkowej” nie powinno się umieszczać pytań tzw. drażliwych, czyli kwestii dotyczących kwestii wrażliwych, delikatnych dla respondenta. Co jest, a co nie jest drażliwym tematem dla respondenta – to często indywidualna kwestia, natomiast istnieją obszary, które z dużym prawdopodobieństwem będą problematyczne dla ankietowanych np.:

• Używki i nałogi
• Życie seksualne
• Choroby i dolegliwości
• Posiadany majątek, dochody
• Wydatki, długi
• Działania niezgodne z prawem
• Osobiste pytania dotyczące ich bliskich

Ciekawym przypadkiem są tzw. pytania projekcyjne. Mimo, że częściej możemy je spotkać w badaniach jakościowych, aby zaktywizować grupę lub zwerbalizować trudno uświadamiane wnioski, to również możemy na nie trafić w ankietowych badaniach ilościowych. Zalicza się do nich na ogół bardziej rozbudowane pytania otwarte, wymagające dłuższej wypowiedzi, jednak mogą to być pytania zamknięte o specyficznej, hipotetycznej treści np.

• „Wyobraź sobie, że jesteś następującej sytuacji (…)”
• „Gdybyś miał/a nieograniczoną ilość pieniędzy (…)”
• „Zakładając, że jesteś na bezludnej wyspie (…)”

III. Metryczka

Na pierwszy rzut oka część metryczkowa może pokrywać się treściowo ze screen-outem. Jednak zasadnicza różnica między nimi polega na tym, że w metryczka stanowi końcowy etap ankiety, wobec czego nie może już zawierać pytań, które wykluczą respondenta z badania.

Metryczka adresowana jest zatem do wszystkich osób, które pomyślnie przeszły ankietę, a wyniki z tej części najczęściej prezentowane są w raportach w sekcjach np. „Struktura próby” lub „Demografia respondentów”. Projektując metryczkę należy rozważnie gospodarować pytaniami – z jednej strony chcielibyśmy możliwie dokładnie sprofilować respondenta, z drugiej – nie zniechęcić go licznymi lub wrażliwymi pytaniami. Nie ma precyzyjnie wyznaczonej liczby pytań w metryczce, ale na pewno warto odpowiedzieć sobie na następujące pytania przy jej projektowaniu:

1) Czy o wszystkie cechy respondenta muszę pytać?
Może się okazać, że część danych jesteśmy w stanie wywnioskować z inaczej zadanego pytania z części screeningowej lub metryczkowej. W szczególności, jeżeli badanie realizujemy na panelu, wówczas istotną część danych posiadamy o respondencie jeszcze przed rozpoczęciem ankiety (np. płeć, wiek, miejsce zamieszkania, wykształcenie i in.)

2) Czy w przypadku pytań trudnych lub wrażliwych (np. o dochód, dolegliwości, orientację seksualną itd.) dodałeś/aś tzw. opcję ucieczkową, np. „brak odpowiedzi”, „nie chcę odpowiadać na to pytanie” lub ustawiłeś/aś te pytania jako nieobowiązkowe?

3) Jak ma się długość metryczki do całego kwestionariusza?
Jeżeli okaże się, że metryczka stanowi zdecydowaną większość objętości całej ankiety, respondent może odnieść wrażenie, że badanie służy nie tyle poznaniu jego opinii, a „wyciągnięciu” informacji na jego temat, co może skłonić go do porzucenia wywiadu. Zwykle część metryczkowa zawiera od kilku do kilkunastu pytań, a sytuacja, w których ta liczba przekracza 20, należą do sporadycznych przypadków.

Warto zaznaczyć, że istnieją sytuacje, w których celowo manipuluje się kolejnością pytań w ankiecie, przy czym dotyczy to bardzo specyficznych typów badań, np.:

• W różnych miejscach w ankiecie znajduje się identyczne pytanie, w celu sprawdzenia uważności respondenta
• Ankieta ma charakter quasi-eksperymentalny i jest skonstruowana według modelu: pomiar 1 – bodziec – pomiar 2
• Ankieta ma charakter pilotażowy – testowane są różne konfiguracje pytań, wyświetlane w losowej kolejności, aby wybrać optymalny kształt ankiety do badania głównego

Kwestionariusz powinien być napisany językiem zrozumiałym dla osób, które ją będą wypełniać. Inaczej komunikujemy się z osobami młodymi, osobami o niższym poziomie wykształcenia, a inaczej gdy respondent należy do środowiska akademickiego lub jest specjalistą w danej dziedzinie.

Częstym błędem, który przytrafia się nawet bardzo doświadczonym badaczom, jest stosowanie marketingowego żargonu. Dlatego nieraz w kwestionariuszu możemy trafić na słowo „outdoor” zamiast „billboard / reklama zewnętrzna”, „brand” zamiast „marka / producent” albo „lovebrand” zamiast „ulubiona marka”.

Treść pytań i odpowiedzi powinna być zwięzła, czyli na tyle krótka aby nie „zmęczyć” respondenta, zmuszając go do kilkukrotnego przeczytania treści, a jednocześnie – na tyle długa, aby zawrzeć wszystkie niezbędne informacje. Nie ma prostej reguły na obliczenie optymalnej długości tekstu, ale można przyjąć zasadę, że im krótsze (ale jednocześnie precyzyjnie sformułowane) pytanie, tym lepsze, jednak są pewne wyjątki:

1) Zmiana wątku / tematu ankiety – np. poprzez wstawienie zdania „Teraz chcielibyśmy zadać kilka pytań na inny temat”.
2) Konieczność wprowadzenia respondenta w temat, zapoznania go z definicją czegoś, o co będzie pytany w kolejnych częściach ankiety – np. „W dalszej części badania będziemy pytać o usługę ABC. Usługa ta polega na tym, że (…)”
3) Konieczność zawarcia specyficznej dla pytania instrukcji – np. „Uwaga, kolejne pytanie polegać będzie na wybraniu przez Ciebie jednego z dwóch elementów”

Pamiętajmy o tym, że po drugiej stronie ankiety siedzą ludzie. Dla wielu z nich, moment kontaktu z pytaniem ankietowym może być pierwszą okazją do zastanowienia się nad daną kwestią. Aby uniknąć niejednoznaczności w odpowiedziach, a także zbędnego wysiłku po stronie respondenta, warto zadbać o precyzję w formułowaniu pytań.

Pytania powinny być zadawane pojedynczo, tzn. każde pytanie powinno dotyczyć jednej kwestii. Należy unikać łączenia wielu pytań w ramach treści tego samego pytania. Przykładowo, błędem będzie sformułowanie pytania

Jak często jesz bajaderki i jagodzianki?

ponieważ respondent nie będzie wiedział, czy pytanie dotyczy częstotliwości konsumpcji samych bajaderek, samych jagodzianek, czy też sytuacji, których jednocześnie konsumował oba rodzaje słodyczy. Błąd łączenia kilku aspektów w ramach jednego pytania zdarza się nawet najlepszym badaczom. Nieraz można spotkać się np. z pytaniami typu

Jak bardzo jesteś zadowolony/a z produktu i był/abyś skłonny/a polecić go znajomym?

A przecież satysfakcja z produktu i gotowość do rekomendacji nie muszą iść w parze. Co więcej, nie wiemy czy respondent ma znajomych, którzy potencjalnie byliby zainteresowani produktem.

Analogicznie, odpowiedzi przypisane do danego pytania (tzw. kafeteria) powinny być sformułowane na podobnym stopniu ogólności. Należy unikać sytuacji, w których w ramach tego samego pytania jedna z odpowiedzi jest ogólnym lub szczególnym przypadkiem innej.
Błąd „zazębiania się” odpowiedzi może dotyczyć zarówno danych metryczkowych, np.

Wybierz stwierdzenie, które najlepiej opisuje Twoją sytuację w domu:

• Mieszkam z rodzicami, dziećmi i krewnymi
• Mieszkam z członkami mojej rodziny

Problem noże dotyczyć typowych pytań o częstotliwość wykonywania jakiejś czynności, np.

Jak często zdarza Ci się jeść jagodzianki?

• raz w tygodniu
• 1-3 razy w tygodniu
• 2-4 razy w tygodniu
• 4 lub więcej razy w tygodniu

Znacznie trudniejszym do uniknięcia czy wychwycenia błędem zazębiania się, jest sytuacja, gdy odpowiedzi odnoszą się do tej samej kwestii, ale niektóre z nich są mniej lub bardziej precyzyjne. Przykładowo w pytaniu:

Co najbardziej lubisz w jagodziankach?

• Ciasto
• Smak
• Zapach świeżego ciasta
• Naturalny smak świeżych jagód

W powyższym przykładzie „Ciasto” jest odpowiedzią nie tylko nieprecyzyjną, ale przede wszystkim zawiera się w niej inna – „zapach świeżego ciasta”. Analogiczna sytuacja występuje dla pary „Smak” –„Naturalny smak świeżych jagód”.

Należy unikać sytuacji, w których ta sama informacja zawarta jest w różnych elementach kafeterii, np. w poniższej sytuacji bezradni będą respondenci w wieku 24 lub 39 lat:

Zaznacz swoją kategorię wiekową:

• 18-24 lata
• 24-39 lat
• 39-50 lat

Posługując się podobnie analogią ankiety jako indywidualnej rozmowy z respondentem, powinniśmy być konsekwentni pod względem sposobu, w jakim się komunikujemy. Oznacza to wszystkie pytania powinny być:

1) adresowane w tej samej osobie (np. albo per „Ty” albo per „Pan/Pani”)
2) napisane w tej samej formie gramatycznej (np. albo „Za chwilę zapytamy Cię o” albo „Za chwilę zostaniesz poproszony/a o”)
3) sformułowane w tym samym czasie (np. albo „Jak często kupujesz” albo „Jak często zdarzyło Ci się kupować”)
4) w miarę możliwości spójne czasowo tj. odnosić się do podobnego horyzontu czasowego (np. respondent może czuć się zdezorientowany, gdy „żonglujemy” zakresem czasowym pytając raz o ostatni tydzień, w innym miejscu o ostatnie 3 miesiące, a chwilę później o ostatni rok)
5) spójne pod względem terminologii – zbyt częste stosowanie wyrazów bliskoznacznych może powodować różną interpretację terminu przez respondenta
6) jednolite pod względem składni w ramach jednego pytania. Oznacza to, że należy stosować wyłącznie równoważniki zdań albo wyłącznie zdania. Nie należy mieszać różnych form, jak w poniższym przykładzie:

Wskaż, które z poniższych określeń pasują do Ciebie najbardziej?

• Uwielbiam świeże jagodzianki
• Spędzanie czasu w cukierni
• Po smaczne wypieki warto stać dłużej w kolejce

Wewnętrzna logika ankiety jest cechą łączącą niektóre z wcześniej wymienionych cech dobrego kwestionariusza: porządek, precyzję i konsekwencję. Gdy mówimy o logice ankiety, przede wszystkim mamy na myśli wszelkiego rodzaju reguły przejść, mechanizmy wyświetlania, losowania czy rotowania jej elementów. Logiczne filtry mogą dotyczyć zarówno pojedynczych odpowiedzi, pytań, bloków, zestawów, a nawet całych ankiet.

Ankieta, która ma poprawną logikę, tj. gdy kolejne pytania wynikają z poprzednio udzielonych odpowiedzi, jest dla respondenta czytelna i naturalna w odbiorze. Dzięki odpowiedniemu zastosowaniu filtrów, można zaoszczędzić sporo czasu respondenta podczas kontaktu z ankietą, jak również istotnie ograniczyć pracę związaną z ewentualnym data-processingiem w celu korekty logiki post-hoc.

Zaplanowanie dobrej logiki ankiety jest swojego rodzaju sztuką, szczególnie w przypadku dłuższych i bardziej złożonych kwestionariuszy. Te same ankiety mogą dawać identyczne rezultatu po stronie respondenta, jednak mogą różnić się istotnie pod względem „logicznego szkieletu” – łącznej liczby filtrów, stopnia ich skomplikowania, poprawności itd. Ten sam efekt można osiągnąć za pomocą reguł „przejdź do pytania” czy „przeskocz do” albo „wyświetl pytanie, jeśli…” lub „pomiń pytanie, jeśli…”, jednak lepszy będzie ten kwestionariusz, w którym logika będzie bardziej zwięzła.

O ile w ankiecie należy stosować reguły przejścia, tam gdzie jest to uzasadnione, to w samej treści pytania należy unikać opisów dotyczących logiki ankiety. Respondent nie musi wiedzieć, jak wygląda skrypt ankiety „od środka” – kluczowe jest, aby zawsze otrzymał te pytania, które wynikają z jego poprzednich odpowiedzi. Dlatego należy unikać takich sformułowań jak „Jeżeli w poprzednim pytaniu wybrałeś(aś) odpowiedź TAK, odpowiedź na następujące pytanie”, a już na pewno powinniśmy się wystrzegać wszelkiego rodzaju technicznych opisów „Jeżeli w P2=a jedna z odpowiedzi {1,2,3,4} zadaj P4, P5 i P9”.

Wyjątkiem są sytuacje, w których konieczne jest doprecyzowanie respondentowi, czego dotyczy pytanie. Przykładowo, wyobraźmy sobie sytuację, w której respondent w pierwszej części ankiety wybiera słodycze, które konsumuje od czasu do czasu, a następnie jest proszony o ocenę smaku każdego z nich. Wówczas zasadne jest zadanie pytanie w poniższej formie:

W poprzednim pytaniu wskazałeś(aś), że chętnie sięgasz po JAGODZIANKI.
Chcielibyśmy, abyś teraz odpowiedział na kilka pytań na temat ich smaku.

Bezstronność to jedna z naczelnych zasad badawczych, niezależnie od dyscypliny.

Od początku istnienia nauki, badacze starają się projektować tak warunki lub narzędzia badacze, aby były możliwie neutralne dla badanych przedmiotów obserwacji. Nauki społeczne, w tym badania rynku i opinii, są dziedziną gdzie zachowanie pełnego optymizmu jest istotnym wyzwaniem. W świecie badań marketingowych i społecznych nasze obserwacje jeszcze przed właściwym pomiarem są bowiem „skażone” własnymi doświadczeniami, przekonaniami, podzielają pewien zestaw wartości, a przede wszystkim są świadome sytuacji badawczej, w której znajdują się np. podczas udziału w ankiecie.

Nie oznacza to, że nie należy dbać o to, aby kwestionariusz badawczy były maksymalnie obiektywny, co o oznacza, że pytania w nim zawarte nie powinny:

• Być oceniające ani wartościujące – dotyczy to zarówno opinii respondenta, jak i innych osób (np. innych uczestników badania lub społeczeństwa), np.:

W polskim społeczeństwie panuje duża nieufność, co do popijania jagodzianki mlekiem.
A jaki jest Twój stosunek do tego kontrowersyjnego zwyczaju?

• Sugerować odpowiedzi, np.:

Czy zgadzasz się, ze stwierdzeniem że jagodzianka jest najlepszym produktem na rynku wypieków?

• Powodować u respondenta dylematów natury etycznej, np.:

Wyobraź sobie, że zostaje Ci ostatni kawałek najpyszniejszej jagodzianki, jaką kiedykolwiek jadłeś w życiu. Komu chętniej byś go oddał(a) – synowi czy córce?

• Wprowadzać respondenta w błąd, np. za pomocą przekonywania do fałszywych tez, np.

Okazuje się, że do produkcji jagodzianek używa się głównie borówek amerykańskich. W jakim stopniu był/abyś skłonna po jagodziankę przy najbliższej okazji?

• Zmuszać respondenta do nieszczerych odpowiedzi, np.:

Powszechnie wiadomo, że konsumpcja zbyt świeżych wypieków może powodować niestrawność. Jak często w ciągu ostatniego tygodnia nie mogłeś się oprzeć i sięgnąłeś po jagodziankę „prosto z pieca”?