Metodologia Europejskiego Sondażu Społecznego

Ankieta ESS obejmuje część stałą (powtarzaną w kolejnych edycjach) i część zmienianą w poszczególnych edycjach (rotacyjną), dotyczącą aktualnie ważnych dla Europy problemów. Nowe pytania, zawarte w części rotacyjnej, konsultowane są z zespołami narodowymi pod kątem ich przystawalności do warunków każdego kraju.

Uzgodniona w ten sposób „źródłowa” wersja ankiety, przygotowana w języku angielskim, jest tłumaczona na języki krajów uczestniczących w projekcie. Etap tłumaczenia jest bardzo ważny, gdyż podstawowym warunkiem uzyskania porównywalnych międzykrajowo danych jest równoważność pytań zadawanych respondentom we wszystkich krajach. Dlatego w ESS tłumaczenie ankiety ma charakter wieloetapowej procedury. Jest ona najpierw tłumaczona niezależnie przez dwóch tłumaczy, a następnie, z udziałem doświadczonego socjologa, przygotowywana jest ich wspólna wersja. Wersja ta jest następnie dyskutowana w gronie członków zespołu narodowego ESS. Kolejnymi etapami są: weryfikacja wersji narodowej przez wyspecjalizowaną zewnętrzną firmę pod kątem ekwiwalentności językowej z wersją źródłową oraz weryfikacja pytań i zastosowanych w nich skal pod kątem ich trafności i rzetelności. Za pomocą specjalnego oprogramowania (Survey Quality Predictor) analizuje się czy wersja oryginalna i „narodowa” są ekwiwalentne. Ostatnim etapem jest realizacja badania pilotażowego, które służy sprawdzeniu, czy przetłumaczone pytania są zrozumiałe dla respondentów. W Polsce jest on prowadzony według specjalnej procedury, wypracowanej przez narodowy zespół ESS. W przypadku bardzo trudnych pytań, gdzie istnieje ryzyko niewłaściwego lub niepełnego ich rozumienia przez respondentów, każdy kraj zobowiązany jest dodatkowo do przeprowadzenia specjalnych wywiadów pogłębionych (tzw. wywiadów kognitywnych).

Bardzo istotne znaczenie dla uzyskiwania porównywalnych międzykrajowo danych ma również faza terenowa badania. Od początku lat ’90 we wszystkich krajach rozwiniętych wskaźnik realizacji próby w sondażach (odsetek osób z próby wylosowanej, z którymi zrealizowano wywiad) systematycznie obniża się. Stwarza to ryzyko błędu (systematycznego) w uzyskiwanych wynikach badania. Dlatego też realizacja fazy terenowej ESS zorientowana jest na maksymalizację tego wskaźnika i uzyskanie struktury próby zrealizowanej zgodnej ze strukturą populacji ze względu na podstawowe cechy społeczno-demograficzne.

Badanie ESS jest realizowane przy zastosowaniu wywiadu osobistego (ankieter przeprowadza wywiady w mieszkaniach wylosowanych osób). Jednak w obecnej, 10. edycji badania, wyjątkowo dopuszczalna jest realizacja przy użyciu ankiet samodzielnie wypełnianych przez respondentów: ankiety internetowej oraz pocztowej. Jest to związane z pandemią COVID-19 i ryzykiem zarażenia podczas wywiadu zarówno respondentów, jak i ankieterów. W Polsce, a także wielu innych krajach, badanie jest realizowane przy zastosowaniu ankiet samodzielnie wypełnianych.

Badanie przy zastosowaniu wywiadu osobistego realizowane jest według tzw. schematu rygorystycznego. Obejmuje on:

• Całodniowe szkolenie, przygotowujące do realizacji badania, w którym zobowiązani są uczestniczyć wszyscy ankieterzy biorący udział w ESS. Szkolenie to, obok przygotowania ankieterów do realizacji wywiadów, ma także pobudzić ich motywację do starannej pracy. Służy temu między innymi: pokazanie rangi projektu i sukcesów Polski w poprzednich edycjach, podkreślenie znaczenia pracy ankieterów dla wartości uzyskiwanych danych, ale również wskazanie błędów w realizacji wcześniejszych edycji badania ESS. Motywacyjny system wynagrodzeń za pracę, specjalne listy z podziękowaniem i nagrody dla najbardziej skutecznych ankieterów oraz pełne pokrycie kosztów dojazdów ankieterów do respondentów także sprzyjają wysokiej motywacji ankieterów do pracy.
• Obowiązek wielokrotnego podejmowania prób kontaktu z trudnodostępnymi respondentami oraz, w przypadku odmowy, podejmowanie – zazwyczaj przez innego ankietera – prób przekonania respondentów do udziału w badaniu (tzw. konwersja odmów). Każda próba kontaktu z respondentem jest dokumentowana w specjalnie przygotowanym formularzu.
• Co najmniej trzymiesięczny okres realizacji badania, co umożliwia ponawianie kontaktów z trudnodostępnymi respondentami (czasowo nieobecnymi, pracującymi w nieregularnych godzinach itp.).
• Wysyłkę do respondentów dwóch listów zapowiadających wizytę ankietera. Pierwszy list wysyłany przed rozpoczęciem badania, ma na celu poinformowanie respondentów o badaniu ESS, pokazanie ważności projektu i zainteresowanie ich udziałem w badaniu. Do tego listu dołączony jest wykres, zawierający przykładowe, interesujące wyniki poprzedniej edycji ESS. Drugi list wysyłany kilka dni przed wizytą ankietera, służy podtrzymaniu motywacji respondentów do udziału w badaniu, a także zwiększeniu ich poczucia bezpieczeństwa osobistego. W liście tym podane są bowiem: imię i nazwisko ankietera, nr telefonu, a także proponowana data wizyty. W obu listach podany jest także adres, numer bezpłatnego telefonu oraz adres e-mail zespołu badawczego ESS w Instytucie Filozofii i Socjologii PAN.
• Upominki dla respondentów wręczane bezwarunkowo, tzn. otrzymuje je każda wylosowana osoba, niezależnie od swojej ostatecznej decyzji dotyczącej udziału w badaniu.
• Przygotowanie specjalnej strony internetowej ESS, dedykowanej respondentom. Zawiera ona podstawowe informacje o projekcie, listę krajów w nim uczestniczących, opis doboru próby, wykorzystanie wyników (publikacje i konferencje), kopię listów zapowiadających wizytę ankietera i legitymacji ankietera (w celu rozwiania ewentualnych obaw respondentów, związanych z jego/jej wizytą), ale także zestaw często zadawanych pytań związanych z badaniem i odpowiedzi na nie (tzw. FAQ). Pozwala ona uzyskać respondentom dodatkowe informacje o projekcie, a także zwiększa ich poczucie bezpieczeństwa osobistego. Adres strony internetowej ESS podany jest w obu listach.
• Ścisły monitoring pracy ankieterów. Ankieterzy są zobowiązani co tydzień raportować postępy swojej pracy.
• Ścisła kontrola pracy ankieterów, obejmująca zarówno wywiady zrealizowane, jak i przypadki odmów oraz braku kontaktu z respondentem. Pozwala ona sprawdzić, czy wywiady zostały zrealizowane zgodnie z wymogami, a także, czy ankieterzy podjęli próbę kontaktu ze wszystkimi respondentami (np. również mieszkającymi na przedmieściach, a na wsi – pod bardziej odległymi adresami).

Kolejnym etapem jest przygotowanie zbioru danych z badania. Odpowiedzi na pytania zadawane w wersji narodowej – o wykształcenie, zawód, używany język, pochodzenie narodowe itp. – są kodowane według międzynarodowych klasyfikacji. Utworzony zgodnie z międzynarodowym, wspólnym standardem zbiór danych podlega następnie „czyszczeniu” (pod kątem np. zgodności logicznej odpowiedzi), a następnie anonimizacji (sprawdzeniu, czy na podstawie połączonych informacji o respondencie i ew. o jego rodzicach, nie jest możliwa identyfikacja respondenta). Kolejnym zadaniem jest porównanie wyników z danymi ESS z poprzedniej edycji w celu wykrycia ewentualnych błędów w danych w bieżącej edycji. Ostatnim etapem jest przygotowanie zintegrowanego zbioru danych dla wszystkich krajów uczestniczących w zrealizowanej edycji ESS, a następnie zintegrowanego zbioru danych dla wszystkich krajów ze wszystkich edycji projektu.

Dane ze wszystkich edycji badania ESS są dostępne pod adresem: http://www.europeansocialsurvey.org/downloadwizard/.

W roku 2005 projekt otrzymał Nagrodę Kartezjusza – najwyższe wyróżnienie w dziedzinie nauki, przyznawane przez Komisję Europejską – za doskonałość i innowacyjność w prowadzeniu międzykrajowych badań naukowych.