Trafna prognoza wyborcza jest jak gotowanie. Warto trzymać się przepisu i odpowiednio dobrać składniki. Ale jakość finalnego produktu i tak zależy od intuicji połączonej z doświadczeniem kucharza oraz szczypty szczęścia.
Tym razem się udało. Większość sondaży rozmaitych agencji badawczych z ostatniego przedwyborczego tygodnia dosyć trafnie oszacowała rezultat wyborów. Takie zestawienia porównawcze można obejrzeć m.in. na stronach Ewybory.eu czy BadaniaWyborcze.pl. PiS oscyluje wokół 37 proc., PO 23–24 proc., potem Kukiz, Zjednoczona Lewica i Nowoczesna oraz balansujące na granicy progu 5-proc. PSL. Ciut poniżej KORWiN, 3–4 proc. dla Partii Razem. Zasadniczo trudno się przyczepić – sondaże się potwierdziły, o czym ostatecznie przekonaliśmy się we wtorek po ogłoszeniu wyników wyborów.
Znacznie gorzej firmom udało się przewidywanie wyników wyborczych pół roku temu, przed pierwszą turą wyborów prezydenckich. Wtedy mocno nie doszacowano poparcia dla Andrzeja Dudy i Pawła Kukiza, a przeszacowano Bronisława Komorowskiego. Co ciekawe, różnice między poszczególnymi pracowniami badawczymi były znaczne – głosy na rockmana u jednych były zaniżone o dwa punkty procentowe, u innych aż o siedem. Oczywiście najprostszym i nieco spiskowym wytłumaczeniem tego faktu mogłoby być to, że po prostu establishment (także ten odpowiedzialny za badania) popierał wówczas urzędującego prezydenta i chcąc nie chcąc, wyniki trochę podrasował. Jednak materia jest znacznie bardziej skomplikowana, a nietrafione szacunki badaczy zdarzają się także w innych krajach demokratycznych. W tym roku można je było zaobserwować np. podczas wyborów parlamentarnych w Wielkiej Brytanii i Izraelu.
(Przy)gotowanie danych
Stworzenie dobrego produktu, czy to kulinarnego, czy sondażowego, trzeba zacząć od doboru odpowiednich składników. Przesadzenie z którymś z nich może się źle skończyć. – Jednym z pierwszych kroków przy realizacji badania, jakim jest sondaż wyborczy, powinien być odpowiedni dobór próby, czyli respondentów, których przepytamy – wyjaśnia doktor socjologii Piotr Jabkowski z Uniwersytetu Adama Mickiewicza w Poznaniu. Zmiennych jest wiele – musimy dobrać odpowiednią liczbę kobiet i mężczyzn (tych pierwszych w naszym kraju jest nieco więcej) czy też wziąć pod uwagę miejsce zamieszkania badanych osób. Kluczowy jest też ich wiek. Nasza próba powinna być taką „Polską w pigułce”, proporcjonalnie odzwierciedlać ogół naszego społeczeństwa. Na podstawie danych z Głównego Urzędu Statystycznego znane są niektóre rozkłady populacji, tzn. to, ile z nas mieszka w miastach, ile na wsiach, ile w danym województwie, jakie mamy wykształcenie itd. W naszym badaniu powinniśmy mieć co najmniej tysiąc sto osób – taka próba, przynajmniej w założeniu, powinna umożliwić oszacowanie poparcia dla poszczególnych partii z błędem nie większym niż trzy punkty procentowe. Jeśli próbę zwiększymy do 2,4 tys. ankietowanych, to ryzyko błędu zmniejsza się do 2 proc. Przy 10 tys. respondentów wynosi zaledwie 1 proc. Ale taka skala nie ma szans przy robieniu sondaży preferencji politycznych – za długo trwają i za dużo kosztują.
– Jak dobrać taką próbę? Firmy dysponują swoimi bazami danych, w Polsce najlepiej jest to zrobić, używając numeru PESEL. Takie bazy zawierają dokładne dane o jednostkach o odpowiednich cechach, można je wylosować i potem próbować się z nimi kontaktować. Realizacja porządnego badania musi więc zająć co najmniej kilka tygodni – tłumaczy dalej Jabkowski. Większe firmy tworzą bazy same, m.in. poprzez ankieterów, którzy nas zaczepiają na ulicach, mniejsze po prostu kupują te tworzone do celów reklamowych (trafiamy do nich, gdy na różnych umowach zakreślamy zgodę na korespondencję związaną z marketingiem) i potem nawiązują kontakt z ludźmi, którzy tam są. Jeśli faktycznie mielibyśmy taką „próbę idealną”, to z dużą dokładnością pokazałaby ona preferencje wyborcze całego społeczeństwa. Ale przepis na sondaż idealny zaczyna rozmijać się z rzeczywistością.
Ogólnopolskie sondaże wyborcze realizuje się dwiema metodami: CATI (Computer Assisted Telephone Interview, wywiad telefoniczny wspomagany komputerowo) bądź CAPI (Computer Assisted Personal Interview, wywiad przeprowadzony przez ankietera bezpośrednio). W tym drugim przypadku na podstawie rozkładów populacyjnych nie losuje się osób, lecz adresy. Ankietujący udaje się więc do wskazanego miejsca i szuka osoby spełniającej odpowiednie kryteria wieku i płci. – Podobnie jest w realizacji telefonicznej. Firmy badawcze dysponują własnymi bazami numerów lub komputer losuje konkretny telefon. Totalne chybił trafił. Dzwoni ankieter i pyta o wiek i płeć. Ale wcale nie oznacza to, że dostajemy próbę reprezentującą opinie całej populacji – tłumaczy Jabkowski, który jest metodologiem, czyli osobą odpowiadającą za dobranie takich metod i technik badawczych, by w jak najwierniejszy sposób oddały one rzeczywistość.
Liczące się agencje badawcze mają swoje siatki ankieterów, można też usługę ankietowania zlecić firmom zewnętrznym. I tutaj znów może się wkraść jakiś błąd – ankieterzy nie zawsze są uczciwi, czasem zamiast przeprowadzić dziesięć ankiet, zrobią osiem, a dwie pozostałe wypełnią sami (płacone mają od sztuki). I choć instytuty badawcze często je weryfikują, to problem istnieje. Następna trudność, która pewnie znacznie bardziej wpływa na wyniki badania, to dosyć oczywisty fakt, że przeprowadzając badanie telefonicznie, stosunkowo trudno jest się skontaktować z tymi, którzy telefonu nie mają. Przez lata niedoszacowane wyniki PSL mogą wynikać właśnie z tego, że na wsi, gdzie mieszka zdecydowana większość wyborców ludowców, ankieterom jest trudniej dotrzeć fizycznie i mniej osób ma telefony. Dlatego też zdarza się, że jeśli już ankieterzy tam dotrą, to pytają o bardzo różne rzeczy, nie tylko o preferencje polityczne.
– Wszystkie badania przedwyborcze robiliśmy telefonicznie i one były dedykowane – zapewnia Marcin Kujawski, dyrektor ds. badań i rozwoju w Millward Brown, a także członek zarządu Organizacji Firm Badania Opinii i Rynku, która stara się dbać o dobre standardy w branży. – W mniej gorących politycznie okresach na pewno część firm łączy badania dotyczące preferencji politycznych z innymi dziedzinami, np. w ramach comiesięcznego zestawu pytań tzw. omnibusa – wyjaśnia ekspert.
Jednak chyba największym wyzwaniem, z którym muszą się zmierzyć badacze, jest to, że ludzie, których chcą spytać, wcale nie chcą odpowiadać. I do końca nie wiadomo, kim oni są. – W przeszłości bywało tak, że wyborcy Ligi Polskich Rodzin nie chcieli brać udziału w sondażach. Ówczesny lider tej partii Roman Giertych grzmiał, że sondaże są nic nie warte, bo zaniżają ich wyniki. W związku z jego wypowiedziami zjawisko się jeszcze bardziej nakręcało i LPR była coraz bardziej niedoszacowana – mówi Urszula Krassowska, szefowa zespołu badań społecznych i politycznych w TNS Polska. – Nie zawsze wiemy, które grupy społeczne częściej niż inne uchylają się od udziału w badaniach, dlatego trudne jest oszacowanie tych „brakujących” głosów.
Inną sprawą jest to, że ankietowani mogą nie przyznawać się do swoich sympatii politycznych i zwyczajnie kłamać. Takie zjawisko można było zaobserwować kilka lat temu, gdy wielu Polaków uważało, że głosowanie na Prawo i Sprawiedliwość jest obciachem – to skutkowało tym, że wyborcy tej partii byli niedoszacowani. Teraz wydaje się, że w pewnej części to odium spadło na PO (w tych wyborach to jej wynik był w sondażach delikatnie zaniżony). By wyeliminować to, że respondenci chcą w oczach ankietera wypaść bardziej poprawnie politycznie, np. przy badaniach exit poll, które robi się w dniu wyborów, ankieter w lokalu wyborczym nie odbiera kwestionariusza bezpośrednio od odpowiadającego na pytania. Ten wrzuca swoje odpowiedzi do urny podstawionej przez badacza. Dzięki temu, wydawałoby się nieco absurdalnemu zabiegowi, badania stały się bardziej dokładne.
Kolejnym problemem jest to, że nawet jeśli próba sondażu to tysiąc osób, na wstępie pojawia się pytanie filtrujące: „Czy zamierza pan(i) udać się na wybory?”. Zakładając, że 40 proc. odpowie przecząco (w rzeczywistości niegłosujących i tak będzie więcej, ale tu znów działa efekt poprawności politycznej i dlatego sondażowa frekwencja jest zazwyczaj zawyżona), to w naszej próbie zostanie już tylko 600, a nie tysiąc respondentów. To znowu ma wpływ na ostateczny wynik.
Surówka to nie wszystko
W Polsce tego typu operacje zbierania danych może przeprowadzić kilkanaście firm badawczych. Jednak, co ciekawe, badania polityczne to zaledwie kilka procent rynku, który szacowany jest na ok. 600 mln zł. W ubiegłym roku audyt OFBOR oszacował go na 562 mln zł (spadek o 4 proc. w porównaniu z 2013 r.). Największy gracz AC Nielsen miał obroty wynoszące 110 mln zł, za nim były Millward Brown (100 mln zł), GFK Polonia (90 mln zł), TNS Polska (prawie 70 mln zł) i IPSOS (ponad 53 mln zł). Stawkę 16 audytowanych firm zamyka IRCenter (prawie 2 mln zł obrotu). 85 proc. tych obrotów generują firmy z udziałem kapitału zagranicznego.
Warto podkreślić, że „robienie polityki” to dla firmy duże ryzyko nietrafienia z danymi, a stosunkowo nieduże pieniądze (jeden sondaż telefoniczny na próbie ok. tysiąca osób kosztuje ok. 20 tys. zł, zbieranie danych w terenie to ok. 40 tys. zł). Raczej gra toczy się o prestiż i obecność w mediach.
Wiadomo też, że przynajmniej jeśli chodzi badania exit poll, to w umowach przewidziane są stosunkowo duże kary za błędne wyniki. W przypadku zdobywania takich kontraktów – poza ceną, jakością i szybkością dostarczenia informacji – bardzo liczy się też zaufanie pomiędzy sztabem wyborczym danej partii a firmą badawczą. Czasem rolę grają też relacje osobiste.
Gdy już ankieterzy „dowiozą surówkę”, czyli dostarczą nieobrobione dane zebrane w terenie bądź przez telefon, to przychodzi moment na ważenie próby. Załóżmy dla uproszczenia, że w populacji jest ok. 50 proc. mężczyzn i tyle samo kobiet. Tymczasem w naszej próbie 40 proc. odpowiedzi mamy od panów, a 60 proc. od pań. Panów musimy więc „doważyć”, tak więc ich odpowiedzi pomnożymy razy 1,25, z kolei panie musimy niedoważać, czyli pomnożyć przez ok. 0,83. W ten sposób to jakoś wyrównujemy. Zmiennych jest oczywiście więcej, ale dla wprawnego badacza to dosyć prosta operacja matematyczna.
Różnić się mogą też powody, dla których gotujemy sondażową potrawę, czy raczej goście, których chcemy nią uszczęśliwić. Jeśli agencja badawcza robi sondaż (nie prognozę, o której zaraz), np. na zlecenie mediów, to surowe wyniki zważy w prosty sposób i je po prostu poda. Kiedy robi to jednak na zlecenie którejś z partii, pragnącej coś konkretnego dzięki nim udowodnić, to wynikami można w pewien sposób manipulować jeszcze przed wysłaniem do boju ankieterów. Będzie to moment wyboru odpowiedniego przepisu, np. odpowiedniej konstrukcji pytań. Prosty przykład: można np. zadać pytanie: „W tym roku wzrost gospodarczy wyniósł ponad 3 proc. PKB, czy uważa pan(i), że sytuacja ekonomiczna się poprawia?”. Ale można też zadać pytanie tak: „W ciągu ostatniego roku złoty stracił na wartości w stosunku do dolara ponad 20 proc., czy uważa pan(i), że sytuacja ekonomiczna się poprawia?”. Oba stwierdzenia przed pytaniem są prawdziwe, a odpowiedzi będą się różnić znacznie. Pokazać można zarówno to, że jest coraz lepiej, jak i to, że jest coraz gorzej.
Przy tzw. tunelowaniu, czyli wprowadzaniu respondenta w odpowiedni nastrój, liczba danych, których może użyć ankieter, jest praktycznie nieograniczona. Takie zabiegi partyjni piarowcy mogą chcieć uczynić z jednego prostego powodu – raczej lubimy wygrywać niż przegrywać. Jeśli więc w opublikowanym w mediach sondażu jedna partia wygrywa, to jest duża szansa, że wyborcy niezdecydowani przyłączą się właśnie do niej. To samo działa w drugą stronę, na małych głosujemy mniej chętnie z obawy przed utratą głosu związaną z ryzykiem nieprzekroczenia progu wyborczego. Dyskusja nad tym, na ile publikacja sondaży wyborczych wpływa na same wyniki głosowania, trwa od zawsze. Najbardziej radykalne głosy postulują ich zakazanie.
Mamy też do czynienia z restauracjami ekskluzywnymi, do których dostać się mogą tylko osoby z kartami stałego klienta. W tym wypadku są to badania robione na zlecenie partii, które są na jej użytek. Tajemnicą poliszynela na rynku jest to, że dwaj najwięksi gracze mają w tym momencie swoje „ulubione” agencje. PiS dużą część badań zleca TNS Polska, z kolei PO kupuje je u Millward Brown (choć to się co jakiś czas zmienia). Warto jednak pamiętać, że przed samymi wyborami partie potrafią takie badania zamawiać codziennie, i to nawet u kilku różnych agencji. Wtedy mocno bazuje się też na badaniach internetowych, które na wstępie są znacznie mniej reprezentatywne. W tego typu zleceniach znacznie większą uwagę zwraca się na przepływy elektoratu pomiędzy ugrupowaniami. Tu też częściej zadaje się więcej pytań niż tylko o proste preferencje wyborców. Czasem sprawdza się po prostu, co bardziej „chwyta” potencjalnego wyborcę i którym kanałem komunikacyjnym daną wiadomość warto dostarczyć. To często przypomina proste badania, które opakowanie mydła wolą klienci. Podobnie można pytać o politykę. Bywa tak, że przy rekomendacjach granica między badaniem a doradztwem w dziedzinie marketingu politycznego się nieco zaciera.
Czy w przyszłości sondaże internetowe mają szanse zastąpić te telefoniczne? – Obecnie dostęp do internetu ma nieco ponad 70 proc. Polaków. Ale im ludzie młodsi, tym jest ich więcej. Prawdopodobnie za 15–20 lat sondaże preferencji politycznych będzie więc też można robić w internecie. A to oczywiście jest tańsze – stwierdza Albert Hupa, prezes IRCenter.
– Warto zaznaczyć, że nie wszystkie partie zamawiają badania. Niektórych nie stać, inne po prostu wolą ufać bardziej swojej intuicji, temu, że przejdą się po rynku i porozmawiają z ludźmi. A to błąd, bo tak dogłębnej wiedzy, jaką można mieć w wyniku rzetelnych badań, rozmawiając z wyborcami na spacerze, nie uzyska się nigdy – mówi z kolei Mikołaj Cześnik, dyrektor Instytutu Nauk Społecznych Uniwersytetu SWPS. Prosty przykład: jeszcze w kampanii parlamentarnej w 2011 r. politycy PiS poruszali temat kary śmierci. Ale najwyraźniej nie zorientowali się, że to właśnie w elektoracie tej partii kara śmierci ma najmniej zwolenników. W obecnej kampanii temat w ogóle nie zaistniał – najwyraźniej ktoś poszedł po rozum do głowy czy wręcz po badanie do agencji.
Prezentacja dania
W tej ekskluzywnej restauracji dochodzi do momentu, gdy danie ma zostać podane na stół. Mieliśmy dobre składniki (próbę), dobrze je połączyliśmy, nie popsuliśmy proporcji (ważenie podstawowe) i teraz szef kuchni, w tym wypadku badacz, musi je należycie doprawić. I to jest właśnie ta różnica między sondażami a prognozami. Sondaże to po prostu dane zważone w miarę nieskomplikowany sposób. W prognozie ten wkład czynnika ludzkiego, którego nie da się przełożyć na żaden algorytm, jest znacznie większy. Tu trzeba mieć zarówno intuicję, doświadczenie, jak i trochę... szczęścia. Mówi osoba z branży, socjolog, który prosi o zachowanie anonimowości: – Mając obrobioną surówkę, siada do niej kilka tęgich głów i zasadniczo „spod palca” stwierdza, że dane należy przechylić np. 4,5 punktu procentowego w jedną czy drugą stronę. To jest tzw. określanie współczynnika błędu. Oczywiście w tym wypadku podstawą jest doświadczenie. Dziś, już po wyborach, analizując sondaże i faktyczne wyniki w poszczególnych województwach, można zobaczyć, jak się od siebie różnią. To będzie podstawa do wnioskowania na przyszłość.
– Przy określaniu tego błędu bardzo ważne są również trendy określające zmiany wyników, a także dane z badań zbierane tuż przed wyborami. A w ostatnich dniach kampanii zwykle dzieje się bardzo dużo – tłumaczy Urszula Krassowska z TNS Polska. Tak więc na pewno pod uwagę trzeba brać doświadczenia historyczne, obecne trendy, ale też trzeba być wyczulonym na zjawiska nowe, których wcześniej nie było. Wspominani wyborcy LPR, unikający ankieterów, w pewnym momencie zaczęli jednak rozmawiać z instytutami badawczymi i wtedy dalsze zakładanie niedoszacowania było poważnym błędem. Problem w tym, że trzeba doskonale wyczuć, wyłapać ten moment „zmiany wajchy”. A na to nie ma żadnego wzoru i algorytmu. Trzeba mieć to coś, ten dar pichcenia wyników.
Jeśli zaś pojawia się nowe zjawisko, trudniej je skategoryzować i ocenić, na ile może mieć wpływ na ostateczny wynik. Na przykład nagle, na trzy dni przed wyborami jakiś przekaz zaczyna szaleć w internecie, na portalach społecznościowych. Odpowiedź na pytanie, na ile przełoży się na decyzje wyborców „w realu”, jest bardzo trudna. Być może właśnie tak można wytłumaczyć sondażowe zaniżenie wyników Pawła Kukiza w wyborach prezydenckich – był zbyt nowy w tym wyścigu, by traktować go poważnie.
Mikołaj Cześnik z SWPS wskazuje jeszcze dwie istotne kwestie ważne przy określaniu współczynnika błędu. – Sporo wyborców decyzję podejmuje w ostatniej chwili, dopiero w lokalu wyborczym. Naprawdę trudno ich decyzje przewidzieć. Poza tym przy prognozowaniu trzeba mieć zwyczajnie szczęście. Rzucając monetę tysiąc razy, może się zdarzyć tak, że 530 razy wypadnie orzeł, a reszka tylko 470. Jeśli rzucać będziemy coraz częściej, ta relacja orłów do reszek będzie się wyrównywać. Ale czy to znaczy, że to moneta jest sfałszowana? – pyta politolog.
Inną sprawą jest to, że jak badacze sami nieoficjalnie przyznają, granica między sondażami a prognozami, czyli między podstawowym ważeniem a mocną korektą o współczynnik błędu, często staje się dla nich coraz mniej widoczna. Czytając sondaż czy prognozę, warto jednak pamiętać, że to „tylko i aż” sondaż czy prognoza. Następnym razem jedząc w restauracji Sondażownia, wiedzmy, że kucharze są tylko ludźmi i czasem każdy z nich coś przypali bądź przesoli.
