Sondażowe manipulacje – case study

Ministerstwo Cyfryzacji uruchomiło kilka dni temu portal, który w czasie kampanii wyborczej oraz wyborów ma zapewnić „ochronę przed kampaniami dezinformacyjnymi, zarówno na poziomie ogólnokrajowym, jak i lokalnym” – jak wyjaśniał to Marek Zagórski, szef resortu. „Będzie on informował, jak odróżniać informację fałszywą od prawdziwej”.

Podpisując się pod ideą tego projektu, pozwolę sobie zaproponować malutkie case study dotyczące „globalnej, jak i lokalnej dezinformacji”, wracając tym samym do poruszanego już na PRoto.pl zagadnienia wiarygodności sondaży przedwyborczych.

Otóż 10 października 2018 roku Radio ZET (a za nim lokalne media) podało taką informację: „Z sondażu przeprowadzonego przez Instytut Badań Samorządowych na zlecenie radiozet.pl i lokalnapolityka.pl wynika, że w starciu o fotel prezydenta w Olsztynie, będzie potrzebna II tura wyborów. (…) 20,25 proc. mieszkańców Olsztyna dalej jest niezdecydowanych, na kogo odda swój głos. Szacowana przez IBS frekwencja w Olsztynie to 62,70 proc.”.

Dalej podane zostały słupki poparcia dla poszczególnych kandydatów (z dokładnością do drugiego miejsca po przecinku) oraz informacja: „Badanie zrealizowane przez Instytut Badań Samorządowych w dniach 8–9 października 2018 r., metodą wywiadów telefonicznych wspomaganych komputerowo (CATI). Przebadano reprezentatywną próbę N=504 pełnoletnich mieszkańców Olsztyna. Próba została dobrana w sposób kwotowo-losowy w oparciu o dwa kryteria: płeć i wiek. Przy przyjęciu standardowego poziomu ufności 95 proc. maksymalny błąd statystyczny wynosi 4,3 proc.”.

Jak napisali autorzy tej informacji: „Dokładność tego oraz innych badań w Olsztynie będzie można sprawdzić na stronie sprawdzamysondaze.pl po ogłoszeniu oficjalnych wyników wyborów”.

Zanim poznamy wyniki wyborów, w stosunku do których będzie można zweryfikować trafność przewidywań IBS, już dziś można zajrzeć na strony internetowe projektu „Na Straży Sondaży” realizowanego kilka lat temu przez naukowców z Uniwersytetu Warszawskiego. Nawet pobieżna lektura zamieszczonych tam artykułów dotyczących sposobów prawidłowego prowadzenia badań sondażowych pozwala na stwierdzenie, że to, co przygotował Instytut Badań, ma niewiele wspólnego z badaniami, a sam wynik tego „sondażu” najprawdopodobniej daleki będzie od wyników uzyskanych przez kandydatów w wyborach.

Dlaczego? Warto zwrócić uwagę na kilka szczegółów zawartych w cytowanych fragmentach tej informacji.

Niestety „reprezentatywność” tych badań pozostawia wiele do życzenia, zarówno pod względem doboru kryteriów (tylko dwa), jak i liczebności próby, a aby wnioskowanie o populacji na podstawie próby było poprawne – próba badawcza musi być próbą reprezentatywną. Jeżeli ponad 20 proc. badanych deklaruje, że nie wie, na kogo odda swój głos, to słupki poparcia stworzone zostały przez Instytut na podstawie opinii już nie pięciuset, ale tylko niecałych czterystu respondentów. Pomijam przy tym pytanie, czy zadzwoniono do 504 osób, czy też 504 osoby udzieliły odpowiedzi ankieterom. Jednen z najpoważniejszych błędów towarzyszących badaniom sondażowym spowodowany jest tzw. brakiem udziału – niemożnością uzyskania odpowiedzi od respondentów. A szczególnie wysoki odsetek takich sytuacji występuje w sondażach telefonicznych.

Liczebność próby zmienia także „in plus” wartość maksymalnego błędu statystycznego, jakim obarczone jest każde takie badanie. Z pewnością więc będzie on zdecydowanie większy niż deklarowane +/– 4,3 punkty procentowe (a nie jak piszą autorzy – „wynosi 4,3 proc.”, bo to zasadnicza różnica). Oznacza to, że przedział ufności dla tych wyników można szacować co najmniej na 10 pkt. proc. (+/– 5 pkt. proc.). Tym samym na przykład „sondażowy” wynik lidera tego zestawienia – 32,29 proc., równie dobrze może mieć wartość 37 proc., jaki i 27 proc. W tym kontekście warto by również postawić pytanie: po co przy takim wielkim błędzie wyniki podawane są z dokładnością do jednej setnej?

Oczywiście można by jeszcze wiele powiedzieć na temat tego „sondażu”, ale szkoda chyba na to czasu. Na koniec więc jeszcze tylko jedno spostrzeżenie.

Jak wynika z cytowanej informacji, Instytut Badań Samorządowych przeprowadził ten „sondaż” na zlecenie portalu lokalnapolityka.pl. Problem polega na tym, że obydwa przedsięwzięcia łączy (najprawdopodobniej nie tylko) osoba prezesa IBS – jednocześnie eksperta portalu (znanego bardziej w kręgach PR-owskich niż w gronie socjologów). Całości dopełnia fakt, że strona sprawdzamysondaze.pl jest także częścią lokalnapolityka.pl – sprawdzać ma więc swoją wiarygodność.

A wiarygodność IBS podważona została już w fazie warszawskiej prekampanii. W czerwcu na stronie portalu Lokalna Polityka pojawił się sondaż Instytutu, z którego wynikało, że wybory w stolicy wygrałby już w pierwszej turze Rafał Trzaskowski, zdobywając 53,48 proc. Wszystko byłoby fajnie, gdyby tylko tego „sondażu” nie przeprowadzono na „mało reprezentatywnej” dla Warszawy próbie 512 osób.

Przeglądając zawartość Lokalnej Polityki, znalazłem tam artykuł pt. „Jak rozpoznać profesjonalny sondaż?”, którego uważna lektura stała się punktem wyjścia do powyższej analizy. Poleciłbym go również autorom „sondaży” z Instytutu Badań Samorządowych. Zainteresowanych zagadnieniem odesłałbym jednak do bardziej wiarygodnych stron poświęconych badaniom, na przykład wspomnianych nastrazysondazy.uw.edu.pl. Wszystkim zaś po raz kolejny polecałbym dystans (i to duży) do przedwyborczych „sondaży”.

PS Zagadką pozostaje dla mnie współpraca Zetki z instytucją, która – łagodnie mówiąc – nie należy do najpopularniejszych ośrodków wykonujących tego typu badania? Autoryzowanie wyników takich „sondaży” podważa przecież wiarygodność redakcji jako źródła rzetelnej informacji.

Dr Wojciech K. Szalkiewicz, autor m.in. książki „Inżynierowie społeczni i technologie zdobywania władzy”, wydanej pod patronatem PRoto.pl.

Czytaj także: Partyjne memy to w dużym stopniu „amatorka”. Wywiad o humorze w polskiej polityce