Sondażowe manipulacje – case study

dodano: 
16.10.2018

Autor:

dr Wojciech K. Szalkiewicz
komentarzy: 
4

Ministerstwo Cyfryzacji uruchomiło kilka dni temu portal, który w czasie kampanii wyborczej oraz wyborów ma zapewnić „ochronę przed kampaniami dezinformacyjnymi, zarówno na poziomie ogólnokrajowym, jak i lokalnym” – jak wyjaśniał to Marek Zagórski, szef resortu. „Będzie on informował, jak odróżniać informację fałszywą od prawdziwej”.

Podpisując się pod ideą tego projektu, pozwolę sobie zaproponować malutkie case study dotyczące „globalnej, jak i lokalnej dezinformacji”, wracając tym samym do poruszanego już na PRoto.pl zagadnienia wiarygodności sondaży przedwyborczych.

Otóż 10 października 2018 roku Radio ZET (a za nim lokalne media) podało taką informację: „Z sondażu przeprowadzonego przez Instytut Badań Samorządowych na zlecenie radiozet.pl i lokalnapolityka.pl wynika, że w starciu o fotel prezydenta w Olsztynie, będzie potrzebna II tura wyborów. (…) 20,25 proc. mieszkańców Olsztyna dalej jest niezdecydowanych, na kogo odda swój głos. Szacowana przez IBS frekwencja w Olsztynie to 62,70 proc.”.

Dalej podane zostały słupki poparcia dla poszczególnych kandydatów (z dokładnością do drugiego miejsca po przecinku) oraz informacja: „Badanie zrealizowane przez Instytut Badań Samorządowych w dniach 8–9 października 2018 r., metodą wywiadów telefonicznych wspomaganych komputerowo (CATI). Przebadano reprezentatywną próbę N=504 pełnoletnich mieszkańców Olsztyna. Próba została dobrana w sposób kwotowo-losowy w oparciu o dwa kryteria: płeć i wiek. Przy przyjęciu standardowego poziomu ufności 95 proc. maksymalny błąd statystyczny wynosi 4,3 proc.”.

Jak napisali autorzy tej informacji: „Dokładność tego oraz innych badań w Olsztynie będzie można sprawdzić na stronie sprawdzamysondaze.pl po ogłoszeniu oficjalnych wyników wyborów”.

Zanim poznamy wyniki wyborów, w stosunku do których będzie można zweryfikować trafność przewidywań IBS, już dziś można zajrzeć na strony internetowe projektu „Na Straży Sondaży” realizowanego kilka lat temu przez naukowców z Uniwersytetu Warszawskiego. Nawet pobieżna lektura zamieszczonych tam artykułów dotyczących sposobów prawidłowego prowadzenia badań sondażowych pozwala na stwierdzenie, że to, co przygotował Instytut Badań, ma niewiele wspólnego z badaniami, a sam wynik tego „sondażu” najprawdopodobniej daleki będzie od wyników uzyskanych przez kandydatów w wyborach.

Dlaczego? Warto zwrócić uwagę na kilka szczegółów zawartych w cytowanych fragmentach tej informacji.

Niestety „reprezentatywność” tych badań pozostawia wiele do życzenia, zarówno pod względem doboru kryteriów (tylko dwa), jak i liczebności próby, a aby wnioskowanie o populacji na podstawie próby było poprawne – próba badawcza musi być próbą reprezentatywną. Jeżeli ponad 20 proc. badanych deklaruje, że nie wie, na kogo odda swój głos, to słupki poparcia stworzone zostały przez Instytut na podstawie opinii już nie pięciuset, ale tylko niecałych czterystu respondentów. Pomijam przy tym pytanie, czy zadzwoniono do 504 osób, czy też 504 osoby udzieliły odpowiedzi ankieterom. Jednen z najpoważniejszych błędów towarzyszących badaniom sondażowym spowodowany jest tzw. brakiem udziału – niemożnością uzyskania odpowiedzi od respondentów. A szczególnie wysoki odsetek takich sytuacji występuje w sondażach telefonicznych.

Liczebność próby zmienia także „in plus” wartość maksymalnego błędu statystycznego, jakim obarczone jest każde takie badanie. Z pewnością więc będzie on zdecydowanie większy niż deklarowane +/– 4,3 punkty procentowe (a nie jak piszą autorzy – „wynosi 4,3 proc.”, bo to zasadnicza różnica). Oznacza to, że przedział ufności dla tych wyników można szacować co najmniej na 10 pkt. proc. (+/– 5 pkt. proc.). Tym samym na przykład „sondażowy” wynik lidera tego zestawienia – 32,29 proc., równie dobrze może mieć wartość 37 proc., jaki i 27 proc. W tym kontekście warto by również postawić pytanie: po co przy takim wielkim błędzie wyniki podawane są z dokładnością do jednej setnej?

Oczywiście można by jeszcze wiele powiedzieć na temat tego „sondażu”, ale szkoda chyba na to czasu. Na koniec więc jeszcze tylko jedno spostrzeżenie.

Jak wynika z cytowanej informacji, Instytut Badań Samorządowych przeprowadził ten „sondaż” na zlecenie portalu lokalnapolityka.pl. Problem polega na tym, że obydwa przedsięwzięcia łączy (najprawdopodobniej nie tylko) osoba prezesa IBS – jednocześnie eksperta portalu (znanego bardziej w kręgach PR-owskich niż w gronie socjologów). Całości dopełnia fakt, że strona sprawdzamysondaze.pl jest także częścią lokalnapolityka.pl – sprawdzać ma więc swoją wiarygodność.

A wiarygodność IBS podważona została już w fazie warszawskiej prekampanii. W czerwcu na stronie portalu Lokalna Polityka pojawił się sondaż Instytutu, z którego wynikało, że wybory w stolicy wygrałby już w pierwszej turze Rafał Trzaskowski, zdobywając 53,48 proc. Wszystko byłoby fajnie, gdyby tylko tego „sondażu” nie przeprowadzono na „mało reprezentatywnej” dla Warszawy próbie 512 osób.

Przeglądając zawartość Lokalnej Polityki, znalazłem tam artykuł pt. „Jak rozpoznać profesjonalny sondaż?”, którego uważna lektura stała się punktem wyjścia do powyższej analizy. Poleciłbym go również autorom „sondaży” z Instytutu Badań Samorządowych. Zainteresowanych zagadnieniem odesłałbym jednak do bardziej wiarygodnych stron poświęconych badaniom, na przykład wspomnianych nastrazysondazy.uw.edu.pl. Wszystkim zaś po raz kolejny polecałbym dystans (i to duży) do przedwyborczych „sondaży”.

PS Zagadką pozostaje dla mnie współpraca Zetki z instytucją, która – łagodnie mówiąc – nie należy do najpopularniejszych ośrodków wykonujących tego typu badania? Autoryzowanie wyników takich „sondaży” podważa przecież wiarygodność redakcji jako źródła rzetelnej informacji.

Dr Wojciech K. Szalkiewicz, autor m.in. książki „Inżynierowie społeczni i technologie zdobywania władzy”, wydanej pod patronatem PRoto.pl.

Czytaj także: Partyjne memy to w dużym stopniu „amatorka”. Wywiad o humorze w polskiej polityce

komentarzy:
4

Zobacz także...

Jak pokazuje sondaż IBRiS dla Rzeczpospolitej, Morawieckiemu i Dudzie od stycznia przybyło pozytywnych ocen...

Niespełna 16 proc. badanych zastanawia się, czy zlikwidować konto w tym serwisie...

„Współczesne »sondażowanie« jest w coraz mniejszym stopniu sposobem odtwarzania opinii ludzi, a w coraz większym – narzędziem manipulacji służącej kreowaniu ich poglądów i zachowań” – pisze dr Szalkiewicz...

Komentarze

(4)
Dodaj komentarz
22.10.2018
21:57:07
Wojciech K. Sza...
(22.10.2018 21:57:07)
Szanowny Panie Łukaszu, pozwoliłem sobie na sprawdzenie… „IBS” – wyniki sondażu przeprowadzonego przez Instytut Badań Samorządowych 8-9.10.2018 „po rozdzieleniu odpowiedzi ‘Nie wiem / Trudno powiedzieć’ (w taki sposób zaprezentowane będą wyniki wyborów (…) Maksymalny błąd statystyczny wynosi 4,3% ( +/- 4,3 p.p. – dop. WKS)”. „PKW” – oficjalne wyniki „Różnica” – pomiędzy prognozą IBS a oficjalnymi wynikami podanymi przez PKW Piotr Grzymowicz: IBS – 40.47 / PKW - 33,78 / różnica – 6,69 p.p. Czesław Małkowski: IBS– 24,21 / PKW – 30,66 / różnica – 6,45 p.p. Michał Wypij: IBS – 17,46 / PKW - 19,00 / różnica – 2,54 p.p. Frekwencja: IBS– 62,70 / PKW – 56.26 / różnica – 6,44 p.p. Monika Falej: IBS – 7,49 / PKW – 6,23, Beata Bublewicz: IBS – 5,16 / PKW – 5,33, Krzysztof Kacprzycki: IBS – 2,78 / PKW – 2,09 Andrzej Maciejewski: IBS – 1,19 / PKW – 1,58 Tomasz Pitura: IBS – 0,79 / PKW – 1,34
18.10.2018
15:20:11
Łukasz Pawłowski
(18.10.2018 15:20:11)
Wszystkich zainteresowanych zapraszam na stronę www.lokalnapolityka.pl tam jest aż za dużo moich opinii :) A serio myślę, że najlepszym źródłem informacji o trafności sondaży będzie strona www.sprawdzamysondaze.pl po 21 października. Pozdrawiam serdecznie
17.10.2018
14:10:00
Wojciech K. Sza...
(17.10.2018 14:10:00)
Szanowny Panie Łukaszu, jako że zawsze powtarzam, że nie zawsze mam rację, więc chętnie poznam i Pańską opinię na temat informacji zawartych w tym felietonie (zapewne podobnie, jak i inni użytkownicy portalu). Wierzę, że redakcja PRoto nie odmówi publikacji Pańskiej ewentualnej "polemiki" z moimi wnioskami ;-) Pozdrawiam serdecznie
17.10.2018
9:01:22
Łukasz Pawłowski
(17.10.2018 9:01:22)
Panie Wojciechu, Pan napisze maila - ja Panu wszystko wytłumaczę :) A co do www.sprawdzamysondaze.pl to nie ma znaczenia kto to stworzył bo mechanizm weryfikacji badań jest automatyczny i polega na prostej matematyce dodawania i odejmowania oraz na tym czy różnica pomiędzy badaniem a wynikiem PKW jest większa czy mniejsza. Pozdrawiam Łukasz Pawłowski Instytut Badań Samorządowych lukasz@badaniasamorzadowe.pl
Graficzne pułapki CAPTCHA
Wprowadź znaki widoczne na obrazku.
X

Zamów newsletter

 

Akceptuję regulamin