Levada centrum: dôvera k údajom z výskumom verejnej mienky počas vojenskej operácie

MOSKVA – Ruský súkromný ústav výskumu verejnej mienky Levada centrum zverejnilo komentár o dôvere k údajom získaným počas vojenskej operácie ruskej armády na Ukrajine. Autormi komentára sú Kirill Čmeľ  z Kolumbijskej univerzity,  Nikita z Vedecko-výskumnej univerzity Vyššia škola ekonomiky a Israel Markes.

Úroveň podpory špeciálnej vojenskej operácie sa od jej vzniku udržiava na vysokej úrovni. V marci 81 % respondentov odpovedalo na otázku o podpore akcií ruských ozbrojených síl na Ukrajine „Určite áno“ a „Skôr áno“. Podľa posledných údajov Centra Levada do septembra klesla o 9 percentuálnych bodov a je 72 %.

Centrum Levada vykonalo sériu experimentov so zoznamom na posúdenie, či je pozorovaná úroveň podpory SVR pravdivá. Napriek niektorým dôkazom o pomerne konzistentnom nadhodnotení priamej podpory otázok vo všetkých vlnách prieskumu ďalšie testy a experimenty s placebom naznačujú, že metodológia experimentov so zoznamom v súčasnosti nie je ideálna a nemožno ju široko aplikovať.

Prečo sú prieskumy znepokojujúce, do akej miery môže byť vo výskume použiť priamu otázka o podpore a prečo nemusí nevyhnutne naznačovať systematickú zaujatosť, je diskutované ďalej v tomto článku.

Čo je zlé na prieskumoch verejnej mienky počas vojenskej operácie ?

 

Debata o tom, či je pozorovaný podiel dostatočne pravdivý na to, aby sa akceptovala skutočnosť, že väčšina Rusov podporuje CBO, dnes nekončí. Problém pri interpretácii týchto údajov spôsobuje napríklad takzvaný samovýberový efekt spojený so systematickým odmietaním účasti určitých skupín obyvateľstva na prieskumoch (pozri metodický experiment Centra Levada v odkaze tu).

Významnejšou obavou je falšovanie preferencií – situácia, v ktorej namiesto úprimnej odpovede na priamo položenú otázku respondenti uvádzajú to, čo od nich pomyselná väčšina očakáva, že budú počuť. Medzi dôvody falšovania preferencií patrí túžba respondenta po psychickom pohodlí, konformné správanie a strach zo spoločenského odsúdenia či štátnych sankcií. V čase vojny môže negatívne emocionálne pozadie a nedostatok voľnej výmeny názorov zvýšiť pocit úzkosti a psychického tlaku v spoločnosti. Následne otázky z dotazníka v takejto situácii nemerajú skutočný postoj respondenta k predmetu štúdie, ale spoločensky akceptovateľný pohľad.

Zakladateľ centra Jurij Alexandrovič Levada (1930 – 2006)

Významnejšou obavou je falšovanie preferencií – situácia, v ktorej namiesto úprimnej odpovede na priamo položenú otázku respondenti uvádzajú to, čo od nich pomyselná väčšina očakáva, že budú počuť. Medzi dôvody falšovania preferencií patrí túžba respondenta po psychickom pohodlí, konformné správanie a strach zo spoločenského odsúdenia či štátnych sankcií. V čase vojny môže negatívne emocionálne pozadie a nedostatok voľnej výmeny názorov zvýšiť pocit úzkosti a psychického tlaku v spoločnosti. Následne otázky z dotazníka v takejto situácii nemerajú skutočný postoj respondenta k predmetu štúdie, ale spoločensky akceptovateľný pohľad.

Na meranie názorov respondentov na citlivé otázky používajú výskumníci verejnej mienky metódy, ktoré nevyžadujú, aby respondent explicitne vyjadril svoj názor na priamo položenú otázku. Napríklad experiment so zoznamom sa na tieto účely široko používa v spoločenských vedách. Sociológovia Philipp Chapkovsky a Max Schaub na začiatku SVO teda ukázali, že skutočná podpora nemusí byť taká vysoká, ako ju predstavujú prieskumy. Naše výsledky tiež naznačujú možnú zaujatosť v priamej otázke; výsledky dodatočných testov a placebo experimentov nám však neumožňujú jednoznačne hovoriť o veľkosti tohto skreslenia.

Ako funguje experiment so zoznamom?

 

Hlavnou myšlienkou experimentu so zoznamom je, že namiesto priamo položenej otázky respondenti nepriamo oznámia svoj názor na citlivé otázky. V našom experimente dostali respondenti zoznam 3 akcií ruských úradov:

TERAZ UVEDEM NIEKOĽKO ROZHODNUTÍ ORGÁNOV RUSKEJ FEDERÁCIE PRIJANÝCH ZA POSLEDNÝCH PÁR ROKOV.

DÔCHODKOVÁ REFORMA
PREDSTAVUJEME UZAMKNUTIE Z DÔVODU ŠÍRENIA KORONAVÍRUSU
PRIJATIE ZMENY A DOPLNKOV K ÚSTAVE RUSKEJ FEDERÁCIE
Túto verziu otázky položila len polovica náhodne vybraných respondentov – takzvaná kontrolná skupina. Druhá polovica respondentov – liečebná skupina – dostala podobný zoznam, ktorý okrem 3 vyššie uvedených riešení obsahoval aj štvrté riešenie – takzvanú citlivú možnosť:

TERAZ UVEDEM NIEKOĽKO ROZHODNUTÍ ORGÁNOV RUSKEJ FEDERÁCIE PRIJANÝCH ZA POSLEDNÝCH PÁR ROKOV.

DÔCHODKOVÁ REFORMA
PREDSTAVUJEME UZAMKNUTIE Z DÔVODU ŠÍRENIA KORONAVÍRUSU
PRIJATIE ZMENY A DOPLNKOV K ÚSTAVE RUSKEJ FEDERÁCIE
VYKONÁVANIE ŠPECIÁLNEJ VOJENSKEJ OPERÁCIE NA UKRAJINE

Namiesto toho, aby ich pýtali, aby uviedli, ktoré konkrétne rozhodnutia ruských orgánov respondenti podporujú, požiadali ich, aby uviedli číslo – koľko z uvedených rozhodnutí podporujú. Na základe odpovedí jedného konkrétneho respondenta teda nie je možné s istotou povedať, či podporuje vedenie špeciálnej vojenskej operácie.

Táto technika zaručuje anonymitu odpovede pri splnení množstva metodických podmienok. Umožňuje nám však odhadnúť podiel respondentov, ktorí podporujú implementáciu SVR – na tento účel sa od priemeru v liečebnej skupine odpočíta priemerný počet respondentov v kontrolnej skupine.

výsledky

Graf 1 uvádza výsledky porovnania úrovne podpory pre CBO podľa výsledkov priamej otázky a experimentu so zoznamom. V prvej vlne štúdie – koniec februára – marec 2022 – nie je rozdiel medzi podporou v priamej otázke a experimentom so zoznamom. Vo všetkých nasledujúcich vlnách štúdie – v marci, apríli, júni a auguste – je štatisticky významný rozdiel, ktorého veľkosť dosahuje v posledných vlnách štúdie 30 %.

Graf číslo 1 (a):

Prameň Levada centrum.

Graf číslo 1 (b):

Prameň: Levada centrum.

Graf 1. Porovnanie úrovne podpory v priamej otázke a zoznamovom experimente: (a) porovnanie študijnými vlnami, (b) odhad rozdielu medzi priamou otázkou a zoznamovým experimentom.

Stojí za zmienku, že medzi prvou a nasledujúcimi vlnami štúdie sú určité rozdiely. Po prvé, rozdiely spočívajú v spôsobe, akým sa prieskum vykonáva; v prvej vlne sa použil telefonický prieskum na vzorke 1 500 ľudí, zatiaľ čo všetky ďalšie vlny využívali osobné rozhovory na vzorke 1 600 ľudí.

Po druhé, medzi prvou a druhou vlnou štúdie bol prijatý federálny zákon č. 32-FZ zo 4. marca 2022, v médiách známy ako „falošný zákon“ alebo „zákon o vojenskej cenzúre“, ktorý kriminalizuje šírenie nepravdivé informácie a diskreditáciu konania ruskej armády. Je možné, že práve po prijatí zákona sa skutočnosť nezhody s orgánmi Ruskej federácie o potrebe vykonania SVO na Ukrajine stala citlivou témou na diskusiu.

Experimenty so zoznamom sú však čoraz viac kritizované; Technika bola kritizovaná z hľadiska spoľahlivosti aj platnosti. Výsledky experimentov so zoznamom v niekoľkých vlnách štúdie tieto obavy potvrdzujú. Takže napríklad odchýlka odhadu skreslenia v aprílovej vlne prieskumu vyzerá atypicky; kým bodový odhad podpory v priamej otázke pri porovnaní marcovej a aprílovej vlny klesá, zoznamový experiment naopak predpovedá zvýšenie úrovne podpory. Zároveň sú výsledky prieskumných vĺn v júni a auguste porovnateľné.

Graf číslo 2:

Prameň: Levada Centrum.

Obavy vyvolávajú aj výsledky experimentov s placebom (pozri graf 2). Použili sme teda návrh experimentu s placebom publikovaný v článku Timothy Fry et al.

TERAZ Urobím NIEKOĽKO VYHLÁSENÍ. NEPOVEDZTE, KTORÉ VYHLÁSENIA VÁS OSOBNE OPISUJÚ – STAČÍ POVEDZTE, KOĽKO VYHLÁSENÍ UVEDENÝCH NIŽŠIE VÁS OPISUJE. ODPOVEĎ JEDNÝM ČÍSLOM – OD 0 DO [3]4.

SOM MUŽ
SOM ŽENA
SOM ŽENATÝ
[MAM VIAC AKO 55]

Myšlienkou tohto experimentu je, že podiel respondentov nad 55 rokov predpovedaný experimentom so zoznamom by mal byť porovnateľný so skutočným podielom vypočítaným na základe vekovej otázky. Graf 2 ukazuje, že v prvej vlne prieskumu sa skóre vypočítané pomocou zoznamového experimentu ukázalo ako výrazne nižšie.

Odporúčania pre budúci výskum

Napriek tomu, že experiment so zoznamom sa na prvý pohľad javí ako pomerne jednoduchá a spoľahlivá metóda merania verejnej mienky v citlivých otázkach, metodologické problémy neumožňujú jednoznačnú interpretáciu výsledkov. Vyššie uvedené zistenia ukazujú, že skutočný podiel respondentov, ktorí podporujú CVR, mohol byť vo všetkých vlnách prieskumu po prijatí „falošného“ zákona konzistentne nižší. Nízka spoľahlivosť a validita metodiky nám však neumožňuje jednoznačne povedať, o koľko je skutočný podiel skutočne nižší.