Щоб не вводити нікого в оману.
«Сидить політтехнолог і каже: нашому клієнту ми ставимо 50% підтримки, а всім іншим по 15-16% вистачить, і похибка у нас буде, наприклад, 0,002%. Тепер шукаємо соціологічну “контору”, яка під цим всім поставить свій підпис. Потім усе це віялом “джинсується” в пресі. Тому орієнтуватися на соціологію в масштабах країни категорично не варто», — розповідає Ірина Сєрова, яку на ресурсі Zrada називають експертом-соціологом (на власному сайті Ірина не згадує про причетність до соціології). Втім якщо журналіст усе ж береться опрацьовувати результати соціологічних опитувань і не вирішує наперед, що вони сфальсифіковані, варто розібратися, що й до чого. Радимо, на що обов’язково варто зважати, якщо посилаєтеся на передвиборчі рейтинги.
Результати опитування — це не передбачення. Уявімо, що, за передвиборчими опитуваннями, Святослава Вакарчука підтримують на 10% більше респондентів, ніж Володимира Зеленського. Попри це (уявімо), на виборах переможе Зеленський. Тоді журналісти візьмуться викривати й розвінчувати соціологів: дослідження збрехали! Можливо, вони навіть були замовні! Насправді ж опитування громадської думки не віщують результатів виборів, а лише показують ставлення громадян саме на момент опитування: за рік до виборів, півроку, місяць тощо. Це ставлення може змінюватися. Крім того, завжди треба зважати, скільки людей на момент опитування взагалі не збираються йти на вибори або ще не визначилися зі вподобаннями. Саме ті, хто не визначилися, можуть своїм рішенням вплинути на результати виборів у порівнянні із результатами опитувань. Як і ті, хто спершу не збиралися голосувати, а потім зрештою це зробили. Або ті, які в опитуванні сказали, що точно-точно проголосують за Вакарчука, але в останній момент проголосували за Зеленського.
На що варто зважати, коли інтерпретуєте результати досліджень
Хто проводив дослідження. Заступник виконавчого директора Київського міжнародного інституту соціології Антон Грушецький каже, що перед виборами з’являються «фіктивні соціологічні компанії, які або взагалі юридично не існують або були щойно створені». Натомість компанії, які давно існують на ринку і цінують власну репутацію, як правило, належать до галузевих організацій — Соціологічної асоціації України, Української асоціації маркетингу, Європейської асоціації дослідників громадської думки і маркетингу (ESOMAR). Такі компанії публікують результати досліджень регулярно і навряд умисно їх фальсифікуватимуть, — це невигідно у довгостроковій перспективі. За порушення кодексу з ESOMAR виключають і викреслюють організацію з довідників, якими користуються під час проведення тендерів. Це зменшує шанси на замовлення, а отже, на заробіток.
Нові дослідницькі компанії, однак, не треба ігнорувати, — про них просто варто більше і ретельніше дізнаватися.
Результати ж опитувань на сайтах видань (наприклад, тут) або під час телевізійних програм не репрезентують ні населення країни, ні глядачів каналу/читачів видання. Ці результати репрезентують лише тих, хто подзвонили під час ефіру і відповіли на запитання, каже Антон Грушецький. Використовувати такі дані як репрезентативні для всіх українців — маніпуляція.
«Існують й інші, тонші способи умовно чесного впливу — наприклад, порядок запитань в анкеті, окремі формулювання, список кандидатів/партій у запитанні про рейтинги тощо», — розповідає дослідник. Він радить прочитати книжку Деніела Канемана «Мислення швидке і повільне». Багато з того, що автор у ній описав, можна застосувати і до соціологічних досліджень.
Кого і де опитували. Люди, які відповідають на опитування, звуться респондентами. А їх сукупність — вибіркою. Вибірка — це ніби зменшена модель великої спільноти. Коли опитування всеукраїнське, спільнота — це всі громадяни України. Можна уявити спільноту як великий хмарочос. Тоді вибірка — це певна кількість людей (у всеукраїнських опитуваннях, як правило, півтори-дві тисячі), які відображають властивості спільноти, але є її зменшеною копією. Як, наприклад, архітектурний макет хмарочоса є зменшеною, але максимально точною копією справжньої будівлі.
Від початку вибірка — це 100%. Саме від цих ста відсотків, як правило, вираховують частки: скільки відсотків людей підтримують Вакарчука, скільки — Зеленського. Однак, буває й так, що на запитання відповідають не всі респонденти, а тільки частина. Тоді ця частина стає новими ста відсотками.
Наприклад, усіх респондентів запитали: «Якби вибори відбувалися наступної неділі, за кого би ви голосували?». Зі всіх респондентів 15% сказали, що голосували би за Вакарчука, ще 10% — за Зеленського і так далі, а ще 25%, що не визначилися. Тоді журналістка може написати: якби вибори відбувалися наступної неділі, 15% українців проголосували би за Вакарчука. Однак може бути й інакше: спочатку усіх сто відсотків респондентів запитають: «Якби вибори відбувалися наступної неділі, чи знаєте ви, за кого би проголосували?». Люди можуть відповісти: «так, знаю, за кого би проголосувала» або «ні, я ще не знаю». Далі ж про конкретні симпатії запитають тільки тих, хто вже визначилися. Відповідно, саме ця сукупність людей перетвориться на нові сто відсотків. Із них, наприклад, 8% скажуть, що, якби вибори відбувалися наступної неділі, вони би підтримали Вакарчука, а ще 5% — що Зеленського. За таких умов журналіст не може написати: «8% українців проголосують за Вакарчука». У цій фразі одразу дві помилки. По-перше, ми не знаємо, як ці люди проголосують на самих виборах, а знаємо їхній намір у день опитування. По-друге, треба писати: у день опитування стільки-то відсотків респондентів знали, за кого проголосували би, якби вибори відбувалися наступної неділі. Серед них 8% проголосували би за Вакарчука.
Наприклад, в опитуванні фонду «Демократичні ініціативи» можна побачити, яка частка з усіх респондентів проголосувала би наступної неділі за кожного з кандидатів, і яка — серед тих, хто взагалі має намір брати участь у виборах.
«Нещодавно фонд «Демократичні ініціативи» оприлюднив дані спільного з Київським міжнародним інститутом соціології опитування щодо НАТО. На сайті “Українська правда” можна знайти новину із заголовком “Майже 70% українців проголосували би за вступ до НАТО”. Це сприймається як “майже абсолютнa більшість населення України підтримує вступ до НАТО”. Але насправді це відсоток серед тих, хто сказали, що готові взяти участь у референдумі на тему НАТО», — розповідає Антон Грушецький.
Треба зважати і на те, де опитували респондентів: по всій Україні чи в окремих регіонах, у яких типах населених пунктів. Антон Грушецький наводить приклад: нещодавно центр «Socis», центр «Соціальний моніторинг» та Український інститут соціальних досліджень провели дослідження, в якому не опитували мешканців обласних центрів. Така вибірка цілком можлива, якщо задовольняє потреби замовників дослідження, однак інтерпретувати результати треба відповідним чином: їх не можна вважати результатами всеукраїнського дослідження, як це фактично зробили журналісти «Української правди». Наприкінці новини вони зазначають, що до вибірки не ввійшли мешканці обласних центрів, але заголовок «Прохідний рейтинг в Раду зберігають 9 партій — опитування» ніяк на це не натякає. Такий заголовок введе в оману читачів, які прочитають його, але не клікнуть на саму новину і не дочитають її до останніх абзаців.
Антон Грушецький вважає, що соціологам варто більше наголошувати на специфіці вибірки, коли вони оприлюднюють результати досліджень, а журналістам реагувати на зауваження і виправляти маніпулятивні заголовки.
Яка похибка. Соціологічні дослідження неточні. Це пов’язано із тим, що отримані під час опитування вибіркових людей результати поширюють на більшу групу: наприклад, думку двох тисяч українців на всіх українців. Неточність дослідження називається похибкою, і її можна виміряти наперед. У прес-релізах досліджень її завжди вказують (і роблять це не просто так); для досліджень із вибіркою дві тисячі людей похибка зазвичай становить 2-3,5%. Коли зі всеукраїнського дослідження відомо, що Вакарчука підтримують 50% респондентів, а похибка у дослідженні — 2%, це значить, що насправді кандидата Святослава підтримують від 48 до 52% українців. Точніше сказати не можна. Відповідно, коли Вакарчука підтримують 50%, а Зеленського — 49%, не можна стверджувати, що один із них випереджає іншого. Тому що для першого діапазон підтримки від 48 до 52%, а для другого — від 47 до 51%. Нескладно порахувати, як ці діапазони перетинаються.
«За останніми опитування фактично умовним лідером є Юлія Тимошенко/Всеукраїнське об’єднання “Батьківщина”, які випереджають інших поза межі похибки. І хоча це так, треба враховувати, що різниця з наступним місцем в абсолютному вимірі не така й велика. А далі йдуть фактично 2-6 кандидатів/партій, які мають настільки близькі показники підтримки, що сенсу говорити, що хтось на третьому місці, а хтось на п’ятому, — немає. Фактично, ці кандидати/партії поділяють друге місце», — розповідає Антон Грушецький.
Як саме звучали запитання до респондентів і в якій послідовності їх озвучували. Зазвичай, щоб визначити політичні настрої людей, запитання формулюють так: «Якби наступної неділі відбувалися президентські вибори, за кого би ви голосували?». Це зовсім не те саме, що запитати «За кого ви проголосуєте на президентських виборах через півроку?». Якщо респондентів запитували, кого з кандидатів у президенти вони вважають найкращим для України за нинішніх умов, то у своєму тексті журналістам слід так і писати: стільки-то відсотків опитаних за нинішніх умов найкращим президентом вважають Володимира Зеленського. Не треба писати, що Зеленському «довіряють» чи «підтримують» його. Якщо в запитанні не йшлося ні про довіру, ні про підтримку, люди про це, відповідно, і не висловлювалися. І навпаки, якщо питання звучало «Кому із кандидатів у президенти ви найбільше довіряєте?», не треба інтерпретувати довіру як «підтримку» чи «намір голосувати саме за цього кандидата».
Які були варіанти відповідей і чи можна було обрати кілька варіантів. Наприклад, в опитуванні фонду «Демократичні ініціативи» є запитання про намір брати участь у президентських виборах. Люди можуть сказати «так» упевнено і «так» із сумнівами. Так само і з відмовою — «упевнений, що ні» та «скоріше ні». Однак некоректно додавати ці два ствердні варіанти (38%+32%) і позиціонувати їх як одне загальне «так» (70%), чи два заперечні як одне «ні» (8,3%+14,5%). Може здаватися, що різницею між «однозначно так» і «скоріше так» не критично знехтувати. Однак це тільки здається.
Генеральний директор Київського міжнародного інституту соціології Володимир Паніотто пояснює, як від опції «важко сказати» залежить, чи спав Клінтон з Монікою Левінскі.
На рейтинг впливає і список партій чи окремих кандидатів, за якими респонденту пропонують визначитися зі симпатіями. «Поки не відбулася реєстрація партій і кандидатів, будь-який список має право на існування. Дуже часто політичні сили перевіряють електоральні можливості тих чи інших кандидатів, навіть якщо вони ще не висловили намір брати участь у виборах, — каже Антон Грушецький і додає: — Що більше у списку кандидатів з одного електорального поля, то менше відсотків набере кожен із них».
Який метод використали для опитування: особисте опитування (face-to-face), телефонне (computer assisted telephone interview — CATI), онлайн тощо. Антон Грушецький каже: «Хоча у світі загалом найчастіше проводяться телефонні і онлайн-опитування, в Україні поки що методично найбільш обґрунтованими є саме особисті інтерв’ю». Додає, що телефонні не є менш надійними. Іноді вони — єдиний спосіб обійти вахтерів і кодові замки на дверях під’їздів у великих містах і достукатися до респондентів. А от всеукраїнське опитування в онлайні не проведеш, оскільки інтернетом користуються не всі мешканці України, а ті, що користуються, більш імовірно живуть у містах і є порівняно молодшими. «Але якщо проводиться онлайн-опитування, щоб виявити думку жителів великих міст у віці до 50 років, такі дані цілком можуть бути надійними», — каже Антон.
Порівнювати можна тільки те, що можна порівнювати. Наприклад, не можна порівнювати результати попередніх виборів із результатами опитувань перед прийдешніми. Тому що в першому разі цей відсоток вираховується від кількості усіх, хто взяли участь у виборах, а в другому до 100% входять і люди, які не визначилися, і ті, які сказали, що не голосуватимуть. Оскільки формулювання запитань і варіанти відповідей можуть впливати на те, як люди відповідають, не можна порівнювати результати неоднакових, хоч і схожих за змістом запитань. Так само не можна порівнювати результати опитувань із різними списками політиків чи партій.
Якщо на основі результатів опитування треба написати новину, в ній слід якомога точніше відтворювати запитання яке ставили респондентам, сказати, хто увійшов до вибірки (наприклад, що на непідконтрольних Україні територіях опитування не відбувалося), коли, хто і на які гроші/на чиє замовлення опитування провів і яка похибка. Цю інформацію соціологічні організації, як правило, вказують у прес-релізах результатів досліджень. Якщо ні, слід звертатися по уточнення або коментарі.
Втім інколи соціологічні компанії не скажуть, хто замовив дослідження, навіть якщо звернутися із запитом. «У вимозі називати замовника є раціональне зерно, але міжнародна організація ESOMAR у своїх кодексах забороняє розголошувати ім’я замовника, якщо він сам не дає на це дозвіл», — пояснює Антон Грушецький. Замовник є власником даних і може на власний розсуд вирішувати, що публікувати. Однак ESOMAR зобов’язує публікувати пов’язані між собою запитання. «Наприклад, якщо спочатку запитують, чи візьме респондент участь у референдумі щодо вступу до НАТО, а потім, якщо візьме, як саме проголосує, — забороняється публікувати лише друге запитання». Якщо самі замовники уникають публікувати пов’язані запитання, соціологічна компанія «має право (і фактично повинна) виступити із роз’ясненнями щодо даних».
Коли ж потрібно написати не новину, а аналітичний текст, найкраще зосереджуватися на людях, які на момент опитування не визначилися зі вподобаннями. Як і хто намагатиметься отримати їхню прихильність за час, що лишився до виборів? Які маніпуляції для цього можуть відбутися? Як не допустити, щоб медіа стали співучасниками таких маніпуляцій?
