Упередження вибірки

У статистиці упереджена вибірка — це упередження, за якого вибірка збирається таким чином, що деякі члени цільової сукупності мають меншу або вищу ймовірність потрапити до вибірки[en], ніж інші. Це призводить до упередженої вибірки[1] генеральної сукупності (або факторів, не пов'язаних із людським фактором), у якій не однаково імовірно були відібрані всі особи чи екземпляри.[2] Якщо це не враховано, результати можуть бути помилково віднесені до досліджуваного явища, а не до методу відбору зразків .

Медичні джерела іноді називають похибку вибірки похибкою констатації.[3][4] Похибка констатації має в основному те саме визначення[5][6], але все ще іноді класифікується як окремий тип упередженості.[5]

Відмінність від упередженості відбору

Упереджену вибірку зазвичай класифікують як підтип упередженості відбору,[7] іноді спеціально називають упередженням вибірки[8][9][10], але дехто класифікує її як окремий тип упередження.[11] Відмінність, хоча й не загальновизнана, упередження вибірки полягає в тому, що воно підриває зовнішню валідність тесту (здатність його результатів бути узагальненими для всієї сукупності), тоді як упередження відбору головним чином стосується внутрішньої валідності відмінностей або подібностей, виявлених у зразках, які є в руках. У цьому сенсі помилки, що виникають у процесі відбору вибірки чи когорти, викликають упередження вибірки, тоді як помилки в будь-якому подальшому процесі спричиняють упередження відбору.

Однак упередження відбору та упередження вибірки часто використовуються як синоніми.[12]

Типи

  • Виділення з конкретної реальної області. Наприклад, опитування старшокласників для визначення вживання підлітками незаконних наркотиків буде упередженою вибіркою, оскільки воно не включає учнів, які навчаються вдома, або тих, хто покинув навчання. Вибірка також є упередженою, якщо певні члени представлені недостатньо або надмірно порівняно з іншими у сукупності. Наприклад, інтерв'ю «людини з вулиці», яке вибирає людей, які проходять повз певне місце, матиме надмірне представництво здорових людей, які, швидше за все, будуть поза домом, ніж люди з хронічними захворюваннями. Це може бути крайньою формою упередженого відбору, оскільки певні члени генеральної сукупності повністю виключаються з вибірки (тобто вони мають нульову ймовірність бути обраними).
  • Упередження самовідбору (див. також упередження відсутності відповіді[en]) можливе щоразу, коли група досліджуваних людей має будь-яку форму контролю над тим, чи брати участь (оскільки поточні стандарти дослідницької етики між людьми та суб'єктами вимагають багатьох досліджень у режимі реального часу та деяких лонгітюдних форм дослідження). Рішення учасників взяти участь може бути пов'язане з рисами, які впливають на дослідження, що робить учасників нерепрезентативною вибіркою. Наприклад, люди, які мають тверду думку або знають, можуть бути більш готові витрачати час на відповіді на опитування, ніж ті, хто його не має. Іншим прикладом є онлайн-опитування та опитування по телефону[en], які є упередженими, оскільки респонденти обираються самостійно. Ті люди, які мають високу мотивацію відповідати, як правило, є особами, які мають тверду думку, представлені надмірно, а люди, які є байдужими чи апатичними, менш імовірно відповідатимуть. Це часто призводить до поляризації відповідей, коли крайнім перспективам надається непропорційна вага в підсумку. У результаті такі типи опитувань вважаються ненауковими.
  • Упередження виключення є результатом виключення певних груп із вибірки, наприклад, виключення суб'єктів, які нещодавно мігрували на досліджувану територію (це може статися, коли новачки недоступні в реєстрі, який використовується для ідентифікації вихідної популяції). Виключення суб'єктів, які переїхали з досліджуваної області під час подальшого спостереження, скоріше еквівалентно вибуванню або відсутності відповіді, упередженості відбору, оскільки це швидше впливає на внутрішню валідність дослідження.
  • Упередження здорового користувача, коли досліджувана популяція, ймовірно, здоровіша за загальну популяцію. Наприклад, людина зі слабким здоров'ям навряд чи зможе працювати робітником.
  • Помилка Берксона[en], коли досліджувана популяція вибирається з лікарні, тому вона менш здорова, ніж загальна популяція. Це може призвести до хибної негативної кореляції між хворобами: у лікарняного пацієнта без діабету більша ймовірність мати інше дане захворювання, наприклад холецистит, оскільки у нього повинні були бути певні причини для звернення до лікарні.
  • Надлишкова відповідність[en], відповідність для очевидного спотворювача, який насправді є результатом впливу. Контрольна група стає більш схожою на випадки щодо впливу, ніж загальна популяція.
  • Упередження виживання, при якому вибираються лише «вижилі» суб'єкти, ігноруються ті, що випали з поля зору. Наприклад, використання даних про поточні компанії як індикатор ділового клімату чи економіки ігнорує підприємства, які зазнали краху та більше не існують.
  • Упередження Мальмквіста[en], ефект у спостережній астрономії, який призводить до переважного виявлення яскравих за своєю суттю об'єктів.

Вибірка на основі симптомів

Вивчення медичних умов починається з анекдотичних повідомлень. За своїм характером такі звіти включають лише тих, хто направлений для діагностики та лікування. У дитини, яка не може вчитися в школі, з більшою ймовірністю буде діагностована дислексія, ніж у дитини, яка зі складностями, але вчиться. Дитину, обстежену на одне захворювання, з більшою ймовірністю буде перевірено на наявність інших захворювань, що спотворить статистику супутніх захворювань. Оскільки певні діагнози асоціюються з проблемами поведінки чи розумовою відсталістю, батьки намагаються запобігти стигматизації своїх дітей за допомогою цих діагнозів, створюючи подальшу упередженість. Дослідження, ретельно відібрані з цілої популяції, показують, що багато захворювань є набагато більш поширеними та зазвичай набагато легшими, ніж вважалося раніше.

Усечений відбір у племінних дослідженнях

Генетики обмежені в тому, як вони можуть отримати дані з людської популяції. Як приклад розглянемо людську характеристику. Нам цікаво визначити, чи успадковується певна характеристика як проста ознака Менделя. Відповідно до законів менделівської спадковості, якщо батьки в родині не мають ознаки, але несуть її алель, вони є носіями (наприклад, неекспресивна гетерозигота). У цьому випадку кожне з їхніх дітей матиме 25 % шансів проявити цю характеристику. Проблема виникає через те, що ми не можемо визначити, в яких сім'ях обоє батьків є носіями (гетерозиготними), якщо вони не мають дитини, яка демонструє цю характеристику. Опис відповідає підручнику Саттона.[13]

На рисунку показано родоводи всіх можливих сімей з двома дітьми, коли батьки є носіями (Аа).

  • Неусікаючий відбір. В ідеальному світі ми повинні мати можливість виявити всі такі родини з геном, включаючи тих, хто є просто носіями. У цій ситуації аналіз буде вільним від констатаційних упереджень, а родоводи проходитимуть під «неусікаючим відбором». На практиці більшість досліджень ідентифікують і включають в дослідження сім'ї на основі того, що вони мають уражених осіб.
  • Усікаючий відбір. Коли уражені особи мають рівні шанси бути включеними в дослідження, це називається усіченим відбором, що означає ненавмисне виключення (усічення) сімей, які є носіями гена. Оскільки відбір здійснюється на індивідуальному рівні, сім'ї з двома чи більше постраждалими дітьми матимуть вищу ймовірність бути включеними до дослідження.
  • Повний усікаючий відбір є особливим випадком, коли кожна сім'я з ураженою дитиною має рівні шанси бути відібраною для дослідження.

Імовірність кожної з відібраних сімей наведена на малюнку, а також частота вибірки постраждалих дітей. У цьому простому випадку дослідник буде шукати частоту 4⁄7 або 5⁄8 для характеристики, залежно від типу використаного усікаючого відбору.

Ефект печерної людини

Приклад упередження вибірки називається «ефект печерної людини». Значна частина нашого розуміння доісторичних народів походить від печер, таких як наскальні малюнки, зроблені майже 40 000 років тому. Якби були сучасні малюнки на деревах, шкурах тварин чи схилах пагорбів, їх би давно змило. Подібним чином, докази ям з вогнищами, смітникових місць, місць поховань тощо, швидше за все, залишаться недоторканими до сучасної епохи в печерах. Доісторичні люди асоціюються з печерами, тому що саме там все ще існують дані, не обов'язково тому, що більшість із них прожила в печерах більшу частину свого життя.[14]

Проблеми через упередження вибірки

Упередження вибірки є проблемою, оскільки статистичні дані, обчислені для вибірки, можуть бути систематично помилковими. Упередження вибірки може призвести до систематичної завищеної або заниженої оцінки відповідного параметра в сукупності. Упередження вибірки виникає на практиці, оскільки практично неможливо забезпечити ідеальну випадковість вибірки. Якщо ступінь спотворення невеликий, то вибірку можна розглядати як прийнятне наближення до випадкової вибірки. Крім того, якщо зразок суттєво не відрізняється за вимірюваною величиною, упереджений зразок все ще може бути розумною оцінкою.

Слово упередженість має сильний негативний відтінок. Дійсно, упередження іноді походять від навмисного наміру ввести в оману або іншого наукового шахрайства. При застосуванні у статистиці упередження просто представляє математичну властивість, незалежно від того, чи є воно навмисним, чи несвідомим, чи через недосконалість інструментів, що використовуються для спостереження. Хоча деякі люди можуть навмисно використовувати упереджену вибірку для отримання оманливих результатів, частіше упереджена вибірка є лише відображенням труднощів у отриманні справді репрезентативної вибірки або незнання упередженості в процесі вимірювання чи аналізу. Прикладом того, як може існувати незнання упередженості, є широке використання співвідношення (воно же кратність зміни[en]) як міри відмінності в біології. Оскільки легше досягти великого відношення з двома малими числами з заданою різницею, а відносно важче досягти великого відношення з двома великими числами з більшою різницею, великі значущі відмінності можна не помітити при порівнянні відносно великих числових вимірювань. Дехто назвав це «демаркаційним упередженням», оскільки використання співвідношення (поділу) замість різниці (віднімання) переносить результати аналізу з науки в псевдонауку (див. проблему демаркації).

У деяких зразках використовується упереджений статистичний дизайн, який, тим не менш, дозволяє оцінити параметри. Національний центр статистики охорони здоров'я[en] США, наприклад, навмисно проводить надмірну вибірку меншин у багатьох своїх загальнонаціональних опитуваннях, щоб отримати достатню точність для оцінок у цих групах.[15] Ці дослідження вимагають використання ваг вибірки (див. далі) для отримання належних оцінок для всіх етнічних груп. За умови дотримання певних умов (головним чином те, що вагові коефіцієнти розраховані та використані правильно), ці вибірки дозволяють точно оцінити параметри популяції.

Історичні приклади

Приклад упередженої вибірки: станом на червень 2008 року 55 % використовуваних веб-браузерів (Internet Explorer) не пройшли тест Acid2. Через характер тесту вибірка складалася переважно з веб-розробників.[16]

Класичний приклад упередженої вибірки та результатів, які вводять в оману, стався в 1936 році. У перші дні опитування громадської думки журнал American Literary Digest[en] зібрав понад два мільйони поштових опитувань і передбачив, що кандидат від Республіканської партії на президентських виборах у США Альф Лендон переможе чинного президента Франкліна Рузвельта з великою перевагою. Результат був прямо протилежним. Опитування Literary Digest представляло собою вибірку, зібрану серед читачів журналу, доповнену записами зареєстрованих власників автомобілів і користувачів телефонів. Ця вибірка включала надмірне представництво заможних людей, які, як група з більшою ймовірністю голосували за кандидата від Республіканської партії. Навпаки, опитування лише 50 тисяч громадян, відібраних організацією Джорджа Геллапа, успішно передбачило результат, що призвело до популярності опитування Геллапа.

Ще один класичний приклад стався під час президентських виборів 1948 року. У ніч виборів Chicago Tribune надрукувала заголовок «ДЬЮІ ПЕРЕМАГАЄ ТРУМЕНА[en]», який виявився помилковим. Вранці усміхненого обраного президента Гаррі Трумена сфотографували з газетою з таким заголовком. Причина помилки Tribune полягає в тому, що їхній редактор довірився результатам телефонного опитування. Опитування тоді було в зародковому стані, і небагато вчених усвідомлювали, що вибірка користувачів телефонів не є репрезентативною для загальної сукупності. Телефони ще не були широко поширені, і ті, хто їх мав, як правило, були заможними та мали стабільні адреси. (У багатьох містах телефонний довідник Bell System[en] містив ті самі імена, що й Соціальний реєстр[en]). Крім того, опитування Геллапа, на основі якого Tribune ґрунтувала свій заголовок, існувало понад два тижні на момент друку.[17]

У даних про якість повітря забруднювачі (такі як оксид вуглецю, оксид азоту, діоксид азоту або озон) часто демонструють високі кореляції, оскільки вони походять від того самого хімічного процесу(ів). Ці кореляції залежать від простору (тобто місця) і часу (тобто періоду). Таким чином, розподіл забруднюючих речовин не обов'язково є репрезентативним для кожного місця та кожного періоду. Якщо недорогий вимірювальний прилад відкалібровано за допомогою польових даних у багатоваріантний спосіб, точніше шляхом спільного розміщення поруч із еталонним приладом, зв'язки між різними сполуками включаються в модель калібрування. Переміщення вимірювального приладу може призвести до отримання помилкових результатів.[18]

Більш свіжим прикладом є пандемія COVID-19, коли було показано, що варіації у зміщеннях вибірки при тестуванні на COVID-19 пояснюють значні варіації як у показниках смертності, так і у віковому розподілі випадків у країнах.[19][20]

Статистичні поправки для упередженої вибірки

Якщо цілі сегменти сукупності виключаються з вибірки, тоді немає ніяких коригувань, які можуть дати оцінки, репрезентативні для всієї сукупності. Але якщо деякі групи недостатньо представлені і ступінь недопредставленості можна визначити кількісно, тоді ваги вибірки можуть виправити зміщення. Однак успіх корекції обмежується обраною моделлю вибору. Якщо певні змінні відсутні, методи, які використовуються для виправлення упередження, можуть бути неточними.[21]

Наприклад, гіпотетична популяція може включати 10 мільйонів чоловіків і 10 мільйонів жінок. Припустимо, що упереджена вибірка зі 100 пацієнтів включала 20 чоловіків і 80 жінок. Дослідник міг виправити цей дисбаланс, додавши вагу 2,5 для кожного чоловіка та 0,625 для кожної жінки. Це призведе до коригування будь-яких оцінок для досягнення такого ж очікуваного значення, як і вибірка, яка включала рівно 50 чоловіків і 50 жінок, якщо тільки чоловіки та жінки не відрізняються за ймовірністю участі в опитуванні. 

Див. також

Примітки

  1. ↑ Sampling Bias. Medical Dictionary. Архів оригіналу за 10 March 2016. Процитовано 23 вересня 2009.
  2. ↑ Biased sample. TheFreeDictionary. Процитовано 23 вересня 2009. Mosby's Medical Dictionary, 8th edition
  3. ↑ DNA fingerprinting in plants: principles, methods, and applications. London: Taylor & Francis Group. 2005. с. 180. ISBN 978-0-8493-1488-9.
  4. ↑ Ramírez i Soriano A (29 листопада 2008). Selection and linkage desequilibrium tests under complex demographies and ascertainment bias (Дипломна робота Ph.D.). Universitat Pompeu Fabra. с. 34. Архів оригіналу (PDF) за 15 липня 2019. Процитовано 6 серпня 2022.
  5. ↑ а б Error and Bias in Clinical Research (PDF). SAEM Annual Meeting. New Orleans, LA: Society for Academic Emergency Medicine. May 2009. Архів оригіналу (PDF) за 17 August 2016. Процитовано 14 листопада 2009. [Архівовано 2016-08-17 у Wayback Machine.]
  6. ↑ Ascertainment Bias. Medilexicon Medical Dictionary. Архів оригіналу за 6 August 2016. Процитовано 14 листопада 2009.
  7. ↑ Selection Bias. Dictionary of Cancer Terms. Архів оригіналу за 9 June 2009. Процитовано 23 вересня 2009. [Архівовано 2009-06-09 у Wayback Machine.]
  8. ↑ Ards S, Chung C, Myers SL (February 1998). The effects of sample selection bias on racial differences in child abuse reporting. Child Abuse & Neglect. 22 (2): 103—15. doi:10.1016/S0145-2134(97)00131-2. PMID 9504213.
  9. ↑ Cortes C, Mohri M, Riley M, Rostamizadeh A (2008). Sample Selection Bias Correction Theory (PDF). Algorithmic Learning Theory. Lecture Notes in Computer Science. 5254: 38—53. arXiv:0805.2775. CiteSeerX 10.1.1.144.4478. doi:10.1007/978-3-540-87987-9_8. ISBN 978-3-540-87986-2.
  10. ↑ Cortes C, Mohri M (2014). Domain adaptation and sample bias correction theory and algorithm for regression (PDF). Theoretical Computer Science. 519: 103—126. CiteSeerX 10.1.1.367.6899. doi:10.1016/j.tcs.2013.09.027.
  11. ↑ Behavioral Science. Lippincott Williams & Wilkins. 2009. с. 262. ISBN 978-0-7817-8257-9.
  12. ↑ Maxcy-Rosenau-Last Public Health and Preventive Medicine (вид. 15th). McGraw Hill Professional. 2007. с. 21. ISBN 978-0-07-159318-2.
  13. ↑ An Introduction to Human Genetics (вид. 4th). Harcourt Brace Jovanovich. 1988. ISBN 978-0-15-540099-3.
  14. ↑ Berk RA (June 1983). An Introduction to Sample Selection Bias in Sociological Data. American Sociological Review. 48 (3): 386—398. doi:10.2307/2095230. JSTOR 2095230.
  15. ↑ Minority Health. National Center for Health Statistics. 2007.
  16. ↑ Browser Statistics. Refsnes Data. June 2008. Процитовано 5 липня 2008.
  17. ↑ Gallup Poll. The Engines of Our Ingenuity. Процитовано 29 вересня 2007.
  18. ↑ Tancev G, Pascale C (October 2020). The Relocation Problem of Field Calibrated Low-Cost Sensor Systems in Air Quality Monitoring: A Sampling Bias. Sensors. 20 (21): 6198. Bibcode:2020Senso..20.6198T. doi:10.3390/s20216198. PMC 7662848. PMID 33143233.
  19. ↑ Ward D (20 квітня 2020). Sampling Bias: Explaining Wide Variations in COVID-19 Case Fatality Rates. Preprint (Звіт). Bern, Switzerland. doi:10.13140/RG.2.2.24953.62564/1.
  20. ↑ Böttcher L, D'Orsogna MR, Chou T (May 2021). Using excess deaths and testing statistics to determine COVID-19 mortalities. European Journal of Epidemiology (Звіт). Т. 36. с. 545—558. doi:10.1007/s10654-021-00748-2.
  21. ↑ Cuddeback G, Wilson E, Orme JG, Combs-Orme T (2004). Detecting and Statistically Correcting Sample Selection Bias. Journal of Social Service Research. 30 (3): 19—33. doi:10.1300/J079v30n03_02.