Екологічна помилка

Екологічна помилка (також помилка екологічного висновування [1] або помилка сукупності) — формальна помилка в інтерпретації статистичних даних, яка виникає, коли висновки про природу індивідів виводяться з висновків про групу, до якої ці індивіди належать. «Екологічна помилка» — це термін, який іноді використовують для опису помилки поділу, яка не є статистичною помилкою. Чотири поширені статистичні екологічні помилки: плутанина між екологічними кореляціями та індивідуальними кореляціями, плутанина між груповим середнім і загальним середнім, парадокс Сімпсона та плутанина між вищим середнім і вищою ймовірністю.

Приклади

Середнє та медіана

Прикладом екологічної помилки є припущення, що середнє значення чисельності населення має просту інтерпретацію при розгляді ймовірностей для окремої людини.

Наприклад, якщо середня оцінка групи більша за нуль, це не означає, що випадкова особа з цієї групи, імовірніше, матиме позитивну оцінку, ніж негативну (поки негативних оцінок більше, ніж позитивних, особа, швидше за все, матиме негативний бал). Подібним чином, якщо визначено, що певна група людей має нижчий середній IQ, ніж генеральна сукупність, було б помилкою робити висновок, що навмання вибраний член групи швидше за все матиме нижчий IQ, ніж середній IQ населення в цілому; також не обов’язково, що випадково обраний член групи швидше за все матиме нижчий IQ, ніж випадково обраний член генеральної сукупності. Математично це випливає з того факту, що розподіл може мати позитивне середнє, але негативну медіану. Ця властивість пов'язана з асиметрією розподілу. 

Розглянемо наступний числовий приклад:

• Група А: 80% людей отримали 40 балів і 20% з них отримали 95 балів. Середня оцінка – 51 бал.
• Група B: 50% людей отримали 45 балів і 50% отримали 55 балів. Середня оцінка – 50 балів.
• Якщо ми навмання виберемо двох людей з А і Б, буде 4 можливі результати:
  • A – 40, B – 45 (B перемагає, ймовірність 40% – 0,8 × 0,5)
  • A – 40, B – 55 (B перемагає, ймовірність 40% – 0,8 × 0,5)
  • А – 95, Б – 45 (перемагає А, ймовірність 10% – 0,2 × 0,5)
  • А – 95, Б – 55 (перемагає А, ймовірність 10% – 0,2 × 0,5)
• Хоча група A має вищий середній бал, у 80% випадків випадкова особа з A матиме нижчий бал, ніж випадкова особа з B.

Індивідуальні та сукупні кореляції

Дослідження Еміля Дюркгейма свідчать про те, що в переважно протестантських місцевостях рівень самогубств вищий, ніж у переважно католицьких.[2] За словами Фрідмана[3], ідея про те, що відкриття Дюркгейма пов’язують на індивідуальному рівні релігію людини з ризиком самогубства, є прикладом екологічної помилки. Відносини на рівні групи не характеризують автоматично відносини на рівні особистості.

Так само, навіть якщо на індивідуальному рівні багатство позитивно корелює зі схильністю голосувати за республіканців, ми спостерігаємо, що заможніші штати, як правило, голосують за демократів. Наприклад, у 2004 році кандидат від Республіканської партії Джордж Буш переміг у п'ятнадцяти найбідніших штатах, а кандидат від Демократичної партії Джон Керрі переміг у 9 з 11 найбагатших штатів. Проте 62% виборців із річним доходом понад 200 000 доларів проголосували за Буша, але лише 36% виборців із річним доходом 15 000 доларів або менше проголосували за Буша.[4] Кореляція на сукупному рівні відрізнятиметься від кореляції на індивідуальному рівні, якщо на переваги голосування впливає загальне багатство держави навіть після контролю індивідуального багатства. Цілком можливо, що справжнім рушійним чинником переваги при голосуванні є відносне багатство, яке сприймається самим; можливо, ті, хто вважає себе кращим за своїх сусідів, швидше проголосують за республіканців. У цьому випадку людина з більшою ймовірністю проголосує за республіканців, якщо вона стане багатшою, але вона з більшою ймовірністю проголосує за демократа, якщо багатство її сусіда зросте (що призведе до багатшого штату).

Однак спостережувану різницю у виборчих звичках на основі статків на державному та індивідуальному рівнях також можна пояснити загальною плутаниною між вищими середніми показниками та вищими ймовірностями, як обговорювалося вище. Штати можуть бути заможнішими не тому, що в них проживає більше заможних людей (тобто більше людей із річним доходом понад 200 000 доларів США), а радше тому, що в них проживає невелика кількість надбагатих людей; тоді екологічна помилка є наслідком неправильного припущення, що індивіди в заможніших державах мають більше шансів бути заможними.

Багато прикладів екологічних помилок можна знайти в дослідженнях соціальних мереж, які часто поєднують аналіз і наслідки з різних рівнів. Це було проілюстровано в науковій статті про мережі фермерів на Суматрі. [5]

Парадокс Робінсона

У статті 1950 року Вільяма С. Робінсона було підраховано рівень неписьменності та частку населення, народженого за межами США, для кожного штату та округу Колумбія за даними перепису 1930 року.[6] Він показав, що ці дві цифри були пов'язані з негативною кореляцією -0,53; іншими словами, чим більша частка іммігрантів у державі, тим нижчий середній рівень неписьменності. Однак, коли розглядаються окремі особи, кореляція склала +0,12 (іммігранти були в середньому більш неписьменними, ніж корінні громадяни). Робінсон показав, що негативна кореляція на рівні населення штатів пояснюється тим, що іммігранти, як правило, селяться в штатах, де корінне населення було більш грамотним. Він застеріг від висновків щодо окремих людей на основі популяційних чи «екологічних» даних. У 2011 році було виявлено, що розрахунки Робінсона щодо екологічних кореляцій базуються на неправильних даних державного рівня. Згадане вище співвідношення −0,53 насправді дорівнює −0,46.[7] Стаття Робінсона була основоположною, але термін «екологічна помилка» був введений Селвіном лише в 1958 році. [8]

Формальна проблема

Кореляція сукупних величин (або екологічна кореляція^[en]) не дорівнює кореляції окремих величин. Позначимо X _i , Y _i дві величини на індивідуальному рівні. Формула для коваріації сукупних величин у групах розміру N є

${\displaystyle \operatorname {cov} \left(\sum _{i=1}^{N}Y_{i},\sum _{i=1}^{N}X_{i}\right)=\sum _{i=1}^{N}\operatorname {cov} (Y_{i},X_{i})+\sum _{i=1}^{N}\sum _{l\neq i}\operatorname {cov} (Y_{l},X_{i})}$

Коваріація двох сукупних змінних залежить не тільки від коваріації двох змінних в межах одних індивідів, але й від коваріацій змінних між різними індивідами. Іншими словами, кореляція сукупних змінних враховує перехресні ефекти, які не мають значення на індивідуальному рівні.

Проблема кореляції, природно, тягне за собою проблему регресії сукупних змінних: отже, помилка кореляції є важливою проблемою для дослідника, який хоче виміряти причинно-наслідкові наслідки. Починаючи з регресійної моделі, де результат ${\displaystyle Y_{i}}$ зазнає впливу ${\displaystyle X_{i}}$

${\displaystyle Y_{i}=\alpha +\beta X_{i}+u_{i},}$

${\displaystyle \operatorname {cov} [u_{i},X_{i}]=0.}$

Регресійна модель на сукупному рівні отримується шляхом підсумовування окремих рівнянь:

${\displaystyle \sum _{i=1}^{N}Y_{i}=\alpha \cdot N+\beta \sum _{i=1}^{N}X_{i}+\sum _{i=1}^{N}u_{i},}$

${\displaystyle \operatorname {cov} \left[\sum _{i=1}^{N}u_{i},\sum _{i=1}^{N}X_{i}\right]\neq 0.}$

Ніщо не заважає корелювати регресори та помилки на сукупному рівні. Тому, як правило, виконання регресії на сукупних даних не оцінює ту саму модель, ніж виконання регресії на окремих даних.

Агрегована модель правильна тоді і тільки тоді

${\displaystyle \operatorname {cov} \left[u_{i},\sum _{k=1}^{N}X_{k}\right]=0\quad }$

для всіх i. Це означає, що контроль за ${\displaystyle X_{i}}$, ${\displaystyle \sum _{k=1}^{N}X_{k}}$ не визначає ${\displaystyle Y_{i}}$ .

Вибір між сукупним та індивідуальним висновком

Немає нічого поганого в тому, щоб виконувати регресії на зведених даних, якщо вас цікавить зведена модель. Наприклад, для губернатора штату правильно проводити регресію між поліцейськими силами щодо рівня злочинності на рівні штату, якщо хтось зацікавлений у політичних наслідках збільшення поліції. Однак екологічна помилка станеться, якщо міська рада виведе вплив збільшення поліції на рівень злочинності на рівні міста з кореляції на рівні штату.

Вибір виконання сукупної або індивідуальної регресії для розуміння сукупного впливу на певну політику залежить від наступного компромісу: сукупні регресії втрачають дані індивідуального рівня, але індивідуальні регресії додають сильні припущення моделювання. Деякі дослідники припускають, що екологічна кореляція дає краще уявлення про результат дій державної політики, тому вони рекомендують для цієї мети екологічну кореляцію замість кореляції індивідуального рівня (Lubinski & Humphreys, 1996). Інші дослідники не погоджуються, особливо коли зв’язки між рівнями не чітко змодельовані. Щоб запобігти екологічній помилці, дослідники, які не мають індивідуальних даних, можуть спочатку змоделювати те, що відбувається на індивідуальному рівні, потім змоделювати, як пов’язані індивідуальний і груповий рівні, і, нарешті, перевірити, чи щось, що відбувається на рівні групи, додає до розуміння взаємозв’язку. Наприклад, при оцінці впливу державної політики корисно знати, що вплив політики відрізняється між державами менше, ніж сама політика, що свідчить про те, що відмінності в політиці не втілюються в результати, незважаючи на високі екологічні кореляції (Rose, 1973). ).

Групові та загальні середні

Екологічна помилка також може стосуватися такої помилки: середнє значення для групи приблизно дорівнює середньому значенню загальної популяції, поділеному на розмір групи. Припустімо, відома кількість протестантів і рівень самогубств у США, але немає даних, які б пов’язували релігію та самогубства на індивідуальному рівні. Якщо когось цікавить рівень самогубств серед протестантів, то буде помилкою оцінювати його загальним рівнем самогубств, поділеним на кількість протестантів. Формально познач ${\displaystyle P[{\text{Suicide}}\mid {\text{Protestant}}]}$ середнє значення групи, ми загалом маємо:

${\displaystyle P[{\text{Suicide}}\mid {\text{Protestant}}]\neq {\frac {P[{\text{Suicide}}]}{P({\text{Protestant}})}}}$

Проте закон повної ймовірності дає

${\displaystyle {\begin{aligned}P[{\text{Suicide}}]={\color {Blue}P[{\text{Suicide}}\mid {\text{Protestant}}]}P({\text{Protestant}})+{\color {Blue}P[{\text{Suicide}}\mid {\text{not Protestant}}]}(1-P({\text{Protestant}}))\end{aligned}}}$

Як ми це знаємо ${\displaystyle P[{\text{Suicide}}\mid {\text{not Protestant}}]}$ знаходиться між 0 і 1, це рівняння дає межу для ${\displaystyle P[{\text{Suicide}}\mid {\text{Protestant}}]}$ .

Парадокс Сімпсона

Вражаючою екологічною помилкою є парадокс Сімпсона : той факт, що при порівнянні двох популяцій, розділених на групи, середнє значення деякої змінної в першій популяції може бути вищим у кожній групі і водночас нижчим у загальній популяції. Формально, коли кожне значення Z належить до іншої групи, а X належить до певного лікування, може статися так

${\displaystyle E[Y\mid Z=z,X=1]>E[Y\mid Z=z,X=0]\ {\text{для всіх }}z,{\text{ де}}E[Y\mid X=1]<E[Y\mid X=0]}$

Коли ${\displaystyle E[Y\mid Z=z,X=1]-E[Y\mid Z=z,X=0]}$ не залежить від ${\displaystyle Z}$, парадокс Сімпсона — це саме упередження пропущеної змінної^[en] для регресії Y на X, де регресор ${\displaystyle X}$ є фіктивною змінною^[en] та пропущеною змінною ${\displaystyle Z}$ є категоріальною змінною, що визначає групи для кожного значення, яке вона приймає. Застосування вражає тим, що зсув досить високий, щоб параметри мали протилежні знаки.

Юридичні застосування

Екологічна помилка обговорювалася під час судового оскарження виборів губернатора Вашингтона у 2004 році^[en], під час яких було виявлено кілька нелегальних виборців після виборів; їхні голоси були невідомі, оскільки голосування було таємним. Претенденти стверджували, що незаконні голоси, подані на виборах, відповідали б моделям голосування на дільницях, на яких вони були подані, і, отже, слід внести відповідні корективи.[9] Свідок-експерт сказав, що цей підхід схожий на спробу визначити середній показник відбивань Ічіро Сузукі, дивлячись на середній показник відбивань усієї команди Seattle Mariners, оскільки незаконні голоси були віддані нерепрезентативною вибіркою виборців кожного округу, і це може бути як відрізнявся від середнього виборця на дільниці, як Ічіро відрізнявся від решти своєї команди.[10] Суддя визнав, що аргумент претендентів є екологічною помилкою, і відхилив його.[11]

Див. також

 

• Список логічних помилок
• Помилка кореляції
• Повна просторова випадковість^[en]
• Екологічна регресія^[en]
• Хибне використання статистики
• Проблема модифікованої одиниці площі^[en]
• Просторовий аналіз
• Просторова епідеміологія^[en]
• Просторова економетрія^[en]
• Статистична дискримінація^[en]

Примітка

1. Charles Ess; Fay Sudweeks (2001). Culture, technology, communication: towards an intercultural global village. SUNY Press. с. 90. ISBN 978-0-7914-5015-4. The problem lies with the 'ecological fallacy' (or fallacy of division)—the impulse to apply group or societal level characteristics to individuals within that group.
2. Durkheim, (1951/1897). Suicide: A study in sociology. Translated by John A. Spaulding and George Simpson. New York: The Free Press. ISBN 0-684-83632-7.
3. Freedman, D. A. (1999). Ecological Inference and the Ecological Fallacy. International Encyclopedia of the Social & Behavioral Sciences, Technical Report No. 549. https://web.stanford.edu/class/ed260/freedman549.pdf
4. Gelman, Andrew; Park, David; Shor, Boris; Bafumi, Joseph; Cortina, Jeronimo (2008). Red State, Blue State, Rich State, Poor State. Princeton University Press. ISBN 978-0-691-13927-2.
5. Matous, Petr (2015). Social networks and environmental management at multiple levels: soil conservation in Sumatra. Ecology and Society. 20 (3): 37. doi:10.5751/ES-07816-200337.
6. Robinson, W.S. (1950). Ecological Correlations and the Behavior of Individuals. American Sociological Review^[en]. 15 (3): 351—357. doi:10.2307/2087176. JSTOR 2087176.
7. The research note on this curious data glitch is published in Te Grotenhuis, Manfred; Eisinga, Rob; Subramanian, S.V. (2011). Robinson's Ecological Correlations and the Behavior of Individuals: methodological corrections. Int J Epidemiol. 40 (4): 1123—1125. doi:10.1093/ije/dyr081. PMID 21596762. The data Robinson used and the corrections are available at http://www.ru.nl/mt/rob/downloads/^[недоступне посилання]
8. Selvin, Hanan C. (1958). Durkheim's Suicide and Problems of Empirical Research. American Journal of Sociology^[en]. 63 (6): 607—619. doi:10.1086/222356.
9. George Howland Jr. (18 травня 2005). The Monkey Wrench Trial: Dino Rossi's challenge of the 2004 election is on shaky legal ground. But if he prevails, watch litigation become an option in close races everywhere. Seattle Weekly. Архів оригіналу за 1 грудня 2008. Процитовано 17 грудня 2008.
10. Christopher Adolph (May 12, 2005). "Report on the 2004 Washington Gubernatorial Election". Expert witness report to the Chelan County Superior Court in Borders et al v. King County et al.
11. Borders et al. v. King County et al. [Архівовано 2008-10-18 у Wayback Machine.], transcript of the decision by Chelan County Superior Court Judge John Bridges, June 6, 2005, published: June 8, 2005

Подальше читання

 

• Lubinski, D.; Humphreys, L.G. (1996). Seeing the forest from the trees: When predicting the behavior or status of groups, correlate means. Psychology, Public Policy, and Law. 2 (2): 363—376. doi:10.1037/1076-8971.2.2.363. S2CID 45240767.
• Rose, D.D. (1973). National and local forces in state politics: The implications of multi-level policy analysis. American Political Science Review^[en]. 67 (4): 1162—1173. doi:10.2307/1956538. JSTOR 1956538.