Терминология оценки вероятности (разведка)

Терминология оценки вероятности (англ. Words of estimative probability, WEP или WEPs) — часть инструментария анализа разведывательных данных, которая позволяет оценивать вероятность будущих событий. По оценкам аналитиков разведки, адекватная терминология оценки вероятности позволяет формулировать чёткие оценки, на основании которых принимаются политические решения. Несмотря на важность единообразной терминологии в данной сфере, в разведывательном сообществе США, например, не имеется стандартной WEP. По некоторым оценкам, ряд политических и разведывательных провалов был обусловлен некорректным использованием терминологии вероятностных оценок.

История

Разведка

В 1964 году ветеран ЦРУ Шерман Кент[англ.], нередко именуемый «отцом разведывательного анализа», обратился к проблеме неточности терминологии, используемой в аналитических документах, которые готовятся разведывательным сообществом США. В своей статье Терминология оценки вероятности (англ. Words of estimative probability) Кент исследовал различие в стиле оформления аналитических документов спецслужб между «поэтами» (авторами, которые предпочитают многословные вероятностные заявления) и «математиками» (теми, кто предпочитает давать количественные оценки). Кент разработал свою парадигму выработки оценочной терминологии. Его целью было «…выработать для разведывательного сообщества инструментарий, который бы позволял лицу, читающему документ, получить ясное представление, по каким аспектам проблемы имеются точные сведения, что является обоснованным выводом, и с какой степенью уверенности можно принимать последующие ключевые решения»[1]. Инициатива Кента не была принята разведывательным сообществом, хотя остаётся актуальной до настоящего времени.

Таблица 1: Терминология оценки вероятности Кента[2]
Точно (англ. Certain) 100 % Сомнений — 0 %
Сфера возможного
Почти наверняка (англ. Almost Certain) 93 % Сомнений — 6 %
Вероятно (англ. Probable) 75 % Сомнений — 12 %
Шансы примерно равны (англ. Chances About Even) 50 % Сомнений — 10 %
Вероятно, нет (англ. Probably Not) 30 % Сомнений — 10 %
Почти наверняка нет (англ. Almost Certainly Not) 7 % Сомнений — 5 %
Невозможно (англ. Impossible) 0 Сомнений — 0 %

Медицина

В медицине существует аналогичная проблема при получении информированного добровольного согласия пациентов, когда необходимо сообщить в доступной форме фактическую вероятность того или иного варианта результатов лечения. При этом крайне редко встречаются количественные оценки такой вероятности.

Руководство по получению информированного добровольного согласия от людей, участвующих в исследованиях или подвергающихся рискованным медицинским процедурам, разработанное в исследовательском Университете Теннесси в Чаттануге предлагает следующую терминологию оценок шансов неблагоприятного исхода:

Термин Вероятность
Возможно Ожидается, что произойдёт более чем в 50 % случаев
Часто Ожидается, что может произойти от 10 до 50 % случаев
Маловероятно Ожидается, что может произойти от 1 до 10 % случаев
Редко Ожидается, что может произойти менее чем в 1 % случаев

Как отмечено в руководстве:

При исследовании действий экспериментальных доз или комбинаций препаратов и/или лечебных процедур, участники исследования должны быть предупреждены, что могут быть неизвестные риски, связанные с препаратами/лечением, но они будут проинформированы при появлении любой новой информации, которая может повлиять на их желание участвовать в исследовании

http://www.utc.edu/Administration/InstitutionalReviewBoard/faq.php Institutional Review Board Frequently Asked Questions

Политические и разведывательные провалы, связанные с терминологией оценки вероятности

Ежедневное президентское резюме от 6 августа 2001

Американский аналитик Д. Вожны рассматривает в качестве примера ущерба, который может нанести отсутствие или расплывчатость оценочной терминологии в аналитических документах спецслужб, эпизод с Ежедневным президентским резюме от 6 августа 2001 года, озаглавленном «Бен Ладен намерен атаковать США» (Bin Laden Determined to Strike in US).

Ежедневное президентское резюме (англ. President's Daily Brief, PDB) — документ, который Директор Национальной разведки ежедневно представляет президенту США. PDB готовится группой аналитиков из Управления Директора национальной разведки и предназначено для ознакомления президента США с разведывательными данными, касающимися значимых для интересов США международных ситуаций.

Ситуация с резюме от 6 августа 2001 года находится в центре многих дискуссий в разведывательном сообществе США. Этот документ имеет не только расплывчатый заголовок, но и столь же неясное содержание:

  • «Бен Ладен с 1997 года хотел провести теракты в США» (CIA, 2001, п.1.);
  • «предполагается, что последователи Бен Ладена могут вести борьбу в Америке» (CIA , 2001, п.1.);
  • «атаки Бен Ладена на американские посольства… в 1998 году показывают, что он готовит операции на годы вперёд и его не останавливают неудачи» (CIA , 2001, п.6.);
  • «Информация ФБР …указывает на подозрительную активность в этой стране, с подготовкой угонов или других типов атак» (CIA , 2001, п.10.);
  • «в обращении посольства [США] в ОАЭ в мае [говорится], что группа сторонников Бен Ладена планирует нападение в США с использованием взрывчатки» (CIA , 2001, п.11.) .[3]

Поскольку данное резюме не содержало описания предыдущей деятельности Бен Ладена, оно не позволяло президенту дать ясную оценку деятельности Бен Ладена в ближайшие месяцы:

Как сообщили осведомлённые источники, Буш просил разведку предоставить анализ возможных атак Аль-Каиды на территории Соединенных Штатов, поскольку большая часть информации, представленной ему этим летом касалась возможных угроз от Аль-Каиды для американских объектов за рубежом. Один из источников заявил, что Белый дом был разочарован, потому что анализ не содержал точных выводов и не представлял новых разведывательных данных.

http://www.commondreams.org/headlines02/0518-04.htm August Memo Focused On Attacks in U.S

Отсутствие надлежащей оценочной терминологии привело к путанице по поводу вероятности террористической атаки и её возможной дате. В результате теракты 11 сентября 2001 года застали врасплох разведывательное сообщество США.

Выводы комиссии по расследованию терактов 11 сентября[англ.] и комиссии по оружию массового поражения Ирака[англ.]привели к структурной реформе разведывательного сообщества США. Эти реформы были направлены на улучшение функционирования разведывательного сообщества в целом, в частности в плане межведомственного сотрудничества и обмена информацией, но при этом уделили мало внимания повышению качества анализа разведывательных данных и подготовки аналитических документов[4].

Методологии разработки оценочной терминологии

Оценочная терминология может быть улучшена четырьмя путями:

Количественные оценки надежности и достоверности источников информации

Как отмечал в статье в «Вашингтон Пост» Майкл Шредж, советник Программы исследований безопасности из Массачусетского технологического института (MIT), требование к аналитикам разведки включать в свои документы количественные показатели надёжности и достоверности источника информации уменьшило бы двусмысленность этих документов[5][6]. Шредж также сообщил, что бывший временно исполняющий обязанности директора ЦРУ Джон Маклафлин[англ.] пытался внедрить такие требования в ЦРУ, но, как и инициатива Кента, это предложение не было принято.

"Бывший исполняющий обязанности директора ЦРУ и аналитик разведки с большим стажем Джон Маклафлин пытался в 1990-х внедрить оценочную терминологию в работу аналитиков разведки, но безуспешно. Как сказал мне высокопоставленный сотрудник ЦРУ с более чем 20-летним стажем работы, «аналитики разведки предпочитают использовать слова, нежели цифры, чтобы описать, насколько они уверенны в результатах анализа». Более того, «большинство потребителей аналитических материалов разведки предпочитают не слишком сложные для восприятия материалы, они любят слова и картинки. Мой опыт показывает, что [они] предпочитают краткие материалы, не делающие акцента на математических расчётах. Это не значит, что мы не можем этого сделать, но спрос на такие материалы действительно невелик»[7].

Стохастический анализ

Количественные оценки вероятности, широко применяемые в бизнес-прогнозировании, маркетинге, медицине (в частности, эпидемиологии), включая такие инструменты, как теория вероятностей и байесовский анализ, также могут использоваться разведывательным сообществом. Использование аппарата теории вероятностей и других стохастических методов привлекательно тем, что они являются рациональными и математически строгими, и в меньшей степени зависят от «человеческого фактора», в силу чего выводы на их основе кажутся однозначными. Основным аргументом против использования этих методов является то, что лишь небольшое количество аналитиков разведки и потребителей разведывательной аналитики способны производить численные расчеты. Помимо этого, по оценке директора Центра оборонной информации[англ.] Брюса Блэра, разведывательная информация из секретных источников часто имеет неизвестную достоверность, и применение передовых математических методов не позволяет повысить её достоверность. Тем не менее Блэр является сторонником внедрения количественных методов в аналитических подразделениях разведсообщества, но при этом полагает, что внедрение стохастического анализа в них — довольно отдалённая перспектива. Математический и статистический анализ требует большого объёма работы без быстрой адекватной отдачи в повышении точности, скорости или качества деятельности[8].

Стандартизация

Рекомендации Национального совета по разведке[англ.] США предполагают использование парадигмы WEP (Таблица 2) в сочетании с оценкой уровня доверия («высокий, средний, низкий»), основанном на объёме и качестве вспомогательной информации:

Таблица 2: Терминология оценки вероятности Национального совета по разведке США[9]
Почти наверняка (англ. Almost Certainly)
Вероятно/Возможно (англ. Probably/Likely)
Равновероятно (англ. Even Chance)
Маловероятно (англ. Unlikely)
Исключено (англ. Remote)

Тем не менее, дискуссии внутри самого Национального совета по разведке говорят о серьёзных сомнениях в эффективности данной парадигмы:

«Суждения аналитиков разведки, относящиеся к вероятности, призваны отразить ощущение разведсообщества в отношении вероятности события или развития событий. […] Мы не намерены использовать термин „маловероятно“, подразумевая, что событие не произойдет. Мы используем термины „вероятно“ и „возможно“, чтобы показать, что вероятность события больше, чем просто шанс. Мы используем такие слова, как „мы не можем исключать“, и „мы не можем сбрасывать со счёта“, чтобы отразить маловероятное — или даже невероятное — событие, которое не заслуживает такого упоминания. Такие слова, как „может быть“ и „предполагаем“ используются для отражения ситуации, в которых мы не в состоянии оценить вероятность вообще, потому что соответствующая информация не существует, отрывочны, или носит фрагментарный характер»[10].

В 1964 году Ш.Кент выступал против использования в аналитических документах «выражений … которые передают определенный смысл, но в то же время либо полностью освобождает нас от ответственности, либо делают оценку достаточно удаленной … ,во избежание последствий для себя»[11].

Стандартизация оценочной терминологии (подход института Меркихёрста)

Институт исследований разведки при университете Меркихёрста[англ.] в Эри (штат Пенсильвания) провёл исследования интерпретаций оценочной терминологии Национальным советом по разведке[12][13]) and[14]. Результаты исследований показали, что использование оценочной терминологии (WEPs) в Национальном совете по разведке (англ. National Intelligence Council, NIC) в последние три десятилетия привело к существенным изменениям в способах формулирования решений по вопросам разведки[14].

Оценочная терминология в парадигме института Меркихёрст является модифицированной схемой Кента :

Таблица 3: Терминология оценки вероятности Института исследований разведки Меркихёрста[4]
Almost Certain
Highly Likely
Likely/Probable
Unlikely
Almost Certainly Not

Достоверность и надёжность источника информации выражаются числом от 1 до 10 (10 — максимальная оценка).

Нежелательная терминология

Таблица 4 содержит перечень терминов, которые являются особенно расплывчатыми и известны как слова из неавторитетных источников. Их использование в оценочных заявлениях почти наверняка приведёт к путанице, поэтому в документах их следует избегать любой ценой[15].

Таблица 4: Ложная терминология оценок вероятности, которой следует избегать
Might Its conceivable
Could May
Possibly We believe that… (…or not)
Maybe estimate that… (…or not)
A chance cannot rule out
cannot dismiss cannot discount
suggest perhaps

См. также

Примечания

  1. Sherman Kent and the Profession of Intelligence Analysis, Center for the Study of Intelligence, Central Intelligence Agency, November 2002, p. 50, Архивировано из оригинала 10 января 2019, Дата обращения: 21 сентября 2013
  2. Sherman Kent and the Profession of Intelligence Analysis, Center for the Study of Intelligence, Central Intelligence Agency, November 2002, p. 55, Архивировано из оригинала 10 января 2019, Дата обращения: 21 сентября 2013
  3. Wozny, J.L. (2005), Optimizing Communication Between Decisionmakers And Intelligence Analysts: Stopping "Slam Dunks" And Avoiding "Dead Wrongs" (MS Thesis), Erie, PA: Mercyhurst College, p. 192
  4. 1 2 Wheaton, K.; Chido, Diane (2008), "Words of Estimative Probability", Competitive Intelligence Magazine, Alexandria, VA: Society of Competitive Intelligence Professionals, ISSN 1521-5881, Архивировано из оригинала 3 мая 2008 Архивная копия от 3 мая 2008 на Wayback Machine
  5. Schrage, Michael, Michael Schrage homepage at the Massachusetts Institute of Technology, Архивировано 19 апреля 2008 Архивная копия от 19 апреля 2008 на Wayback Machine
  6. Schrage, Michael (20 February 2005), "What Percent Is 'Slam Dunk'? Give Us Odds on Those Estimates", Washington Post: B01, Архивировано из оригинала 24 июля 2017, Дата обращения: 1 октября 2017
  7. Schrage, 2003
  8. Blair, Bruce (2004), The Logic of Intelligence Failure (PDF), Center for Defense Information, p. 11, Архивировано из оригинала (PDF) 28 июля 2004, Дата обращения: 21 апреля 2008 Архивная копия от 28 июля 2004 на Wayback Machine
  9. "Prospects for Iraq's Stability: A Challenging Road Ahead" (PDF), What We Mean When We Say: An Explanation of Estimative Language, National Intelligence Council, p. 5, 2007, Архивировано (PDF) 2 марта 2007, Дата обращения: 21 апреля 2008 Архивная копия от 2 марта 2007 на Wayback Machine
  10. National Intelligence Council, 2007, p5
  11. Sherman Kent and the Profession of Intelligence Analysis, Center for the Study of Intelligence, Central Intelligence Agency, November 2002, p. 63, Архивировано из оригинала 10 января 2019, Дата обращения: 21 сентября 2013
  12. Sources And Methods: What Do Words Of Estimative Probability Mean? (Final Version With Abstract). Дата обращения: 21 сентября 2013. Архивировано 30 сентября 2013 года.
  13. Wheaton, K. (24 March 2008), What Do Words Of Estimative Probability Mean? An Exercise In Analyst Education, Архивировано из оригинала 8 июля 2011, Дата обращения: 24 апреля 2008
  14. 1 2 Kesselman, Rachel (26 March 2008), "Estimative Words of Probability Trends in National Intelligence Estimates", International Studies Association 49th Annual Convention: Bridging Multiple Divides (недоступная ссылка)
  15. Вашингтон Плэтт. Информационная работа стратегической разведки. Основные принципы. — М.: Издательство иностранной литературы, 1958. — С. 251. — 338 с. Архивировано 8 ноября 2014 года.

Литература