打ち切り (統計学)

統計学では、打ち切り（うちきり、英: censoring）とは、測定や観測の値が部分的にしかわからない状態のことである。

たとえば、ある薬が死亡率に与える影響を測定する研究が行われたとする。そのような研究では、ある個人の死亡時の年齢が「少なくとも」75歳（それ以上の場合もある）であることがわかっているかもしれない。そうした状況は、その個人が75歳で研究から退いた場合や、現在75歳で生存している場合に起こりうる。

また、打ち切りは、測定器の範囲外の値が発生した場合にも起こる。たとえば、浴室の体重計は140kgまでしか測れないかもしれない。その体重計を用いて160kgの個人が体重を測った場合、観察者はその人の体重が少なくとも140kgであることしかわからない。

ある変数の観測された値が部分的にわかっている打ち切りデータの問題は、ある変数の観察値が不明な欠測データの問題と関連している。

打ち切りを、関連する考え方である切り捨て（英語版）と混同してはならない。打ち切りでは、観測結果として該当する正確な値を知るか、あるいはその値がある区間内にあることを知ることができる。これに対し、切り捨てでは、観測結果が与えられた範囲外の値になることはなく、したがって範囲外の母集団の値は決して観測されないし、観測されたとしても記録されない。なお統計学では切り捨てと丸めとは異なる考え方である。

種類

• 左側打ち切り（left censoring） - データポイントが特定の値より下にあるが、その量がどの程度かは不明。
• 区間打ち切り（interval censoring） - データポイントが2つの値の間に挟まれた区間のどこかにある。
• 右側打ち切り（right censoring） - データポイントがある値より上にあるが、その量がどの程度かは不明。
• I型打ち切り（type I censoring）は、実験の被験者やアイテムの数が決まっていて、所定の時間で実験を中止する場合に起こる。その時点で残っている被験者は右側打ち切りされる。
• II型打ち切り（type II censoring）は、実験の被験者やアイテムの数が決まっていて、所定の数の被験者が故障（例：罹患）したと観測された時点で実験を中止する場合に起こる。その後、被験者は右側打ち切りされる。
• ランダム（または非情報的）打ち切り（Random (or non-informative) censoring）は、各被験者の打ち切り時間が、事象発生時間と統計的に独立していることである。その観測値は、打ち切り時間と事象発生時間との最小値であり、事象発生時間が打ち切り時間よりも長い被験者は右側打ち切りとなる。

区間打ち切りは、ある値を観測するために追跡調査や検査が必要な場合に起こる。左側打ち切りと右側打ち切りは、区間打ち切りの特別な場合で、それぞれ区間の始まりをゼロ、終わりは無限大とする。

左側打ち切りデータを用いた推定方法はさまざまであり、すべてのデータセットにすべての推定方法が適用できるとは限らず、また最も信頼できるとは限らない[1]。

時間間隔データについてよくある誤解は、開始時刻が不明な区間を左側打ち切りとして分類することである。このような場合では、「時間間隔」の下限があるので、データは「右側打ち切り」になる（タイムラインとして見たとき、欠落した開始点は既知の間隔の左側にあるにもかかわらず！）。

分析

打ち切りデータを処理するために、特別な手法が使用されることがある。特定の故障時間を持った試験は、実際の故障として符号化される。打ち切りデータは、打ち切りの種類と、既知の区間または限界値として符号化される。特別なソフトウェアプログラム（多くは信頼性指向）は、要約統計量や信頼区間などの最尤推定を行うことができる。

疫学

打ち切りデータを含む統計的問題を分析する最初の試みの1つは、1766年、ダニエル・ベルヌーイが天然痘の罹患率と死亡率のデータを分析し、ワクチン接種の有効性を実証したことである[2]。打ち切りコストの推定にカプラン＝マイヤー推定量を使った初期の論文がQuesenberryら（1989）によって著されたが[3]、すべての患者が時間とともに共通の決定論的レート関数でコストを蓄積しない限りこのアプローチは無効であることがLinらによって報告された[4]。彼らは、Lin推定量として知られる代替の推定手法を提案した[5]。

動作寿命試験

5回の反復試験（英語版）の結果、4回の故障と1回の中止時間が発生した例。

信頼性試験は、多くの場合、特定の条件下でアイテムに対して試験を行い、故障が発生するまでの時間を測定することから構成される。

• オペレーターの誤り、機器の不具合、検査の異常など、故障が計画されて予期されていても発生しないことがある。その試験結果は、望ましい故障発生までの時間ではなかったが、終了までの時間として用いることができる（また、そうすべきである）。打ち切りデータの使用は意図的ではないが、必要なことである。
• エンジニアが試験計画を作成する際に、ある一定の時間制限または故障回数を超えたら、残りのすべての試験を終了させることがある。これらの中断時間は、右打ち切りデータとして扱われる。その打ち切りデータの使用は意図的なものである。

反復試験のデータの分析には、故障したアイテムの故障までの時間と、故障しなかったアイテムの試験終了までの時間の両方が含まれる（図を参照）。

打ち切り回帰

打ち切り回帰（英語版）の初期のモデルであるトービン・モデル (英語版) は、1958年にジェームズ・トービンによって提案された[6]。

尤度

尤度（ゆうど）とは、観測された値の確率または確率密度のことであり、想定されるモデルのパラメータの関数として示される。生存時間 ${\displaystyle T_{1},T_{2},...,T_{n}}$ に興味があるが、すべての ${\displaystyle i}$ について ${\displaystyle T_{i}}$ を観測していないとしよう。その代わりに、

${\displaystyle T_{i}}$ が実際に観測されていれば、${\displaystyle U_{i}=T_{i}}$ 、 ${\displaystyle \delta _{i}=1}$ となる ${\displaystyle (U_{i},\delta _{i})}$ を観測し、

${\displaystyle T_{i}}$ が ${\displaystyle U_{i}}$ よりも長いということだけがわかっていれば、${\displaystyle U_{i}<T_{i}}$ 、 ${\displaystyle \delta _{i}=0}$ となる ${\displaystyle (U_{i},\delta _{i})}$ を観測する。

${\displaystyle T_{i}>U_{i}}$ の場合、${\displaystyle U_{i}}$ は打ち切り時間（censoring time）と呼ばれる[7]。

打ち切り時間がすべて既知の定数である場合、尤度は、

${\displaystyle L=\prod _{i,\delta _{i}=1}f(u_{i})\prod _{i,\delta _{i}=0}S(u_{i})}$

となり、ここに、${\displaystyle f(u_{i})}$ は ${\displaystyle u_{i}}$ で評価した確率密度関数、${\displaystyle S(u_{i})}$ は ${\displaystyle T_{i}}$ が ${\displaystyle u_{i}}$ より大きくなる確率で、生存関数と呼ばれる。

これは、死亡率の瞬間的な死力であるハザード関数を

${\displaystyle \lambda (u)=f(u)/S(u)}$

と定義することで簡略化でき、

${\displaystyle f(u)=\lambda (u)S(u)}$

となる。このとき、

${\displaystyle L=\prod _{i}\lambda (u_{i})^{\delta _{i}}S(u_{i})}$

となる。

指数分布の場合は、ハザード率 ${\displaystyle \lambda }$ が一定なので、${\displaystyle S(u)=\exp(-\lambda u)}$ となり、さらに単純になる。このとき、

${\displaystyle L(\lambda )=\lambda ^{k}\exp(-\lambda \sum {u_{i}})}$

となり、ここに ${\displaystyle k=\sum {\delta _{i}}}$ である。

これから、${\displaystyle {\hat {\lambda }}}$ を簡単に計算し、${\displaystyle \lambda }$ の最尤推定値（MLE）を次のように計算することができる。

${\displaystyle l(\lambda )=\log(L(\lambda ))=k\log(\lambda )-\lambda \sum {u_{i}}}$

このとき、

${\displaystyle dl/d\lambda =k/\lambda -\sum {u_{i}}}$

となる。

これを 0 として ${\displaystyle \lambda }$ を解くと、

${\displaystyle {\hat {\lambda }}=k/\sum u_{i}}$

となる。

同様に、平均初回故障間隔（英語版）は、

${\displaystyle 1/{\hat {\lambda }}=\sum u_{i}/k}$

となる。

これは、指数分布の標準MLEとは異なり、打ち切り観測値は分子でのみ考慮される。

参照項目

• データ分析 - 有用な情報を発見し、意思決定を支援することを目的とした一連のプロセス
• 検出限界
• 代入法 (統計学)
• 逆確率重み付け
• サンプリングバイアス（英語版）- 標本が母集団よりも低い（または高い）サンプリング確率を持って集められる偏り
• 飽和演算（英語版） - 加算や乗算などのすべての演算が最小値と最大値の間の固定範囲に制限される算術の一種
• 生存分析
• Winsorising (en:英語版)  - 統計データの極端な値を制限することで、もっともらしい外れ値の影響を減らす統計学の変換
• 打ち切り回帰モデル（英語版） - 従属変数が特定のしきい値より上または下で打ち切られるモデルの一種

脚注

1. Helsel, D. (2010). “Much Ado About Next to Nothing: Incorporating Nondetects in Science”. Annals of Occupational Hygiene 54 (3): 257–262. doi:10.1093/annhyg/mep092. PMID 20032004. 
2. Bernoulli, D. (1766). “Essai d'une nouvelle analyse de la mortalité causée par la petite vérole”. Mem. Math. Phy. Acad. Roy. Sci. Paris,  reprinted in Bradley (1971) 21 and Blower (2004)
3. Quesenberry, C. P., Jr. et al. (1989). “A survival analysis of hospitalization among patients with acquired immunodeficiency syndrome”. American Journal of Public Health 79 (12): 1643–1647. doi:10.2105/AJPH.79.12.1643. PMC 1349769. PMID 2817192. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1349769/. 
4. Lin, D. Y. et al. (1997). “Estimating medical costs from incomplete follow-up data”. Biometrics 53 (2): 419–434. doi:10.2307/2533947. JSTOR 2533947. PMID 9192444. 
5. Wijeysundera, H. C. et al. (2012). “Techniques for estimating health care costs with censored data: an overview for the health services researcher”. ClinicoEconomics and Outcomes Research 4: 145–155. doi:10.2147/CEOR.S31552. PMC 3377439. PMID 22719214. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3377439/. 
6. Tobin, James (1958). “Estimation of relationships for limited dependent variables”. Econometrica 26 (1): 24–36. doi:10.2307/1907382. JSTOR 1907382. http://cowles.yale.edu/sites/default/files/files/pub/d00/d0003-r.pdf. 
7. Lu Tian, Likelihood Construction, Inference for Parametric Survival Distributions, https://web.stanford.edu/~lutian/coursepdf/unit2.pdf , Wikidata Q98961801.

推薦文献

• Blower, S. (2004), D, Bernoulli's "“An attempt at a new analysis of the mortality caused by smallpox and of the advantages of inoculation to prevent it”. 2017年8月8日時点のオリジナルよりアーカイブ。2019年6月25日閲覧。 (146 KiB)", Reviews of Medical Virology, 14: 275–288
• Bradley, L. (1971). Smallpox Inoculation: An Eighteenth Century Mathematical Controversy. Nottingham. ISBN 0-902031-23-6 
• Mann, N. R. (1975). Methods for Statistical Analysis of Reliability and Life Data. New York: Wiley. ISBN 047156737X. https://archive.org/details/methodsforstatis00mann 
• Bagdonavicius, V., Kruopis, J., Nikulin, M.S. (2011),"Non-parametric Tests for Censored Data", London, ISTE/WILEY,ISBN 9781848212893.

外部リンク

• "Engineering Statistics Handbook", NIST/SEMATEK, [1]