Марковський процес відновлення

Марковські процеси відновлення — це клас випадкових процесів у теорії ймовірності та статистиці, які узагальнюють клас марковських стрибкоподібних процесів. Інші класи випадкових процесів, такі як ланцюги Маркова та процеси Пуассона, є частинними випадками процесів марковського відновлення, які в свою чергу є окремими частинними випадками серед більш загального класу процесів відновлення.

Нехай випадкові величини ${\displaystyle X_{n}}$приймають значення у просторі станів ${\displaystyle \mathrm {S} }$, а виадкові величини ${\displaystyle T_{n}}$ є невід'ємними та не спадають за ${\displaystyle n}$. Рзглянемо послідовність ${\displaystyle (X_{n},T_{n})}$, де ${\displaystyle T_{n}}$ представляє випадкові моменти стрибків, а ${\displaystyle X_{n}}$ представляє стани, що відповідають цим стрибкам (див. малюнок). Визначимо послідовність моментів очікування між стрибками ${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$. Для того щоб послідовність ${\displaystyle (X_{n},T_{n})}$ називалася процесом марковського відновлення, має виконуватися така умова. Для усіх ${\displaystyle n\geq 1}$, ${\displaystyle t\geq 0}$, ${\displaystyle i,j\in \mathrm {S} }$:

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]&\quad =\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i).\end{aligned}}}$

1. Нехай ${\displaystyle X_{n}}$та ${\displaystyle T_{n}}$ визначені як раніше. Визначимо новий процес ${\displaystyle Y_{t}:=X_{n}}$ для ${\displaystyle t\in [T_{n},T_{n+1})}$. Тоді процес ${\displaystyle Y_{t}}$ називається напівмарковським процесом. Такий процес задовольняє марковську властивість лише в конкретні моменти стрибків, звідки походить і назва напівмарковський.^[1][2][3]
2. Напівмарковський процес (визначений в пункті 1.), у якого усі моменти очікування ${\displaystyle \tau _{n}}$ мають експоненційний розподіл називається ланцюгом Маркова з неперервним часом. Іншими словами, якщо 1) моменти очікування експоненційно розподілені та 2) якщо час очікування в стані та наступний стан незалежні, то процес є ланцюгом Маркова з неперервним часом. Для усіх ${\displaystyle n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j}$:

   ${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]&\quad =\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]&\quad =\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}).\end{aligned}}}$

3. Послідовність ${\displaystyle X_{n}}$ у процесі марковського відновлення є ланцюгом Маркова із дискретним часом. Іншими словами, якщо часові змінні вилучити з властивості марковського процесу відновлення, отримаємо ланцюг Маркова з дискретним часом. Для усіх ${\displaystyle n\geq 1,i,j\in \mathrm {S} :}$

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i).}$

4. Якщо послідовність ${\displaystyle \tau _{n}}$ складається з незалежних та однаково розподілених випадкових величин та якщо їх розподіл не залежить від стану ${\displaystyle X_{n}}$, то процес є процесом відновлення. Формально ${\displaystyle \forall n\geq 1,t\geq 0}$

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t).}$

• Марковський процес
• Теорія відновлення