Марковская цепь

Эта статья находится в разработке!

Определение

Определение:

Цепь Маркова — процесс, находящийся в одном из [math]n[/math] состояний. При этом, если он находиться в состоянии с номером [math]i[/math], то он перейдет в состояние [math]j[/math] с вероятностью [math]p_{ij}[/math]. Матрицу [math]P = ||p_{ij}||[/math] называют матрицей переходов.

На матрицу переходов накладываются следующие условия:

1. [math] p_{ij} \geqslant 0 [/math]
2. [math] \forall i\ \ \sum\limits_{j} p_{ij} = 1 [/math]

Такая матрица называется стохастической.

Также, в общем случае, для марковской цепи задают [math] c_i [/math] — вероятность того, что в начале процесса марковская цепь находиться в состоянии [math]i [/math].

Марковскую цепь можно представить в виде графа, в котором вершины — это состояния процесса, ребра — переходы между состояниями, и на ребре из [math] i [/math] в [math] j [/math] написана вероятность перехода из [math] i [/math] в [math] j [/math], то есть [math] p_{ij} [/math].

[[File:]]

Состояния

Состояния марковской цепи делятся на два класса: поглощающие (существенные) и непоглощающие (несущественные).

Определение:

Состояние [math] i [/math] называют поглощающим (существенным), если оно достижимо и [math] p_{ii} = 1 [/math].

Определение:

Все остальные состояния [math] i [/math] называют непоглощающим (несущественным).

Смотри также

На русской википедии:

• Цепь Маркова.
• Андрей Андреевич Марков.

Литература

• И.В. Романовский. Дискретный анализ