Как объяснялось в предыдущем рассказе — «Учебник по цепям Маркова для малышей-1»,
Теперь мы знаем некоторые подробности о цепях Маркова, знаем основы цепей Маркова и построения матрицы переходов.

В предыдущей истории мы предсказали предстоящие состояния распределения населения (нахождение ожидаемых значений), итеративно умножая его на матрицу перехода. По сути, я попытался объяснить эту основную теорему, используя этот пример —

Здесь X₀ — начальное состояние распределения населения, а Xₜ — состояние распределения населения на временном шаге tₜₕ.

Стационарное распределение для марковского процесса —
Теперь давайте подумаем о сценариях, в которых распределение стремится к определенной конфигурации после большого количества испытаний, т. е. распределение приближается к стационарному значению. Такой тип поведения системы будет иметь место, если выполняется следующее условие —

Давайте возьмем пример такого стационарного распределения в случае машины, которая имеет 2 состояния («Активный» и «Простой»), и это процесс с дискретным временем, когда пользователь может переключать состояния с некоторой вероятностью или сохранять одно и то же состояние. Ниже представлено представление нашей модели —

Здесь вероятности обозначены на соответствующих стрелках, например —
P(Active -> Idle) = 0,7 и P(Idle -> Active) = 0,8 и т.д.

В приведенном выше процессе мы формируем его матрицу перехода как —

И, чтобы вычислить следующее состояние, мы можем использовать следующее:

Теперь вычисляем установившиеся значения вектора -

Для расчета стационарных вероятностей приравняем полученную матрицу к матрице [a b]

так что мы получаем — [0,3a + 0,8b 0,7a + 0,2b] = [a b]

получаем два уравнения —
a = 0,3a + 0,8b
b = 0,7a + 0,2b

После решения двух вышеприведенных уравнений получаем соотношение → b: a = 8:7

Теперь, поскольку общая вероятность должна быть равна 1, следовательно, мы имеем a + b = 1, поэтому теперь мы решаем для a и b соответственно -
, и установившееся распределение оказывается равным - ( 8/15, 7/ 15)

Таким образом, это означает, что после очень большого числа итераций (приближающегося к бесконечности) вероятность того, что машина активна, будет равна 8/15, т. е. 53,3%, а вероятность того, что машина находится в состоянии простоя, будет равна — 7/15, т. е. 46,6 %