Изучение дискретных параметров HMM в PyMC

Просто некоторые мысли по этому поводу:

• Солнечно и Дождливо — взаимоисключающие и исчерпывающие скрытые состояния. Почему бы вам не закодировать их как единую категориальную переменную погоды, которая может принимать одно из двух значений (кодирование для солнечного или дождливого)?
• В вашей функции правдоподобия вы, кажется, наблюдаете Дождливое/Солнечное время. Как я вижу это на графике вашей модели, это скрытые, а не наблюдаемые переменные (это будут «прогулка», «магазин» и «уборка»)

В вашей функции правдоподобия вам необходимо суммировать (для всех временных шагов t) логарифмическую вероятность наблюдаемых значений (ходьбы, магазина и уборки соответственно) с учетом текущих (выборочных) значений дождя/ солнечно (т. е. Погода) в то же время шаг t.

Обучение

Если вы хотите изучить параметры модели, вы можете подумать о переходе на PyMC3, который лучше подходит для автоматического вычисления градиентов для вашей функции logp. Но в этом случае (поскольку вы выбрали сопряженные априоры) в этом нет необходимости. Если вы не знаете, что такое сопряженные приоры, или вам нужен обзор, спросите в Википедии Список сопряженных приоров, там есть отличная статья на эту тему.

В зависимости от того, что вы хотите сделать, у вас есть несколько вариантов. Если вы хотите получить выборку из апостериорного распределения всех параметров, просто укажите свою модель MCMC, как вы это сделали, и нажмите кнопку вывода, после этого просто постройте и суммируйте маргинальные распределения интересующих вас параметров, и все готово. .

Если вы заинтересованы не в маргинальных апостериорных распределениях, а скорее в поиске параметров совместного MAP, вы можете рассмотреть возможность использования обучения максимизации ожидания (EM) или имитации отжига. Оба должны работать достаточно хорошо в рамках MCMC Framework.

Для EM Learning просто повторяйте эти шаги до конвергенции:

• E (Ожидаемый) шаг: запустите цепочку MCMC на некоторое время и соберите образцы
• Шаг M (Максимизация): обновите гиперпараметры для ваших бета-приоритетов и априорных значений Дирихле, как если бы эти выборки были реальными наблюдениями. Посмотрите бета-версии и дистрибутивы Дирихле, если вы не знаете, как это сделать.

Я бы использовал небольшой коэффициент скорости обучения, чтобы вы не попали в первый локальный оптимум (теперь мы приближаемся к моделируемому отжигу): вместо обработки N выборок, сгенерированных вами из цепочки MCMC, как реальных наблюдений, обрабатывайте их как K наблюдений. (для значения K ‹‹ N) путем масштабирования обновлений гиперпараметров на коэффициент скорости обучения K/N.

Первое, что мне приходит в голову, — это возвращаемое значение вашей вероятности. PyMC ожидает скалярное возвращаемое значение, а не список/массив. Вам нужно суммировать массив перед его возвратом.

Кроме того, когда вы используете Дирихле в качестве априора для категориального, PyMC обнаруживает это и заполняет последнюю вероятность. Вот как я бы закодировал ваши циклы x_train/y_train:

p = []
for i in xrange(1, N):
    # This will return the first variable if prev=0, and the second otherwise
    p.append(pm.Lambda('p_%i' % i, lambda prev=x_train[i-1]: (theta_transition_rainy, theta_transition_sunny)[bool(prev)]))
    x_train[i] = pm.Categorical('x_train_%i' % i, p[-1])

Итак, вы берете соответствующие вероятности с помощью лямбды и используете ее в качестве аргумента для категориального.