Как маллет устанавливает свои гиперпараметры по умолчанию для LDA, то есть альфа и бета?

У меня есть один вопрос, чтобы задать о моделировании темы Mallet. Как он устанавливает гиперпараметры по умолчанию для LDA, то есть альфа и бета?


person Akarapat Charoenpanich    schedule 15.06.2017    source источник


Ответы (1)


Значение по умолчанию для alpha равно 5,0, деленное на количество тем. Вы можете думать об этом как о пяти «псевдословах» веса, равномерно распределенных по темам. Если документ короткий, мы ожидаем, что он будет ближе к единому априору. Если документ длинный, мы будем чувствовать себя более уверенно, удаляясь от априора.

При оптимизации гиперпараметров значение alpha для каждой темы может быть разным. Обычно они становятся меньше, чем значение по умолчанию.

Значение по умолчанию для beta равно 0,01. Это означает, что вес каждой темы в универсальном априоре равен размеру словарного запаса, деленному на 100. Кажется, это хорошее значение. При включенной оптимизации значение редко изменяется более чем в два раза.

person David Mimno    schedule 16.06.2017