У меня есть один вопрос, чтобы задать о моделировании темы Mallet. Как он устанавливает гиперпараметры по умолчанию для LDA, то есть альфа и бета?
Как маллет устанавливает свои гиперпараметры по умолчанию для LDA, то есть альфа и бета?
Ответы (1)
Значение по умолчанию для alpha
равно 5,0, деленное на количество тем. Вы можете думать об этом как о пяти «псевдословах» веса, равномерно распределенных по темам. Если документ короткий, мы ожидаем, что он будет ближе к единому априору. Если документ длинный, мы будем чувствовать себя более уверенно, удаляясь от априора.
При оптимизации гиперпараметров значение alpha
для каждой темы может быть разным. Обычно они становятся меньше, чем значение по умолчанию.
Значение по умолчанию для beta
равно 0,01. Это означает, что вес каждой темы в универсальном априоре равен размеру словарного запаса, деленному на 100. Кажется, это хорошее значение. При включенной оптимизации значение редко изменяется более чем в два раза.
person
David Mimno
schedule
16.06.2017