Энтропия Шеннона из теории информации измеряет неопределенность или беспорядок в эмпирическом распределении дискретной случайной величины, тогда как дифференциальная энтропия измеряет ее для непрерывной случайной величины. Однако классическое определение дифференциальной энтропии оказалось неверным и было исправлено с помощью Предельной плотности дискретных точек (LDDP). Вычисляет ли scipy или другой LDDP? Как я могу оценить LDDP в python?
Ограничение плотности дискретных точек (LDDP) в питоне
Ответы (1)
Поскольку LDDP эквивалентен отрицательной KL-дивергенции от вашей функции плотности m(x) к вашему распределению вероятностей p(x), вы можете использовать одну из многих реализаций KL-дивергенции, например, из scipy.stats.entropy.
Соответствующая процедура (при условии, что у вас есть конечная поддержка) состоит в том, чтобы аппроксимировать непрерывное распределение дискретным путем выборки по его поддержке и вычисления расхождения KL.
Если это невозможно, то ваш единственный вариант, который я могу придумать, это, вероятно, использовать численные (или, возможно, аналитические?) методы интегрирования, которых у вас должно быть много. Простым первым шагом было бы попробовать методы Монте-Карло.
person
Danny Kong
schedule
04.08.2020
Поскольку этот вопрос ориентирован на Python, был бы полезен пример кода.
- person Bram Vanroy; 12.02.2021
