Почему я получаю отрицательный прирост информации?

[РЕШЕНО]

Моя ошибка заключалась в том, что я не понимал, что энтропия равна 0, если все они одного типа. Таким образом, если все положительные, энтропия равна 0, а если все отрицательные, то она также равна нулю. Энтропия будет равна 1, если одинаковое количество положительных и отрицательных значений.

Не имеет смысла получать отрицательный информационный прирост.

Однако, основываясь на этом примере, я получаю отрицательный прирост информации.

вот данные: введите здесь описание изображения

И если я посчитаю прирост информации по атрибуту влажности, я получу следующее:

введите здесь описание изображения

Очевидно, я что-то здесь упускаю.

РЕДАКТИРОВАТЬ: Чтобы уточнить, как я это понимаю.

Энтропия всей системы определяется как:

введите здесь описание изображения

Что в данном случае тогда:

введите здесь описание изображения

Прирост информации на атрибут определяется как:

введите здесь описание изображения

Что для влажности я рассчитываю на:

Энтропия системы - (1/4)Энтропия влажности Нормальная - (3/4)Энтропия влажности Высокая

Согласно этому Libre Office Calc: введите здесь описание изображения

Или мое понимание формулы получения информации для атрибута неверно?


machine-learning entropy decision-tree
person Letholdrus    schedule 11.07.2015    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Для начала я предполагаю, что ваша переменная S — это EnjoySport. (Я думаю, вы могли бы сформулировать текст более четко, кстати.)

Итак, энтропия S равна 0,8113, но это последняя часть, с которой я согласен.

Энтропия S при заданном Normal равна 0, поскольку она детерминирована.

Энтропия S при заданном High равна 0,91829583405448945, но вам нужно умножить ее на 0,75, потому что это вероятность Normal. Таким образом, вы получаете 0,68872187554086706.

Разница неотрицательна, как и ожидалось.

Обратите внимание, что прирост информации представляет собой ожидаемую разницу в энтропии, и это ожидание должно учитывать учитывать вероятность условного события.

person Ami Tavory    schedule 11.07.2015
comment
Привет, Ами, спасибо. Я нашел свою ошибку. Энтропия равна 0, если все отрицательные или все положительные. Энтропия равна 1, если одинаковое число положительное и отрицательное. - person Letholdrus; 12.07.2015
comment
Вы правы, но также не забудьте умножить на вероятность события, на которое вы обусловливаете переменные при расчете прироста информации! Должен сказать, приятно видеть здесь вопрос об энтропии. - person Ami Tavory; 12.07.2015