Для начала лучше разобраться the measure of information.

Как мы measure информацию?

Когда происходит что-то маловероятное, мы говорим, что это большая новость. Кроме того, когда мы говорим что-то предсказуемое, это не совсем интересно. Таким образом, чтобы количественно оценить это interesting-ness, функция должна удовлетворять

• если вероятность события равна 1 (предсказуемо), то функция дает 0
• если вероятность события близка к 0, то функция должна выдавать большое число
• если происходит событие с вероятностью 0,5, он дает one bit информации.

Одна естественная мера, удовлетворяющая ограничениям, - это

I(X) = -log_2(p)

где p - вероятность события X. И модуль находится в bit, тот же бит, что и компьютер. 0 или 1.

Пример 1

Честный подбрасывание монеты:

Сколько информации мы можем получить от одного подбрасывания монеты?

Ответ: -log(p) = -log(1/2) = 1 (bit)

Пример 2

Если завтра на Землю упадет метеор, p=2^{-22}, тогда мы сможем получить 22 бита информации.

Если Солнце взойдет завтра, p ~ 1, то это 0 бит информации.

Энтропия

Итак, если мы ожидаем interesting-ness события Y, то это энтропия. то есть энтропия - это ожидаемое значение интересности события.

H(Y) = E[ I(Y)]

Более формально энтропия - это ожидаемое количество бит события.

Пример

Y = 1: событие X происходит с вероятностью p

Y = 0: событие X не происходит с вероятностью 1-p

H(Y) = E[I(Y)] = p I(Y==1) + (1-p) I(Y==0) 
     = - p log p - (1-p) log (1-p)

База журнала 2 для всего журнала.

Я не могу дать вам графику, но, возможно, я смогу дать четкое объяснение.

Предположим, у нас есть информационный канал, например, индикатор, который мигает один раз в день красным или зеленым светом. Сколько информации он передает? Первое предположение может быть один бит в день. Но что, если мы добавим синий цвет, чтобы у отправителя было три варианта? Мы хотели бы иметь некоторую информацию, которая могла бы обрабатывать вещи, отличные от степени двойки, но при этом быть аддитивной (способ, которым умножение количества возможных сообщений на два добавляет один бит). Мы могли бы сделать это, взяв log ₂ (количество возможных сообщений), но оказывается, что есть более общий способ.

Предположим, мы вернулись к красному / зеленому цвету, но красная лампочка перегорела (это общеизвестно), поэтому лампа всегда должна мигать зеленым. Канал сейчас бесполезен, мы знаем, какой будет следующая вспышка, поэтому вспышки не несут ни информации, ни новостей. Сейчас мы ремонтируем лампочку, но вводим правило, что красная лампочка не должна мигать два раза подряд. Когда лампа мигает красным, мы знаем, какая будет следующая вспышка. Если вы попытаетесь отправить битовый поток по этому каналу, вы обнаружите, что должны кодировать его с большим количеством вспышек, чем у вас есть бит (на самом деле на 50% больше). А если вы хотите описать последовательность вспышек, вы можете сделать это с меньшим количеством бит. То же самое применимо, если каждая вспышка является независимой (контекстно-независимой), но зеленые вспышки более распространены, чем красные: чем больше искажена вероятность, тем меньше битов вам нужно для описания последовательности и тем меньше информации она содержит, вплоть до полностью зеленый, предел перегоревшей лампочки.

Оказывается, есть способ измерить количество информации в сигнале на основе вероятностей различных символов. Если вероятность получения символа x _i равна p _i, тогда рассмотрите количество

-log pi

Чем меньше p _i, тем больше это значение. Если x _i становится вдвое менее вероятным, это значение увеличивается на фиксированную величину (log (2)). Это должно напоминать вам о добавлении одного бита к сообщению.

Если мы не знаем, каким будет символ (но знаем вероятности), то мы можем вычислить среднее значение этого значения, сколько мы получим, суммируя различные возможности:

I = -Σ pi log(pi)

Это информационное наполнение в одной вспышке.

Red bulb burnt out: pred = 0, pgreen=1, I = -(0 + 0)  = 0
Red and green equiprobable: pred = 1/2, pgreen = 1/2, I = -(2 * 1/2 * log(1/2)) = log(2)
Three colors, equiprobable: pi=1/3, I = -(3 * 1/3 * log(1/3)) = log(3)
Green and red, green twice as likely: pred=1/3, pgreen=2/3, I = -(1/3 log(1/3) + 2/3 log(2/3)) = log(3) - 2/3 log(2)

Это информационное содержание или энтропия сообщения. Максимально, когда разные символы равновероятны. Если вы физик, вы используете естественный журнал, если вы компьютерный ученый, вы используете log ₂ и получаете биты.

Я очень рекомендую вам прочитать о теории информации, байесовских методах и MaxEnt. Начнем с этой (бесплатно доступной в Интернете) книги Дэвида Маккея:

http://www.inference.phy.cam.ac.uk/mackay/itila/

Эти методы вывода на самом деле гораздо более общие, чем просто интеллектуальный анализ текста, и я не могу придумать, как можно было бы научиться применять это к НЛП, не изучая некоторые общие основы, содержащиеся в этой книге или других вводных книгах по машинному обучению и байесовскому анализу MaxEnt. методы.

Связь между энтропией и теорией вероятностей с обработкой и хранением информации действительно очень глубокая. Чтобы почувствовать это, есть теорема Шеннона, которая гласит, что максимальный объем информации, который вы можете передать без ошибок через зашумленный канал связи, равен энтропии шумового процесса. Также существует теорема, которая связывает степень сжатия фрагмента данных, чтобы он занимал минимально возможную память на вашем компьютере, с энтропией процесса, который сгенерировал данные.

Я не думаю, что вам действительно необходимо изучать все теоремы теории коммуникации, но невозможно изучить это, не изучив основы того, что такое энтропия, как она рассчитывается, какова ее связь с информацией и выводами и т. Д. ...

Неформально

энтропия - это доступность информации или знаний. Отсутствие информации приводит к трудностям в предсказании будущего, которое является высокой энтропией (предсказание следующего слова при интеллектуальном анализе текста), а наличие информации / знаний поможет нам более реалистично предсказывать будущего (низкая энтропия).

Соответствующая информация любого типа снизит энтропию и поможет нам предсказать более реалистичное будущее, эта информация может состоять в том, что слово «мясо» присутствует в предложении или слово «мясо» отсутствует. Это называется сбор информации.

Формально

энтропия - это отсутствие порядка предсказуемости

Когда я реализовывал алгоритм для вычисления энтропии изображения, я нашел эти ссылки, см. здесь и здесь.

Это псевдокод, который я использовал, вам нужно адаптировать его для работы с текстом, а не изображениями, но принципы должны быть такими же.

//Loop over image array elements and count occurrences of each possible
//pixel to pixel difference value. Store these values in prob_array
for j = 0, ysize-1 do $
    for i = 0, xsize-2 do begin
       diff = array(i+1,j) - array(i,j)
       if diff lt (array_size+1)/2 and diff gt -(array_size+1)/2 then begin
            prob_array(diff+(array_size-1)/2) = prob_array(diff+(array_size-1)/2) + 1
       endif
     endfor

//Convert values in prob_array to probabilities and compute entropy
n = total(prob_array)

entrop = 0
for i = 0, array_size-1 do begin
    prob_array(i) = prob_array(i)/n

    //Base 2 log of x is Ln(x)/Ln(2). Take Ln of array element
    //here and divide final sum by Ln(2)
    if prob_array(i) ne 0 then begin
        entrop = entrop - prob_array(i)*alog(prob_array(i))
    endif
endfor

entrop = entrop/alog(2)

Я откуда-то получил этот код, но ссылку не могу раскопать.

Когда вы читаете книгу о NLTK, было бы интересно прочитать о модуле классификатора MaxEnt http://www.nltk.org/api/nltk.classify.html#module-nltk.classify.maxent

Для классификации интеллектуального анализа текста этапы могут быть следующими: предварительная обработка (токенизация, обработка паром, выбор функции с использованием информации ...), преобразование в числовое (частота или TF-IDF) (я думаю, что это ключевой шаг, который нужно понять при использовании текст в качестве входных данных для алгоритма, который принимает только числа), а затем классифицируйте с помощью MaxEnt, убедитесь, что это всего лишь пример.