Пакет NLTK для оценки недоумения (unigram)

Недоумение — это обратная вероятность тестового набора, нормированная по количеству слов. В случае униграмм:

Теперь вы говорите, что уже построили модель униграммы, то есть для каждого слова у вас есть соответствующая вероятность. Затем вам нужно только применить формулу. Я предполагаю, что у вас есть большой словарь unigram[word], который обеспечит вероятность каждого слова в корпусе. Также необходимо иметь тестовый набор. Если ваша модель униграммы не имеет форму словаря, сообщите мне, какую структуру данных вы использовали, чтобы я мог соответствующим образом адаптировать ее к своему решению.

perplexity = 1
N = 0

for word in testset:
    if word in unigram:
        N += 1
        perplexity = perplexity * (1/unigram[word])
perplexity = pow(perplexity, 1/float(N))

ОБНОВИТЬ:

Поскольку вы просили полный рабочий пример, вот очень простой.

Предположим, это наш корпус:

corpus ="""
Monty Python (sometimes known as The Pythons) were a British surreal comedy group who created the sketch comedy show Monty Python's Flying Circus,
that first aired on the BBC on October 5, 1969. Forty-five episodes were made over four series. The Python phenomenon developed from the television series
into something larger in scope and impact, spawning touring stage shows, films, numerous albums, several books, and a stage musical.
The group's influence on comedy has been compared to The Beatles' influence on music."""

Вот как мы сначала строим модель униграммы:

import collections, nltk
# we first tokenize the text corpus
tokens = nltk.word_tokenize(corpus)

#here you construct the unigram language model 
def unigram(tokens):    
    model = collections.defaultdict(lambda: 0.01)
    for f in tokens:
        try:
            model[f] += 1
        except KeyError:
            model [f] = 1
            continue
    N = float(sum(model.values()))
    for word in model:
        model[word] = model[word]/N
    return model

Наша модель здесь сглажена. Для слов, выходящих за рамки его знаний, он присваивает низкую вероятность 0.01. Я уже говорил вам, как вычислить недоумение:

#computes perplexity of the unigram model on a testset  
def perplexity(testset, model):
    testset = testset.split()
    perplexity = 1
    N = 0
    for word in testset:
        N += 1
        perplexity = perplexity * (1/model[word])
    perplexity = pow(perplexity, 1/float(N)) 
    return perplexity

Теперь мы можем проверить это на двух разных наборах тестов:

testset1 = "Monty"
testset2 = "abracadabra gobbledygook rubbish"

model = unigram(tokens)
print perplexity(testset1, model)
print perplexity(testset2, model)

для которого вы получите следующий результат:

>>> 
49.09452736318415
99.99999999999997

Обратите внимание, что, имея дело с замешательством, мы пытаемся уменьшить его. Языковая модель с меньшей степенью сложности в отношении определенного набора тестов более желательна, чем модель с большей степенью сложности. В первом тестовом наборе слово Monty было включено в модель униграммы, поэтому соответствующее число недоумения также было меньше.

Спасибо за фрагмент кода! Не следует:

for word in model:
        model[word] = model[word]/float(sum(model.values()))

быть скорее:

v = float(sum(model.values()))
for word in model:
        model[word] = model[word]/v

О... вижу уже ответили...