Устранение неоднозначности слов в NLTK Python

Недавно часть кода pywsd была перенесена в новейшую версию NLTK 'в модуле wsd.py, попробуйте:

>>> from nltk.wsd import lesk
>>> sent = 'I went to the bank to deposit my money'
>>> ambiguous = 'bank'
>>> lesk(sent, ambiguous)
Synset('bank.v.04')
>>> lesk(sent, ambiguous).definition()
u'act as the banker in a game or in gambling'

Для повышения производительности WSD используйте библиотеку pywsd вместо модуля NLTK. В общем, simple_lesk() от pywsd работает лучше, чем lesk от NLTK. Я постараюсь как можно больше обновить модуль NLTK, когда буду свободен.

В ответах на комментарий Криса Спенсера обратите внимание на ограничения алгоритмов Леска. Я просто даю точную реализацию алгоритмов. Это не серебряная пуля, http://en.wikipedia.org/wiki/Lesk_algorithm

Также обратите внимание, что, хотя:

lesk("My cat likes to eat mice.", "cat", "n")

не дадут вам правильный ответ, вы можете использовать pywsd реализацию max_similarity():

>>> from pywsd.similarity import max_similiarity
>>> max_similarity('my cat likes to eat mice', 'cat', 'wup', pos='n').definition 
'feline mammal usually having thick soft fur and no ability to roar: domestic cats; wildcats'
>>> max_similarity('my cat likes to eat mice', 'cat', 'lin', pos='n').definition 
'feline mammal usually having thick soft fur and no ability to roar: domestic cats; wildcats'

@ Крис, если тебе нужен python setup.py, просто сделай вежливый запрос, я напишу ...

Обратитесь к http://jaganadhg.freeflux.net/blog/archive/2010/10/16/wordnet-sense-similarity-with-nltk-some-basics.html

Да, действительно, существует книга, написанная командой NLTK, в которой есть несколько глав по классификации и они подробно описывают как использовать WordNet. Вы также можете купить физическую версию книги в Safari.

К вашему сведению: NLTK написан преподавателями естественного языка программирования для использования в их вводных курсах программирования.

В качестве практического ответа на запрос OP, вот реализация на python нескольких методов WSD, которые возвращают значения в виде наборов (-ов) NLTK, https://github.com/alvations/pywsd

Это включает в себя

• алгоритмы Lesk (включая оригинальный Lesk, адаптированный Lesk и простой Lesk)
• Базовые алгоритмы (случайное восприятие, первое ощущение, наиболее частое восприятие)

Его можно использовать как таковое:

#!/usr/bin/env python -*- coding: utf-8 -*-

bank_sents = ['I went to the bank to deposit my money',
'The river bank was full of dead fishes']

plant_sents = ['The workers at the industrial plant were overworked',
'The plant was no longer bearing flowers']

print "======== TESTING simple_lesk ===========\n"
from lesk import simple_lesk
print "#TESTING simple_lesk() ..."
print "Context:", bank_sents[0]
answer = simple_lesk(bank_sents[0],'bank')
print "Sense:", answer
print "Definition:",answer.definition
print

print "#TESTING simple_lesk() with POS ..."
print "Context:", bank_sents[1]
answer = simple_lesk(bank_sents[1],'bank','n')
print "Sense:", answer
print "Definition:",answer.definition
print

print "#TESTING simple_lesk() with POS and stems ..."
print "Context:", plant_sents[0]
answer = simple_lesk(plant_sents[0],'plant','n', True)
print "Sense:", answer
print "Definition:",answer.definition
print

print "======== TESTING baseline ===========\n"
from baseline import random_sense, first_sense
from baseline import max_lemma_count as most_frequent_sense

print "#TESTING random_sense() ..."
print "Context:", bank_sents[0]
answer = random_sense('bank')
print "Sense:", answer
print "Definition:",answer.definition
print

print "#TESTING first_sense() ..."
print "Context:", bank_sents[0]
answer = first_sense('bank')
print "Sense:", answer
print "Definition:",answer.definition
print

print "#TESTING most_frequent_sense() ..."
print "Context:", bank_sents[0]
answer = most_frequent_sense('bank')
print "Sense:", answer
print "Definition:",answer.definition
print

[out]:

======== TESTING simple_lesk ===========

#TESTING simple_lesk() ...
Context: I went to the bank to deposit my money
Sense: Synset('depository_financial_institution.n.01')
Definition: a financial institution that accepts deposits and channels the money into lending activities

#TESTING simple_lesk() with POS ...
Context: The river bank was full of dead fishes
Sense: Synset('bank.n.01')
Definition: sloping land (especially the slope beside a body of water)

#TESTING simple_lesk() with POS and stems ...
Context: The workers at the industrial plant were overworked
Sense: Synset('plant.n.01')
Definition: buildings for carrying on industrial labor

======== TESTING baseline ===========
#TESTING random_sense() ...
Context: I went to the bank to deposit my money
Sense: Synset('deposit.v.02')
Definition: put into a bank account

#TESTING first_sense() ...
Context: I went to the bank to deposit my money
Sense: Synset('bank.n.01')
Definition: sloping land (especially the slope beside a body of water)

#TESTING most_frequent_sense() ...
Context: I went to the bank to deposit my money
Sense: Synset('bank.n.01')
Definition: sloping land (especially the slope beside a body of water)

У NLTK есть API для доступа к Wordnet. Wordnet размещает слова как синсеты. Это даст вам некоторую информацию о слове, его гиперонимах, гипонимах, корневом слове и т. Д.

«Обработка текста Python с помощью NLTK 2.0 Cookbook» - хорошая книга, которая познакомит вас с различными функциями NLTK. Его легко читать, понимать и применять.

Кроме того, вы можете посмотреть другие статьи (за пределами области NLTK), в которых говорится об использовании Википедии для устранения неоднозначности слов.

Да, это возможно с модулем wordnet в NLTK. Меры подобия, которые используются в инструменте, упомянутом в вашем сообщении, существуют и в модуле NLTK wordnet.