Как выполнить лемматизацию в R?

Здравствуйте, вы можете попробовать пакет koRpus, который позволяет использовать Treetagger:

tagged.results <- treetag(c("run", "ran", "running"), treetagger="manual", format="obj",
                      TT.tknz=FALSE , lang="en",
                      TT.options=list(path="./TreeTagger", preset="en"))
[email protected]

##     token tag lemma lttr wclass                               desc stop stem
## 1     run  NN   run    3   noun             Noun, singular or mass   NA   NA
## 2     ran VVD   run    3   verb                   Verb, past tense   NA   NA
## 3 running VVG   run    7   verb Verb, gerund or present participle   NA   NA

См. Столбец lemma для получения результата, который вы запрашиваете.

Как упоминалось в предыдущем сообщении, функция lemmatize_words () из пакета R texttem может выполнить это и дать вам то, что я понимаю как желаемые результаты:

library(textstem)
vector <- c("run", "ran", "running")
lemmatize_words(vector)

## [1] "run" "run" "run"

@Andy и @Arunkumar правы, когда говорят, что библиотека texttem может использоваться для выполнения стемминга и / или лемматизации. Однако lemmatize_words () будет работать только с вектором слов. Но в корпусе у нас нет вектора слов; у нас есть строки, каждая из которых является содержимым документа. Следовательно, чтобы выполнить лемматизацию корпуса, вы можете использовать функцию lemmatize_strings () в качестве аргумента tm_map () пакета tm.

> corpus[[1]]
[1] " earnest roughshod document serves workable primer regions recent history make 
terrific th-grade learning tool samuel beckett applied iranian voting process bard 
black comedy willie loved another trumpet blast may new mexican cinema -bornin "
> corpus <- tm_map(corpus, lemmatize_strings)
> corpus[[1]]
[1] "earnest roughshod document serve workable primer region recent history make 
terrific th - grade learn tool samuel beckett apply iranian vote process bard black 
comedy willie love another trumpet blast may new mexican cinema - bornin"

Не забудьте запустить следующую строку кода после выполнения лемматизации:

> corpus <- tm_map(corpus, PlainTextDocument)

Это связано с тем, что для создания матрицы документа-термина вам необходимо иметь объект типа PlainTextDocument, который изменяется после использования lemmatize_strings () (точнее, объект корпуса не содержит содержимого и метаданных каждый документ больше - теперь это просто структура, содержащая содержимое документов; это не тот тип объекта, который DocumentTermMatrix () принимает в качестве аргумента).

Надеюсь это поможет!

Может быть, вам достаточно стемминга? Типичные задачи обработки естественного языка обходятся рамочными текстами. Вы можете найти несколько пакетов в CRAN Task View of NLP: http://cran.r-project.org/web/views/NaturalLanguageProcessing.html

Если вам действительно требуется что-то более сложное, существуют специальные решения, основанные на отображении предложений в нейронные сети. Насколько мне известно, для этого требуется огромное количество обучающих данных. Существует множество открытого программного обеспечения, созданного и предоставленного Stanford NLP Group.

Если вы действительно хотите вникнуть в тему, вы можете покопаться в архивах событий, связанных с той же Stanford NLP Group публикации. Есть несколько книг по этой теме.

Я думаю, что ответы здесь немного устарели. Теперь вы должны использовать пакет R udpipe, доступный по адресу https://CRAN.R-project.org/package=udpipe - см. https://github.com/bnosac/udpipe или документы на https://bnosac.github.io/udpipe/en

Обратите внимание на разницу между словом «встреча» (СУЩЕСТВИТЕЛЬНОЕ) и словом «встретиться» (ГЛАГОЛ) в следующем примере при выполнении лемматизации и при выполнении стемминга, а также досадное примешивание слова «кто-то» к слову «кто-то» при выполнении стемминга.

library(udpipe)
x <- c(doc_a = "In our last meeting, someone said that we are meeting again tomorrow",
       doc_b = "It's better to be good at being the best")
anno <- udpipe(x, "english")
anno[, c("doc_id", "sentence_id", "token", "lemma", "upos")]
#>    doc_id sentence_id    token    lemma  upos
#> 1   doc_a           1       In       in   ADP
#> 2   doc_a           1      our       we  PRON
#> 3   doc_a           1     last     last   ADJ
#> 4   doc_a           1  meeting  meeting  NOUN
#> 5   doc_a           1        ,        , PUNCT
#> 6   doc_a           1  someone  someone  PRON
#> 7   doc_a           1     said      say  VERB
#> 8   doc_a           1     that     that SCONJ
#> 9   doc_a           1       we       we  PRON
#> 10  doc_a           1      are       be   AUX
#> 11  doc_a           1  meeting     meet  VERB
#> 12  doc_a           1    again    again   ADV
#> 13  doc_a           1 tomorrow tomorrow  NOUN
#> 14  doc_b           1       It       it  PRON
#> 15  doc_b           1       's       be   AUX
#> 16  doc_b           1   better   better   ADJ
#> 17  doc_b           1       to       to  PART
#> 18  doc_b           1       be       be   AUX
#> 19  doc_b           1     good     good   ADJ
#> 20  doc_b           1       at       at SCONJ
#> 21  doc_b           1    being       be   AUX
#> 22  doc_b           1      the      the   DET
#> 23  doc_b           1     best     best   ADJ
lemmatisation <- paste.data.frame(anno, term = "lemma", 
                                  group = c("doc_id", "sentence_id"))
lemmatisation
#>   doc_id sentence_id
#> 1  doc_a           1
#> 2  doc_b           1
#>                                                             lemma
#> 1 in we last meeting , someone say that we be meet again tomorrow
#> 2                          it be better to be good at be the best

library(SnowballC)
tokens   <- strsplit(x, split = "[[:space:][:punct:]]+")
stemming <- lapply(tokens, FUN = function(x) wordStem(x, language = "en"))
stemming
#> $doc_a
#>  [1] "In"       "our"      "last"     "meet"     "someon"   "said"    
#>  [7] "that"     "we"       "are"      "meet"     "again"    "tomorrow"
#> 
#> $doc_b
#>  [1] "It"     "s"      "better" "to"     "be"     "good"   "at"     "be"    
#>  [9] "the"    "best"

Лемматизацию можно легко выполнить в R с помощью пакета textStem.
Шаги:
1) Установите texttem
2) Загрузите пакет с помощью library(textstem)
3) stem_word=lemmatize_words(word, dictionary = lexicon::hash_lemmas)
где stem_word - результат лемматизации а слово - это входное слово.