R Corpus испортил мой текст в кодировке UTF-8

Ну, кажется, есть хорошие новости и плохие новости.

Хорошей новостью является то, что с данными все в порядке, даже если они неправильно отображаются с помощью inspect(). Попробуйте посмотреть на

content(corp[[2]])
# [1] "Складское помещение, 345 м²"

Причина, по которой это выглядит забавно в inspect(), заключается в том, что авторы изменили способ работы функции print.PlainTextDocument. Раньше он cat выводил значение на экран. Однако теперь они передают данные через writeLines(). Эта функция использует языковой стандарт системы для форматирования символов/байтов в документе. (Это можно посмотреть с помощью Sys.getlocale()). Оказывается, Linux и OS X имеют правильную кодировку «UTF-8», но Windows использует кодовые страницы для конкретного языка. Поэтому, если символов нет на кодовой странице, они экранируются или преобразуются в забавные символы. Это означает, что это должно нормально работать на Mac, но не на ПК.

Попробуйте сделать еще один шаг и создать DocumentTermMatrix.

dtm <- DocumentTermMatrix(corp)
Terms(dtm)

Надеюсь, вы увидите (как и я) правильно отображаемые слова.

Если хотите, эту статью о записи файлов UTF-8 в Windows содержит дополнительную информацию об этой конкретной проблеме ОС. Я не вижу простого способа заставить writeLines выводить UTF-8 в stdout() в Windows. Я не уверен, почему сопровождающие пакета изменили метод печати, но можно попросить или отправить запрос функции, чтобы изменить его обратно.

Я удивлен, что ответ еще не опубликован. Не заморачивайтесь с локалью. Я использую пакет tm версии 0.6.0, и он работает абсолютно нормально, если вы добавите следующую маленькую магию:

Encoding(data)  <- "UTF-8"

Ну вот воспроизводимый код:

data <- c("Renault Logan, 2005","Складское помещение, 345 м²","Су-шеф","3-к квартира, 64 м², 3/5 эт.","Samsung galaxy S4 mini GT-I9190 (чёрный)")

Encoding(data)
# [1] "unknown" "unknown" "unknown" "unknown" "unknown"

Encoding(data)  <- "UTF-8"
# [1] "unknown" "UTF-8"   "UTF-8"   "UTF-8"   "UTF-8"

Просто поместите его в текстовый файл, сохраненный в кодировке UTF-8, а затем создайте его обычным образом в R. Но не используйте source.with.encoding(..., encoding = "UTF-8"); это выдаст ошибку.

Я забыл, где я научился этому трюку, но я наткнулся на него где-то на прошлой неделе, во время серфинга в Интернете, пытаясь научиться обрабатывать текст UTF8 в R. В Python все было намного чище (просто конвертируйте все в Unicode!) . Подход R для меня гораздо менее прост, и не помогло то, что документация скудная и запутанная.

У меня возникла проблема с немецкой кодировкой UTF-8 при импорте текстов. Мне помог следующий лайнер:

Sys.setlocale("LC_ALL", "de_DE.UTF-8")

Попробовать запустить то же самое с русским языком?

Sys.setlocale("LC_ALL", "ru_RU.UTF-8")

Конечно, это происходит после библиотеки (тм) и перед созданием корпуса.