У меня есть вывод ниже после векторизатора tfidf. Я хочу разобрать плотный вывод в столбец фрейма данных pandas, но я не мог напрямую применить функцию toarray или todense для разреженного вывода tfidf и передать его в столбец фрейма данных pandas....

Я хочу реализовать лемматизацию с пакетом Spacy . Вот мой код: regexp = re.compile( '(?u)\\b\\w\\w+\\b' ) en_nlp = spacy.load('en') old_tokenizer = en_nlp.tokenizer en_nlp.tokenizer = lambda string:...

У меня есть список токенизированных предложений, и я хотел бы разместить его в векторизаторе tfidf. Я пробовал следующее: tokenized_list_of_sentences = [['this', 'is', 'one'], ['this', 'is', 'another']] def identity_tokenizer(text): return...

Я хотел бы получить матрицу из объекта Tfidfvectorizer из sklearn. Вот мой код: from sklearn.feature_extraction.text import TfidfVectorizer text = ["The quick brown fox jumped over the lazy dog.", "The dog.", "The fox"]...

tl;dr : есть ли способ вызвать .get_feature_names() для подгонки и преобразованных данных из предыдущего шага конвейера для использования в качестве гиперпараметра на следующем этапе конвейера? ? У меня есть Pipeline , который включает...

У меня есть набор данных, который содержит 3 столбца для 310 данных. Все столбцы текстовые. Один столбец — это текст, вводимый пользователем в форму запроса, а второй столбец — это метки (одна из шести меток), которые говорят, к какой категории...

Я пытаюсь получить среднее значение TF-IDF для слова во всем корпусе. Предположим, у нас есть слово «стек», которое встречается в нашем корпусе 4 раза (пара сотен документов). Он имеет эти значения 0.34, 0.45, 0.68, 0.78 в 4 найденных документах....

Я пытаюсь понять математику, стоящую за TfidfVectorizer . Я использовал это руководство, но мой код немного изменено: что также говорит в конце, что The values differ slightly because sklearn uses a smoothed version idf and various other...

Я хотел бы сгруппировать небольшие тексты, включенные в столбец df['Texts'] , из фрейма данных. Примеры предложений для анализа следующие: Texts 1 Donald Trump, Donald Trump news, Trump bleach, Trump injected bleach, bleach coronavirus....