У меня есть вывод ниже после векторизатора tfidf. Я хочу разобрать плотный вывод в столбец фрейма данных pandas, но я не мог напрямую применить функцию toarray или todense для разреженного вывода tfidf и передать его в столбец фрейма данных pandas. Итак, я получил плотный вывод результатов tfidf в список. Теперь список имеет форму (6,20), и я хочу итеративно проанализировать каждую строку списка в строках в столбце фрейма данных pandas, поскольку длина столбца фрейма данных также равна 6. Я попытался преобразовать список в ряд панд и передать его в фрейм данных, но не работал с двумерным списком.
from sklearn.feature_extraction.text import TfidfVectorizer
new_docs = ['Men Tops Tshirts missing ', 'Electronics Computers Tablets Components Parts Razer',
'Women Tops Blouses Blouse Target ', 'Home Home Décor Home Décor Accents missing ',
'Women Jewelry Necklaces missing ', 'Women Other Other missing ']
vectorizer = TfidfVectorizer(TfidfVectorizer(ngram_range=(1,2),
min_df=3, max_df=0.9, strip_accents='unicode', use_idf=1,
smooth_idf=1, sublinear_tf=1 ))
new_term_freq_matrix = vectorizer.fit_transform(new_docs)
print (vectorizer.vocabulary_)
print (new_term_freq_matrix.todense())
example = pd.DataFrame({'test_data_column': new_docs})
lt_1 = []
lt_1 = (vectorizer.fit_transform(new_docs)).toarray()
print(lt_1)
print(lt_1.shape)
(6, 20)
print(example)
test_data_column
0 Men Tops Tshirts missing
1 Electronics Computers Tablets Components Parts Razer
2 Women Tops Blouses Blouse Target
3 Home Home Décor Home Décor Accents missing
4 Women Jewelry Necklaces missing
5 Women Other Other missing