Генератор не итератор?

Генератор истощен после одного цикла. Word2vec просто нужно проходить предложения несколько раз (и, вероятно, получить элемент для заданного индекса, что невозможно для генераторов, которые представляют собой просто своего рода стеки, в которых вы можете только выталкивать), поэтому требуется что-то более надежное, например список.

В частности, в своем коде они вызывают две разные функции, обе перебирают предложения (таким образом, если вы используете генератор, вторая будет работать с пустым набором)

self.build_vocab(sentences, trim_rule=trim_rule)
self.train(sentences)

Он должен работать со всем, что реализует __iter__, а не GeneratorType. Так что оберните вашу функцию в итеративный интерфейс и убедитесь, что вы можете пройти по нему несколько раз, что означает, что

sentences = your_code
for s in sentences:
  print s
for s in sentences:
  print s

напечатает вашу коллекцию дважды

Как упоминалось в предыдущих плакатах, генератор действует аналогично итератору с двумя существенными отличиями: генераторы исчерпаны, и вы не можете их проиндексировать.

Я быстро просмотрел документацию на этой странице - https://radimrehurek.com/gensim/models/word2vec.html

В документации указано, что

gensim.models.word2vec.Word2Vec (предложения = None, size = 100, alpha = 0.025, window = 5, min_count = 5, max_vocab_size = None, sample = 0, seed = 1, worker = 1, min_alpha = 0,0001 , sg = 1, hs = 1, negative = 0, cbow_mean = 0, hashfxn =, iter = 1, null_word = 0, trim_rule = None, sorted_vocab = 1) ...

Инициализировать модель из итерации предложений. Каждое предложение представляет собой список слов (строк Unicode), которые будут использоваться для обучения.

Рискну предположить, что логика внутри функции по своей сути требует одного или нескольких свойств списка, таких как индексирование элементов, может быть явный оператор assert или оператор if, который вызывает ошибку.

Простым приемом, который может решить вашу проблему, является превращение вашего генератора в понимание списка. Ваша программа будет поддерживать снижение производительности процессора и увеличит использование памяти, но это должно, по крайней мере, заставить код работать.

my_iterator = [x for x in generator_obj]

В других ответах указывалось, что Gensim требуется два прохода для построения модели Word2Vec: один раз для создания словаря (self.build_vocab), а второй - для обучения модели (self.train). Вы по-прежнему можете передать генератор методу train (например, при потоковой передаче данных), разделив методы build_vocab и train.

from gensim.models import Word2Vec

model = Word2Vec()
sentences = my_generator()  # first pass
model.build_vocab(sentences)

sentences = my_generator()  # second pass of same data
model.train(sentences2, 
            total_examples=num_sentences,  # total number of documents to process
            epochs=model.epochs)

Похоже, gensim выдает вводящее в заблуждение сообщение об ошибке.

Gensim хочет перебрать ваши данные несколько раз. Большинство библиотек просто создают список из входных данных, поэтому пользователю не нужно заботиться о предоставлении многократной итеративной последовательности. Конечно, создание списка в памяти может быть очень ресурсоемким, в то время как, например, итерация по файлу может выполняться без сохранения всего файла в памяти.

В вашем случае простое изменение генератора на понимание списка должно решить проблему.