Загрузка / потоковая передача txt-файла размером 8 ГБ ?? И токенизировать

Используя следующую строку:

for line in t.readlines():
    # do the things

Вы заставляете python читать весь файл с помощью t.readlines(), а затем возвращать массив строк, представляющий весь файл, таким образом, весь файл помещается в память.

Вместо этого, если вы сделаете в качестве примера, который вы связали, говорится:

for line in t:
    # do the things

Виртуальная машина Python изначально будет обрабатывать файл построчно, как вы хотите. файл будет действовать как генератор, выдавая каждую строку по очереди.

Посмотрев снова на ваш код, я вижу, что вы постоянно добавляете в список слов с помощью word_list += nltk.word_tokenize(line). Это означает, что даже если вы импортируете файл по одной строке за раз, вы все равно сохраняете эти данные в своей памяти, даже после того, как файл переместился. Вероятно, вам нужно будет найти лучший способ сделать что бы это ни было, поскольку вы по-прежнему будете потреблять огромные объемы памяти, потому что данные не были удалены из памяти.

Для таких больших данных вам придется либо

• найти способ сохранить промежуточную версию ваших токенизированных данных или
• спроектируйте свой код таким образом, чтобы вы могли обрабатывать одно или несколько токенизированных слов за раз.

Что-то вроде этого может помочь:

def enumerated_tokens(filepath):
    index = 0
    with open(filepath, rb, encoding="utf-8") as t:
        for line in t:
            for word in nltk.word_tokenize(line):
                yield (index, word)
                index += 1

for index, word in enumerated_tokens(os.path.join(save_path, 'alldata.txt')):
    print(index, word)
    # Do the thing with your word.

Обратите внимание на то, что на самом деле это слово никогда нигде не хранится. Это не означает, что вы не можете временно хранить что-либо, но если у вас ограниченная память, вам подойдут генераторы. Этот подход, вероятно, будет более быстрым, стабильным и в целом будет использовать меньше памяти.