использование памяти при манипулировании / обработке больших структур данных

Я бы посоветовал взглянуть на презентацию Дэвида Бизли об использовании генераторов в Python. Этот метод позволяет обрабатывать большой объем данных и выполнять сложную обработку быстро и без чрезмерного использования памяти. IMO, уловка заключается не в том, чтобы максимально эффективно удерживать в памяти огромное количество данных; хитрость заключается в том, чтобы избежать одновременной загрузки в память огромного количества данных.

Прежде чем вы начнете рвать на себе волосы над сборщиком мусора, вы можете избежать этих 100-мегабайтных ударов по загрузке всего файла в память, используя объект файла с отображением в память. См. Модуль mmap.

Не читайте файл размером 100 мегабайт за раз. Используйте потоки для обработки понемногу за раз. Прочтите это сообщение в блоге, в котором рассказывается об обработке больших файлов csv и xml. http://lethain.com/entry/2009/jan/22/handling-very-large-csv-and-xml-files-in-python/

Вот пример кода из статьи.

from __future__ import with_statement # for python 2.5

with open('data.in','r') as fin:
    with open('data.out','w') as fout:
        for line in fin:
            fout.write(','.join(line.split(' ')))

Итак, из ваших комментариев я предполагаю, что ваш файл выглядит примерно так:

item1,item2,item3,item4,item5,item6,item7,...,itemn

которые вы все сводите к одному значению путем повторного применения некоторой комбинированной функции. В качестве решения считайте за раз только одно значение:

def read_values(f):
    buf = []
    while True:
        c = f.read(1)
        if c == ",":
            yield parse("".join(buf))
            buf = []
        elif c == "":
            yield parse("".join(buf))
            return
        else:
            buf.append(c)

with open("some_file", "r") as f:
     agg = initial
     for v in read_values(f):
         agg = combine(agg, v)

Таким образом, потребление памяти остается постоянным, если только agg не увеличивается со временем.

1. Обеспечьте соответствующие реализации initial, parse и combine
2. Не читайте файл побайтово, а читайте в фиксированном буфере, выполняйте синтаксический анализ из буфера и читайте больше по мере необходимости.

3. Это в основном то, что делает встроенная функция reduce, но для ясности здесь я использовал явный цикл for. Вот то же самое с reduce:

   with open("some_file", "r") as f:
       agg = reduce(combine, read_values(f), initial)
   

Надеюсь, я правильно понял вашу проблему.

Прежде всего, не трогайте сборщик мусора. Это не проблема и не решение.

Похоже, настоящая проблема, с которой вы столкнулись, вовсе не с чтением файла, а со структурами данных, которые вы выделяете при обработке файлов. Кондирование с использованием del для удаления структур, которые вам больше не нужны во время обработки. Кроме того, вы можете рассмотреть возможность использования marshal для сброса некоторых обработанных данных на диск, пока вы работаете со следующими 100 МБ входных файлов.

Для чтения файлов у вас есть два основных варианта: файлы в стиле unix в виде потоков или файлы с отображением в память. Для потоковых файлов объект файла python по умолчанию уже находится в буфере, поэтому самый простой код также, вероятно, является наиболее эффективным:

  with open("filename", "r") as f:
    for line in f:
       # do something with a line of the files

В качестве альтернативы вы можете использовать f.read ([size]) для чтения блоков файла. Однако обычно вы делаете это для увеличения производительности ЦП за счет многопоточности обрабатывающей части вашего скрипта, чтобы вы могли читать и обрабатывать одновременно. Но это не помогает с использованием памяти; на самом деле он использует больше памяти.

Другой вариант - mmap, который выглядит так:

  with open("filename", "r+") as f:
    map = mmap.mmap(f.fileno(), 0)
    line = map.readline()
    while line != '':
       # process a line
       line = map.readline()

Иногда это превосходит потоки, но также не улучшает использование памяти.

В вашем примере кода данные хранятся в переменной fc. Если вы не сохраните ссылку на fc, все содержимое вашего файла будет удалено из памяти по завершении метода read.

Если это не так, то вы где-то храните ссылку. Возможно, ссылка создается в read_100_mb_file, может быть в process. Если ссылки нет, реализация CPython освободит ее почти сразу.

Есть несколько инструментов, которые помогут вам найти эту ссылку: guppy, dowser, pysizer ...