Чтение нескольких CSV-файлов в Pandas по частям

чтобы прочитать большой файл csv, вы можете использовать chunksize, но в этом случае вам нужно использовать итератор следующим образом:

for df in pd.read_csv('file.csv', sep=',', iterator=True, chunksize=10000):
    process(df)

вам нужно объединить или добавить каждый фрагмент

или вы могли бы сделать это:

df = pd.read_csv('file.csv',, sep=',', iterator=True, chunksize=10000)
for chunk in df:
    process(chunk)

для чтения нескольких файлов: например

listfile = ['file1,'file2]
dfx = pd.DataFrame()
def process(d):
    #dfx=dfx.append(d) or dfx = pd.concat(dfx, d)
    #other coding

for f in listfile:
    for df in pd.read_csv(f, sep=',', iterator=True, chunksize=10000):
        process(df)

после того, как у вас будет много файлов, вы можете использовать DASK или пул из многопроцессорной библиотеки, чтобы запустить много процессов чтения

В любом случае, либо у вас достаточно памяти, либо вы теряете время

Это интересный вопрос. Я не пробовал это, но я думаю, что код будет выглядеть примерно так, как показано ниже.

import pandas as pd
import csv
import glob
import os

#os.chdir("C:\\your_path\\")
results = pd.DataFrame([])
filelist = glob.glob("C:\\your_path\\*.csv")
#dfList=[]
for filename in filelist:
    print(filename)  
    namedf = pd.read_csv(filename, skiprows=0, index_col=0)
    results = results.append(namedf)

results.to_csv('C:\\your_path\\Combinefile.csv')


chunksize = 10 ** 6
for chunk in pd.read_csv('C:\\your_path\\Combinefile.csv', chunksize=chunksize):
    process(chunk)

Возможно, вы могли бы загрузить все в память и обработать напрямую, но, вероятно, обработка всего заняла бы намного больше времени.

Один из способов сделать это — разбить фрейм данных на фрагменты с помощью pd.read_csv(file, chunksize=chunksize), а затем, если последний прочитанный фрагмент короче, чем размер фрагмента, сохранить дополнительный бит, а затем добавить его в первый файл массива. следующий кусок.

Но не забудьте прочитать меньший первый фрагмент следующего файла, чтобы он равнялся общему размеру фрагмента.

def chunk_from_files(dir, master_chunksize):
    '''
    Provided a directory, loops through files and chunks out dataframes.
    :param dir: Directory to csv files.
    :param master_chunksize: Size of chunk to output.
    :return: Dataframes with master_chunksize chunk.
    '''
    files = os.listdir(dir)

    chunksize = master_chunksize
    extra_chunk = None # Initialize the extra chunk.
    for file in files:
        csv_file = os.path.join(dir, file)

        # Alter chunksize if extra chunk is not None.
        if extra_chunk is not None:
            chunksize = master_chunksize - extra_chunk.shape[0]

        for chunk in pd.read_csv(csv_file, chunksize=chunksize):
            if extra_chunk is not None: 
                # Concatenate last small chunk of previous file with altered first chunk of next file.
                chunk = pd.concat([chunk, extra_chunk])
                extra_chunk = None
                chunksize = master_chunksize # Reset chunksize.
            elif chunk.shape[0] < chunksize:
                # If last chunk is less than chunk size, set is as the extra bit.
                extra_chunk = chunk
                break

            yield chunk