Случайные строки Python из подпапок

Чтобы получить правильное случайное распределение по всем этим файлам, вам нужно рассматривать их как один большой набор строк и выбирать 10 наугад. Другими словами, вам придется хотя бы раз прочитать все эти файлы, чтобы хотя бы выяснить, сколько у вас строк.

Однако вам не нужно хранить все строки в памяти. Вам придется сделать это в два этапа: проиндексировать ваши файлы, чтобы подсчитать количество строк в каждом, а затем выбрать 10 случайных строк для чтения из этих файлов.

Первая индексация:

import os

root_path = r'C:\Tasks\\'
total_lines = 0
file_indices = dict()

# Based on https://stackoverflow.com/q/845058, bufcount function
def linecount(filename, buf_size=1024*1024):
    with open(filename) as f:
        return sum(buf.count('\n') for buf in iter(lambda: f.read(buf_size), ''))

for dirpath, dirnames, filenames in os.walk(root_path):
    for filename in filenames:
         if not filename.endswith('.txt'):
             continue
         path = os.path.join(dirpath, filename)
         file_indices[total_lines] = path
         total_lines += linecount(path)

offsets = list(file_indices.keys())
offsets.sort()

Теперь у нас есть сопоставление смещений, указание на имена файлов и общее количество строк. Теперь мы выбираем десять случайных индексов и читаем их из ваших файлов:

import random
import bisect

tasks = list(range(total_lines))
task_indices = random.sample(tasks, 10)

for index in task_indices:
     # find the closest file index
     file_index = offsets[bisect.bisect(offsets, index) - 1]
     path = file_indices[file_index]
     curr_line = file_index
     with open(path) as f:
         while curr_line <= index:
             task = f.readline()
             curr_line += 1
     print(task)
     tasks.remove(index)

Обратите внимание, что вам нужно индексировать только один раз; вы можете где-то сохранить результат и обновлять его только при обновлении ваших файлов.

Также обратите внимание, что ваши задачи теперь «хранятся» в списке tasks; это индексы строк в ваших файлах, и я удаляю индекс из этой переменной при печати выбранной задачи. В следующий раз, когда вы запустите random.sample() вариантов, ранее выбранные задачи больше не будут доступны для выбора в следующий раз. Эта структура потребует обновления, если ваши файлы когда-либо изменятся, так как индексы должны быть пересчитаны. file_indices поможет вам с этой задачей, но это выходит за рамки этого ответа. :-)

Если вам нужен только один образец из 10 элементов, вместо этого используйте решение Blckknght, поскольку оно будет выполняться только файлы один раз, в то время как мои требуют 10 дополнительных открытий файлов. Если вам нужно несколько образцов, это решение требует только 10 дополнительных открытий файлов каждый раз, когда вам нужен образец, оно не будет снова сканировать все файлы. Если у вас менее 10 файлов, все равно используйте ответ Blckknght. :-)

Вот простое решение, которое делает только один проход по файлам для каждого образца. Если вы точно знаете, сколько элементов вы будете выбирать из файлов, это, вероятно, оптимально.

Во-первых, это функция выборки. Здесь используется тот же алгоритм, на который @NedBatchelder ссылался в комментарии к более раннему ответу (хотя показанный там код Perl выбрал только одну строку, а не несколько). Он выбирает значения из итерации строк и требует, чтобы в памяти в любой момент времени сохранялись только выбранные в данный момент строки (плюс следующая строка-кандидат). Он поднимает ValueError, если итерация имеет меньше значений, чем запрошенный размер выборки.

import random

def random_sample(n, items):
    results = []

    for i, v in enumerate(items):
        r = random.randint(0, i)
        if r < n:
            if i < n:
                results.insert(r, v) # add first n items in random order
            else:
                results[r] = v # at a decreasing rate, replace random items

    if len(results) < n:
        raise ValueError("Sample larger than population.")

    return results

изменить: В другом вопросе пользователь @DzinX заметил, что использование insert в этом коде снижает производительность (O(N^2)), если вы выбираете очень большое количество значений. Его улучшенная версия, которая позволяет избежать этой проблемы, находится здесь. /изменить

Теперь нам просто нужно сделать подходящую итерацию элементов для нашей функции, из которой будет производиться выборка. Вот как я бы сделал это с помощью генератора. Этот код будет держать открытым только один файл за раз, и ему не требуется более одной строки в памяти за раз. Необязательный параметр exclude, если он присутствует, должен быть set, содержащим строки, которые были выбраны при предыдущем запуске (и поэтому не должны возвращаться снова).

import os

def lines_generator(base_folder, exclude = None):
    for dirpath, dirs, files in os.walk(base_folder):
        for filename in files:
            if filename.endswith(".txt"):
                fullPath = os.path.join(dirpath, filename)
                with open(fullPath) as f:
                     for line in f:
                         cleanLine = line.strip()
                         if exclude is None or cleanLine not in exclude:
                             yield cleanLine

Теперь нам просто нужна функция-оболочка, чтобы связать эти две части вместе (и управлять набором видимых строк). Он может возвращать одну выборку размером n или список из count выборок, используя тот факт, что срез случайной выборки также является случайной выборкой.

_seen = set()

def get_sample(n, count = None):
    base_folder = r"C:\Tasks"
    if count is None:
        sample = random_sample(n, lines_generator(base_folder, _seen))
        _seen.update(sample)
        return sample
    else:
        sample = random_sample(count * n, lines_generator(base_folder, _seen))
        _seen.update(sample)
        return [sample[i * n:(i + 1) * n] for i in range(count)]

Вот как это можно использовать:

def main():
    s1 = get_sample(10)
    print("Sample1:", *s1, sep="\n")

    s2, s3 = get_sample(10,2) # get two samples with only one read of the files
    print("\nSample2:", *s2, sep="\n")
    print("\nSample3:", *s3, sep="\n")

    s4 = get_sample(5000) # this will probably raise a ValueError!

EDIT: При ближайшем рассмотрении этот ответ не отвечает всем требованиям. Его переработка привела меня к алгоритму отбора проб из резервуара, который @Blckknght использовал в своем ответе. Так что игнорируйте этот ответ.

Несколько способов сделать это. Вот один...

1. Получить список всех файлов задач
2. Выберите один наугад
3. Выберите одну строку из этого файла наугад
4. Повторяем, пока не получим нужное количество строк

Код...

import os
import random

def file_iterator(top_dir):
    """Gather all task files"""
    files = []
    for dirpath, dirnames, filenames in os.walk(top_dir):
        for filename in filenames:
            if not filename.endswith('.txt'):
                continue
            path = os.path.join(dirpath, filename)
            files.append(path)
    return files


def random_lines(files, number=10):
    """Select a random file, select a random line until we have enough
    """
    selected_tasks = []

    while len(selected_tasks) < number:
        f = random.choice(files)
        with open(f) as tasks:
            lines = tasks.readlines()
            l = random.choice(lines)
            selected_tasks.append(l)
    return selected_tasks


## Usage
files = file_iterator(r'C:\\Tasks')
random_tasks = random_lines(files)