Кучи .NET заполнены строковым объектом -> OutOfMemoryException

Как уже сказал Авнер Шахар-Каштан, я также думаю, что проблема в ImportJob (вы не показали нам его код).

Тем не менее, вы все равно можете сделать некоторые оптимизации.

Вам не нужно загружать все имена файлов одновременно. Это можно сделать по каталогу, как показано ниже.

IEnumerable<string> GetAllFiles(string dirName)
{
    var dirs = Directory.GetDirectories(dirName);

    foreach (var file in Directory.GetFiles(dirName))
        yield return file;

    foreach (var dir in dirs) //recurse
        foreach (var file in GetAllFiles(dir)) 
            yield return file;
}

А с помощью TPL вы можете уменьшить количество созданных ManualResetEvent (и их забытых Dispose())

Parallel.ForEach(GetAllFiles(RawDataDirectory.FullName) , file =>
{
    //ImportFileJob newJob = new ImportFileJob(file);
    //newJob.Run
    Console.WriteLine(file);
}); 

Кстати, вы также должны увидеть CountdownEvent.

Directory.GetFiles(RawDataDirectory.FullName, "*.*", SearchOption.AllDirectories);

Это возвращает массив. Если в каталогах столько файлов, сколько вы указали, это будут очень большие массивы, достаточно большие, чтобы их можно было поместить в кучу больших объектов. Несколько массивных массивов могут легко вызвать исключение OutOfMemoryException. Не помогает, что следующая строка

var dir = Directory.GetFiles(RawDataDirectory.FullName, "*.*", SearchOption.AllDirectories);

имеет переменную 'dir', которая ничего не делает. Большой массив создается дважды за выполнение метода.

Я сразу же могу заметить пару простых оптимизаций.

Вы используете много fullFileName.ToString().ToLower().EndsWith("ignored") вызовов. У них много накладных расходов, поскольку вы всегда берете заданную строку и создаете новую строку в нижнем регистре.

Вместо этого вы должны использовать перегрузки Endswith (или Contains), которые допускают сравнение без учета регистра:

fullFileName.ToString()
  .EndsWith("ignored", StringComparison.CurrentCultureIgnoreCase)

Кроме того, я не думаю, что ваши StringBuilders помогают в этом случае. StringBuilders в основном полезны, когда вы создаете строки, состоящие из нескольких частей, и вам не нужны накладные расходы на создание нескольких промежуточных строк во время их составления. Кажется, что все ваши конкатенации строк здесь всегда используют только две строки - базовое имя и новый суффикс, поэтому я не уверен, что это на самом деле экономит ваше время или память.

Вместо использования таймера и циклического просмотра всего содержимого папок вы можете использовать FileSystemWatcher: http://msdn.microsoft.com/en-us/library/system.io.filesystemwatcher.aspx

Таким образом, ваша программа уведомляется о точных файлах, которые были изменены, и вам даже не нужно выделять память для массивов файлов, которые вам не нужны.

Вы вызываете fullFileName.ToString().ToLower() три раза в своем выражении If. Кэшируйте это строковое значение в локальной переменной и используйте этот оператор if (сохраняет три временные строки).

Попробуйте использовать XmlWriter, а не XDocument. XDocument — это граф объектов в памяти, поэтому для больших наборов данных он может быть не самым производительным (вы держите все это в памяти, пока не запишете его на диск целиком). С XmlWriter вы обычно можете выполнять потоковую передачу в файловый буфер элемент за элементом, объем памяти будет гораздо меньше.

Не уверен, сколько работы требует каждый импорт, но пробовали ли вы поток для каждого каталога, а не для каждого файла?

Как предположили другие,

1) уменьшить манипуляции со строками.

Похоже, ваш каталог возвращает «слишком много» имен файлов (строк), поэтому это требует внимания.

2) ваша строка «var dir = Directory.GetFiles(RawDataDirectory.FullName, "*.*", SearchOption.AllDirectories);» кажется избыточной. Похоже, вы его не используете. Итак, удалите этот код, он содержит много строковых ссылок.

3) ЕСЛИ возможно, перебрать файлы, возвращенные из каталога, частями (скажем, 10 КБ). Таким образом, для этого потребуется написать код, который разбивает список на список>, а затем очищает ссылки, содержащиеся во внутреннем списке, при повторении внешнего цикла. Что-то вроде,

foreach(List<List<string>> fileNamesInChunk in GetFilesInChunk(directoryName)){
     foreach(var fileName in fileNamesInChunk){
     //Do the processing.
     }
     fileNamesInChunk.Clear(); //This would reduce the working set as you proceed.
}

Надеюсь, это поможет.