Сервер останавливается из-за большого экземпляра StringBuilder в памяти

Возвратите IEnumerable вместо большой строки или списка строк и запишите строку за раз в файл. Таким образом, вы можете лениво оценивать данные, поэтому вам не нужно хранить огромные строки. например

IEnumerable<string> Process() {
   var rows = QueryTheDatabase();
   foreach(var row in rows) {
      yield return ProcessARecord(row);//process and build a string of
                                         //one row
    }
 }

Вызывающий просто выполняет foreach для возвращаемого IEnumerable и записывает каждую строку в файл.

Мне определенно кажется, что вам было бы лучше записать большую часть данных прямо в файл - во что бы то ни стало писать строку за раз в StringBuilder, но затем записывать результирующую строку в файл, который вы в конечном итоге экспорт в. Это снизит использование памяти, и если вы используете StreamWriter, записи будут буферизованы, и производительность не должна заметно пострадать.

Вероятно, вы сталкиваетесь с проблемами фрагментации памяти. К этому приводит игра с ДЕЙСТВИТЕЛЬНО большими динамическими структурами данных в 32-битном мире. Лично я столкнулся с этим только со строкой в ​​300 МБ, но обычно я избегаю попадания в ситуацию, так что это не слишком много говорит.

Как уже говорили другие, разбейте его, чтобы у вас не было такой большой строки.

Используйте блок IEnumerable/итератор, а не список. Преобразование довольно простое: измените возвращаемый тип функции с List<string> на IEnumerable<string>, а затем, где бы вы ни вызывали метод .Add() вашего списка, измените строку, чтобы вместо этого использовать yield return. Затем также измените свой другой класс, чтобы он принимал IEnumerable<string>, а не List<string>. Возможно, вам придется сделать аналогичное преобразование и для других методов, чтобы вся цепочка из базы данных обрабатывалась таким образом.

Что это будет делать, так это сделать так, чтобы вы сохраняли в памяти только одну запись за раз. Каждая запись будет преобразована в строку и обработана вашим методом вывода на лету.