Как ускорить процесс файла CSV? (5 миллионов и более записей)

читать запись по одной и вставлять в базу данных

Прочитайте их партиями и вставьте их партиями.

Воспользуйтесь профилировщиком — узнайте, куда уходит время.

Если не считать настоящего профилировщика, попробуйте следующее:

• Время, сколько времени требуется, чтобы просто прочитать файлы построчно, ничего с ними не делая
• Возьмите образец строки и засеките, сколько времени потребуется, чтобы просто разобрать ее и выполнить любую необходимую обработку, 5+ миллионов раз.
• Генерировать случайные данные и вставлять их в базу данных, и время,

Я предполагаю, что база данных будет узким местом. Вам следует подумать о пакетной вставке - если вы вставляете только одну запись за раз, это, вероятно, будет намного медленнее, чем пакетная вставка.

Я делал много таких приложений в прошлом, и есть несколько способов оптимизации.

1. Убедитесь, что код, который вы пишете, правильно управляет памятью, с чем-то вроде этого одна небольшая ошибка может замедлить процесс до сканирования.

2. Подумайте о написании вызовов базы данных как асинхронных, так как это может быть узким местом, поэтому небольшая очередь может быть в порядке.

3. Рассмотрите возможность удаления индексов, выполнения импорта, а затем повторного импорта.

4. Рассмотрите возможность использования SSIS для импорта, он уже оптимизирован и делает такие вещи из коробки.

Почему бы просто не вставить эти данные непосредственно в базу данных SQL Server с помощью Microsoft SQL Server Management Studio или командной строки — SQLCMD? Он знает, как обрабатывать файлы CVC.

Для свойства BulkInsert в вашей базе данных должно быть установлено значение True.

Если его необходимо изменить, вы можете вставить его во временную таблицу, а затем применить свои изменения с помощью T-SQL.

Лучше всего было бы попробовать использовать профилировщик с относительно небольшой выборкой — это могло бы определить, где находятся фактические задержки.

Загрузите его в память, а затем вставьте в БД. 5 миллионов строк не должны напрягать вашу память. Проблема в том, что вы, по сути, перегружаете свой диск - как читаете CSV, так и записываете в БД.

Я бы ускорил его так же, как ускорил бы что угодно: запустив его через профилировщик и выяснив, что занимает больше всего времени.

Совершенно невозможно угадать, в чем здесь узкое место — может быть, в коде, который анализирует файл CSV, есть ошибка, что приводит к полиномиальному времени выполнения? Может быть, для обработки каждой строки используется какая-то очень сложная логика? Кто знает!

Кроме того, для «рекорда» 5 миллионов строк не НАСТОЛЬКО тяжелы — мне пришла в голову догадка, что разумная программа должна быть в состоянии обработать это за полчаса, а хорошая программа гораздо меньше.

Наконец, если вы обнаружите, что база данных является вашим узким местом, проверьте, фиксируется ли транзакция после каждой вставки. Это может привести к некоторому нетривиальному замедлению...

Не уверен, что ты с ними делаешь, но думал ли ты о perl? Недавно я переписал vb-скрипт, который делал что-то похожее — обрабатывал тысячи записей — и время увеличилось с часа для vb-скрипта до 15 секунд для perl.

После чтения всех записей из файла (я бы прочитал весь файл за один проход или по блокам), затем используйте класс SqlBulkCopy для импорта ваших записей в БД. Насколько я знаю, SqlBulkCopy — это быстрый подход к импорту блока записей. В Интернете есть несколько учебных пособий.

Как предлагали другие, сначала профилируйте приложение.

Тем не менее, вы, вероятно, выиграете от пакетных вставок. Так было с одним приложением, с которым я работал, и оно оказало большое влияние.

Учтите, что 5 миллионов циклов — это много, особенно если каждый из них предназначен для простой вставки.

В аналогичной ситуации мы увидели значительное улучшение производительности при переходе от вставки по одной строке за раз к использованию SqlBulkCopy API.

Есть хорошая статья здесь.

Вам необходимо выполнить массовую загрузку данных в базу данных, если у нее есть такая возможность. В Sql Server вы будете смотреть на BCP, DTS или SSIS — BCP является самым старым, но, возможно, самым быстрым. OTOH, если это невозможно в вашей БД, отключите все индексы перед запуском, я предполагаю, что проблемы вызывает БД, а не код .Net.