Как я могу вставить 10 миллионов записей в кратчайшие сроки?

using System.Collections;
using System.Data;
using System.Data.SqlClient;
using System.IO;
using Microsoft.SqlServer.Server;

private static IEnumerable<SqlDataRecord> GetFileContents()
{
   SqlMetaData[] _TvpSchema = new SqlMetaData[] {
      new SqlMetaData("Field", SqlDbType.VarChar, SqlMetaData.Max)
   };
   SqlDataRecord _DataRecord = new SqlDataRecord(_TvpSchema);
   StreamReader _FileReader = null;

   try
   {
      _FileReader = new StreamReader("{filePath}");

      // read a row, send a row
      while (!_FileReader.EndOfStream)
      {
         // You shouldn't need to call "_DataRecord = new SqlDataRecord" as
         // SQL Server already received the row when "yield return" was called.
         // Unlike BCP and BULK INSERT, you have the option here to create a string
         // call ReadLine() into the string, do manipulation(s) / validation(s) on
         // the string, then pass that string into SetString() or discard if invalid.
         _DataRecord.SetString(0, _FileReader.ReadLine());
         yield return _DataRecord;
      }
   }
   finally
   {
      _FileReader.Close();
   }
}

Вышеуказанный метод GetFileContents используется в качестве значения входного параметра для хранимой процедуры, как показано ниже:

public static void test()
{
   SqlConnection _Connection = new SqlConnection("{connection string}");
   SqlCommand _Command = new SqlCommand("ImportData", _Connection);
   _Command.CommandType = CommandType.StoredProcedure;

   SqlParameter _TVParam = new SqlParameter();
   _TVParam.ParameterName = "@ImportTable";
   _TVParam.TypeName = "dbo.ImportStructure";
   _TVParam.SqlDbType = SqlDbType.Structured;
   _TVParam.Value = GetFileContents(); // return value of the method is streamed data
   _Command.Parameters.Add(_TVParam);

   try
   {
      _Connection.Open();

      _Command.ExecuteNonQuery();
   }
   finally
   {
      _Connection.Close();
   }

   return;
}

Дополнительные замечания:

1. С некоторыми изменениями приведенный выше код C # может быть адаптирован для пакетной обработки данных.
2. С небольшими изменениями приведенный выше код C # можно адаптировать для отправки в нескольких полях (пример, показанный в статье «Обработка данных ...», ссылка на которую приведена выше, проходит в 2-х полях).
3. Вы также можете управлять значением каждой записи в операторе SELECT в файле proc.
4. Вы также можете отфильтровать строки, используя условие WHERE в proc.
5. Вы можете получить доступ к переменной таблицы TVP несколько раз; это ТОЛЬКО ЧТЕНИЕ, но не "только вперед".
6. Advantages over SqlBulkCopy:
   1. SqlBulkCopy is INSERT-only whereas using a TVP allows the data to be used in any fashion: you can call MERGE; you can DELETE based on some condition; you can split the data into multiple tables; and so on.
   2. Поскольку TVP не поддерживает только INSERT, вам не нужна отдельная промежуточная таблица для выгрузки данных.
   3. Вы можете получить данные из базы данных, позвонив ExecuteReader вместо ExecuteNonQuery. Например, если в таблице импорта DATAs было поле IDENTITY, вы могли бы добавить предложение OUTPUT в INSERT для передачи обратно INSERTED.[ID] (при условии, что ID - это имя поля IDENTITY). Или вы можете передать результаты совершенно другого запроса, или и то, и другое, поскольку несколько наборов результатов могут быть отправлены и доступны через Reader.NextResult(). Получение информации из базы данных невозможно при использовании SqlBulkCopy, однако здесь есть несколько вопросов, касающихся S.O. людей, желающих сделать именно это (по крайней мере, в отношении недавно созданных IDENTITY значений).
   4. Для получения дополнительной информации о том, почему иногда это происходит быстрее для всего процесса, даже если получение данных с диска в SQL Server немного медленнее, см. Этот технический документ от группы консультирования клиентов SQL Server: Увеличение пропускной способности с помощью TVP