Мне нужно загрузить один столбец строк из таблицы на SqlServer в массив в памяти с помощью С#. Есть ли более быстрый способ, чем открыть SqlDataReader и пройти через него. Таблица большая и время критично.
РЕДАКТИРОВАТЬ Я пытаюсь создать .dll и использовать его на сервере для некоторых операций с базой данных. Но это пока медленно. Если это быстрее, чем мне придется перепроектировать базу данных. Я думаю, может быть какое-то решение, как ускорить процесс.
Считыватель данных
Самый быстрый доступ к SQL вы получите с SqlDataReader.
Профиль
На самом деле стоит профилировать, где ваша проблема с производительностью. Обычно, когда вы думаете, что проблема с производительностью, оказывается совершенно неправильной после того, как вы ее профилируете.
Например, это может быть:
Профилирование каждого из них по отдельности даст вам лучшее представление о том, где находится узкое место. Для профилирования вашего кода есть отличная статья от Microsoft
Кэшировать
Чтобы повысить производительность, нужно обратить внимание на то, если вам нужно каждый раз загружать все эти данные. Можно ли кэшировать список (или его часть)? Взгляните на новую System.Runtime. Кэширование пространства имен.
Переписать как T-SQL
Если вы выполняете исключительно операции с данными (как предполагает ваш вопрос), вы можете переписать свой код, который использует данные, чтобы быть T-SQL и работать изначально на SQL. Это может быть намного быстрее, так как вы будете работать с данными напрямую, а не перемещать их.
Если в вашем коде много необходимой процедурной логики, вы можете попробовать смешать T-SQL с Интеграция с CLR дает вам преимущества обоих миров.
Это во многом сводится к сложности (или более процедурному характеру) вашей логики.
Если ничего не помогает
Если все области оптимальны (или близки к ним), а ваш дизайн безупречен. Я бы даже не стал заниматься микрооптимизацией, я бы просто добавьте к этому оборудование.
Какое оборудование? Воспользуйтесь монитором надежности и производительности, чтобы узнать, где горлышко бутылки есть. Наиболее вероятное место описанной вами проблемы HDD или RAM.
Если SqlDataReader недостаточно быстр, возможно, вам следует хранить свои данные в другом месте, например в кеше (в памяти).
Нет. На самом деле это не только самый быстрый способ - это ЕДИНСТВЕННЫЙ (!) способ. Все остальные механизмы ВНУТРЕННЕ в любом случае используют DataReader.
Я подозреваю, что SqlDataReader почти так же хорош, как и вы.
SqlDataReader — самый быстрый способ. Убедитесь, что вы используете методы получения по порядковому номеру, а не по имени столбца. например ПолучитьСтроку(1);
Также стоит поэкспериментировать с MinPoolSize в строке подключения, чтобы в пуле всегда были какие-то подключения.
SqlDataReader будет самым быстрым способом. Оптимизируйте его использование, используя соответствующий метод Getxxx, который принимает порядковый номер в качестве параметра.
Если это недостаточно быстро, посмотрите, можете ли вы настроить свой запрос. Поместите покрывающий индекс в столбцы, которые вы хотите получить. Таким образом, Sql Server должен только прочитать индекс, и ему не нужно напрямую обращаться к таблице, чтобы получить всю необходимую информацию.
Как насчет преобразования одного столбца строк в один ряд столбцов и чтения только одной строки? SqlDataReader имеет оптимизацию для чтения одной строки (System.Data.CommandBehavior.SingleRow аргумент ExecuteReader), поэтому, возможно, это может немного повысить скорость.
Я вижу несколько преимуществ:
reader[0]),reader) в другой может быть быстрее, чем перебор элементов и добавление каждого из них в новый массив.С другой стороны, у него есть недостаток — заставить базу данных SQL выполнять больше работы.
«Предоставляет способ чтения прямого потока строк из базы данных SQL Server». Это использование SqlDataReader из MSDN. Структура данных за SqlDataReder допускает только прямое чтение, она оптимизирована для чтения данных в одном направлении. На мой взгляд, я хочу использовать SqlDataReader, а не DataSet для простого чтения данных.
У вас есть 4 набора накладных расходов — доступ к диску — код .net (процессор) — код сервера SQL (процессор) — время переключения между управляемым и неуправляемым кодом (процессор)
Во-первых, это
select * where column = “junk”
достаточно быстро для вас, если не единственное решение, чтобы сделать диск быстрее. (Вы можете получить данные из SQL Server быстрее, чем он сможет их прочитать)
Возможно, вы сможете определить функцию Sql Server на С#, а затем запустить функцию по столбцу; жаль не знаю как это сделать. Это может быть быстрее, чем считыватель данных.
Если у вас более одного процессора и вы знаете значение в середине таблицы, вы можете попробовать использовать более одного потока.
Вы можете написать некоторый TSQL, который объединяет все строки в одну строку, используя разделитель, который, как вы знаете, безопасен. Затем снова разделите строку на С#. Это уменьшит количество циклов обмена между управляемым и неуправляемым кодом.
Некоторые вещи поверхностного уровня, которые могут повлиять на скорость (кроме чтения данных):
Просто случайные мысли. Не знаю, что может помочь в вашей ситуации.
Если при загрузке большого объема данных возникает проблема с реагированием, рассмотрите возможность использования асинхронных методов — BeginReader.
Я использую это все время для заполнения больших элементов графического интерфейса в фоновом режиме, в то время как приложение продолжает реагировать.
Вы не сказали точно, насколько велики эти данные или почему вы загружаете их все в массив.
Часто для больших объемов данных вы можете оставить их в базе данных или позволить базе данных сделать всю тяжелую работу. Но нам нужно знать, какую обработку вы выполняете, которая требует всего этого в массиве одновременно.
