Проблемы с производительностью при чтении жесткого диска

1) Windows кэширует недавно прочитанные файлы в памяти. Книга Внутреннее устройство Windows содержит прекрасное описание того, как это работает. В современных версиях Windows также используется технология SuperFetch, которая пытается упреждающе извлечь содержимое диска в память на основе истории использования, и ReadyBoost, который может кэшировать на флэш-накопитель, что обеспечивает более быстрый произвольный доступ. Все это увеличит скорость доступа к данным с диска после первоначального запуска.

2) Каталог действительно не влияет на расположение на диске. Дефрагментация вашего диска сгруппирует данные файла вместе. Windows Vista и выше автоматически произведет дефрагментацию вашего диска. В идеале вы хотите выполнять большие последовательные чтения и минимизировать количество операций записи. Небольшие произвольные доступы и чередование операций записи и чтения значительно снижают производительность. Вы можете использовать Windows Performance Toolkit для профилирования доступа к диску.

Кажется, на ваши пронумерованные вопросы уже есть ответы. Если вам все еще интересно, что вы можете сделать, чтобы улучшить скорость чтения с жесткого диска, вот несколько советов:

• Если возможно, читайте с помощью функций ОС (например, ReadFile), а не библиотек-оболочек (например, iostreams или stdio). Многие оболочки вводят дополнительные уровни буферизации.
• Читайте последовательно и сообщите Windows, что вы собираетесь читать последовательно, с помощью флага FILE_FLAG_SEQUENTIAL_SCAN.
• Если вы собираетесь только читать (а не писать), обязательно откройте файл только для чтения.
• Читать порциями, а не байтами или символами.
• В идеале куски должны быть кратны размеру кластера диска.
• Чтение с диска по смещениям, выровненным по кластеру.
• Читайте в память на границах страницы. (Если вы выделяете большой кусок, он, вероятно, выровнен по странице.)
• Расширенный: если вы можете начать свои вычисления после чтения только начала файла, то вы можете использовать перекрывающийся ввод-вывод, чтобы попытаться максимально распараллелить вычисления и последующие чтения.

Да, Windows (и большинство современных ОС) хранит недавно прочитанные данные файла в неиспользуемой ОЗУ, поэтому, если эти данные файла будут снова запрошены в ближайшем будущем, они уже будут доступны в ОЗУ, и доступа к диску можно избежать.

Что касается ускорения доступа к диску, вы можете попробовать дефрагментировать свой диск, но я не ожидаю, что это слишком сильно поможет. Доступ к диску просто медленный по сравнению с доступом к ОЗУ, поэтому кэширование ОЗУ обеспечивает такое хорошее ускорение.

Можете ли вы в качестве диагностического теста точно измерить время, необходимое для первой загрузки?

Затем возьмите это, чтобы определить скорость передачи. Затем вы можете взять эту скорость передачи и сравнить ее с тем, что вы получаете при запуске HD Tune. Что бы это ни стоило, я запустил это сам и получил минимальную скорость 44,2 МБ/с, среднюю 87 МБ/с, максимальную скорость чтения 110 МБ/с с моим диском Western Digital RE3 (один из самых быстрых доступных дисков SATA со скоростью 7200 об/мин).

Смысл всего этого в том, чтобы увидеть, делает ли ваше собственное приложение все возможное. Другими словами, помимо кэширования, вы не сможете читать файлы быстрее, чем ваш жесткий диск. Так что, если вы достигли этого предела, вам больше нечего делать.

Кроме того, убедитесь, что у вас не заканчивается память во время тестов. Запустите perfmon и отслеживайте «Память» > «Доступные байты» и «Физический диск» > «Чтение диска в байтах/сек» для физического диска, который вы читаете. Мониторинг процесса ввода/вывода также является хорошей идеей. Имейте в виду, что последний объединяет все операции ввода-вывода (включая сеть).

Вы должны ожидать 50 МБ/с для последовательного чтения с одного среднего диска SATA. Пара хороших чередующихся последовательных SCSI-дисков даст вам около 220 МБ/с. Если вы видите, что доступная память приближается к нулю, это будет вашей проблемой. Если он остается ровным после того, как вы сделали первый раунд чтения, значит, это как-то связано с вашим приложением.

Для дефрагментации одного файла на диск или создать новый нефрагментированный файл.

Что касается сумасшедшего ответа, вы можете попробовать отформатировать диск так, чтобы ваша информация помещалась в самую быструю часть, и посмотреть, поможет ли это.

У Tom's Hardware есть обзор того, как это может быть Выполнено.