Я получаю эту рекомендацию от Azure Synapse.
Подробная информация о рекомендации Мы обнаружили, что вы можете увеличить пропускную способность, разделив сжатые файлы, которые хранятся в вашей учетной записи хранения. Хорошее практическое правило - разделить сжатые файлы на 60 или более, чтобы максимизировать параллелизм вашей загрузки. Подробнее…
Глядя на документацию Azure, это рекомендация.
Preparing data in Azure Storage
To minimize latency, colocate your storage layer and your SQL pool.
When exporting data into an ORC File Format, you might get Java out-of-memory errors when there are large text columns. To work around this limitation, export only a subset of the columns.
All file formats have different performance characteristics. For the fastest load, use compressed delimited text files. The difference between UTF-8 and UTF-16 performance is minimal.
Split large compressed files into smaller compressed files.
Я пытаюсь понять, как я могу разделить большие файлы сжатия на более мелкие файлы сжатия? Есть ли для этого возможность? Спасибо!
