Мы используем Spark для выравнивания данных потока посещений, а затем записываем то же самое в S3 в формате ORC+zlib. Я пытался изменить многие настройки в Spark, но все же результирующие размеры полос создаваемого файла ORC очень малы (‹2 МБ).
Вещи, которые я пробовал до сих пор, чтобы уменьшить размер полосы,
Раньше каждый файл был размером 20 МБ, используя объединение, я теперь создаю файлы размером 250-300 МБ, но все еще есть 200 полос на файл, т.е. каждая полоса ‹2 МБ
Попытался использовать hivecontext вместо sparkcontext, установив для hive.exec.orc.default.stripe.size значение 67108864, но spark не учитывает эти параметры.
Итак, любая идея о том, как я могу увеличить размер полосы создаваемых файлов ORC? потому что проблема с маленькими полосами заключается в том, что когда мы запрашиваем эти файлы ORC с помощью Presto и когда размер полосы меньше 8 МБ, Presto будет читать весь файл данных вместо выбранных полей в запросе.
Тема, связанная с проблемой Presto Stripe: https://groups.google.com/forum/#!topic/presto-users/7NcrFvGpPaA
