Как преобразовать сжатые файлы без заголовков, файлы с разделителями, хранящиеся в S3, в паркет с помощью AWS Glue

1) Создайте таблицу athena, указывающую ваши данные на S3:

Создать внешнюю таблицу на Афине

2) Создайте динамический фрейм из каталога клея, используя таблицу, созданную вами на предыдущем шаге.

from awsglue.context import GlueContext
glueContext = GlueContext(SparkContext.getOrCreate())
DyF = glueContext.create_dynamic_frame.from_catalog(database="{{database}}", table_name="{{table_name}}")

3) Запишите данные обратно в новое место S3 в любом формате, который вам нравится:

glueContext.write_dynamic_frame.from_options(
   frame = DyF,
   connection_type = "s3",
   connection_options = {"path": "path to new s3 location"},
   format = "parquet")

4) Создайте таблицу athena, указав ваши паркетные данные на S3:

Создать внешнюю таблицу на Афине

Примечание: вместо того, чтобы создавать таблицу athena вручную, вы также можете использовать поисковый робот, чтобы создать ее для вас. Однако это повлечет за собой некоторые расходы.