Мне нужно преобразовать данные из JSON в паркет как часть конвейера ETL. В настоящее время я делаю это с помощью метода from_pandas pyarrow.Table . Однако сначала создание фрейма данных кажется ненужным шагом, к тому же я бы хотел избежать...

Насколько я понимаю, паркетные файлы имеют минимальную / максимальную статистику для столбцов. мой вопрос в том, как читать эту статистику с помощью python, не читая весь файл? Если поможет, у меня также есть файлы _common_metadata и _metadata...

Используя AWS Firehose, конвертирую входящие записи в паркет. В одном примере у меня есть 150 тысяч идентичных записей, поступающих в пожарный шланг, и один паркет размером 30 килобайт записывается в s3. Из-за того, как firehose разделяет данные, у...

Я использую Pants для создания файла .pex для своего проекта. Мой файл сборки имеет зависимость от pyarrow с использованием сторонней логики: «3rdparty/python: pyarrow». Pants собирает pyarrow с использованием библиотек C++ и Python, у меня pyarrow...

Я хочу получить доступ к файлам паркета в HDFS и использовать библиотеку arrow . Однако мне нужно знать, какие еще зависимости необходимо установить на стороне клиента? Например, на следующей странице объясняется, какие зависимости необходимы для...

Я пытаюсь сделать что-то вроде этого , читая список файлов из корзины S3 в таблицу pyarrow. Если я укажу имя файла, я могу сделать: from pyarrow.parquet import ParquetDataset import s3fs dataset = ParquetDataset(...

Я хочу сохранить DataFrame pandas на паркет, но у меня есть некоторые неподдерживаемые типы (например, bson ObjectIds). В примерах мы используем: import pandas as pd import pyarrow as pa Вот минимальный пример, показывающий ситуацию:...

У меня есть разделенный набор данных паркета, который я пытаюсь прочитать в фреймворке pandas. Полный набор данных паркета не помещается в память, поэтому мне нужно выбрать только некоторые разделы (столбцы раздела - Год, Месяц и Дата. У меня есть...

У меня есть сотни файлов паркета, я хочу получить имя столбца и связанный с ним тип данных в список в Python. Я знаю, что могу получить схему, она представлена ​​в таком формате: COL_1: string -- field metadata -- PARQUET:field_id: '34'...

Мне нужно запустить несколько тестов в разных средах. В тестах я должен проверить некоторые каталоги в s3, чтобы найти файлы паркета и перенести их в словарь, как это import pyarrow.parquet as pq import s3fs env = 'dev' aws_profile ={'dev':...

У меня есть фреймворк Pandas со столбцом, содержащим список dict / структур. Один из ключей ( thing в примере ниже) может иметь значение, которое является либо int, либо строкой. Есть ли способ определить тип PyArrow, который позволит преобразовать...

Я надеюсь, что некоторые из вас найдут немного времени, чтобы помочь новичку вроде меня. Я работаю над этой задачей всю неделю и не могу найти решения. Я понимаю и полностью согласен с тем, что мне нужно изучить каждый используемый мной пакет и их...

У меня есть метка времени 9999-12-31 23:59:59 , хранящаяся в файле паркета как int96. Я прочитал этот паркетный файл с помощью pyarrow.dataset и преобразовал полученную таблицу в фрейм данных pandas (используя pyarrow.Table.to_pandas ())....

У меня возникла проблема с импортом pyarrow в блокнот Jupyter. Чтобы дать некоторый контекст, я создал виртуальную среду с именем rc_env. Я удалял и переустанавливал pyarrow несколько раз, но это сообщение, которое я получил, когда недавно...