сохранение кадра данных dask в формате bcolz

В документации dask говорится: «BColz — это дисковое, фрагментированное, сжатое хранилище столбцов. Эти атрибуты делают его очень привлекательным для dask.dataframe, который может работать с ним особенно хорошо. Существует специальная функция from_bcolz».

Однако я не смог найти пример того, как сохранить кадр данных dask в bcolz. Каков рекомендуемый способ сделать это?


person Someone    schedule 11.07.2016    source источник
comment
возможным решением может быть преобразование кадра данных dask в массив dask, как описано здесь (stackoverflow.com/q/37444943/5082048) и сохраните его как bcolz, как описано здесь (dask.pydata.org/en/latest/array-creation.html#store-dask-arrays)   -  person Someone    schedule 12.07.2016


Ответы (1)


Я создал запрос на извлечение, чтобы реализовать это. Пока он не будет объединен с основной веткой, вы можете найти его здесь:

https://github.com/dask/dask/pull/1386

Если вы не хотите редактировать свою собственную реализацию Dask, вы можете просто скопировать метод to_bcolz.

person Simon Kamronn    schedule 18.07.2016