Вопросы по теме 'hdf'

Создание ссылки на набор данных HDF в H5py с использованием astype
Из документов h5py я вижу, что могу транслировать набор данных HDF в качестве другого типа с использованием метода astype для наборов данных. Это возвращает диспетчер контекста, который выполняет преобразование на лету. Однако я хотел бы...
1462 просмотров
schedule 30.01.2023

Панды - оптимальная стратегия сохранения для максимальной степени сжатия?
Вопрос Учитывая большую серию DataFrames с небольшим разнообразием dtypes, какова оптимальная конструкция для сохранения/сериализации Pandas DataFrame, если мне важна степень сжатия в первую очередь, скорость распаковки во вторую и начальная...
1494 просмотров
schedule 03.05.2023

Компиляция программы с использованием gfortran и библиотеки HDF-EOS2
У меня проблема с подключением библиотеки HDF-EOS к программе Fortran90. Я скомпилировал библиотеку из исходного кода в каталог, указанный в префиксе $. Моя простая команда компиляции: gfortran -I$prefix/include -L$prefix/lib -Wl,-rpath...
406 просмотров
schedule 12.10.2023

Использование std::string в hdf5 создает нечитаемый вывод
В настоящее время я использую hdf5 1.8.15 в 64-разрядной версии Windows 7. Исходный код моего программного обеспечения сохраняется в файлах с использованием кодировки utf8. Как только я вызываю любую функцию hdf5, поддерживающую std::string, вывод...
551 просмотров
schedule 31.07.2022

Как записать список/массив пользовательских типов в файл HDF5?
Мне нужно записать некоторые данные в файл HDF5 с помощью С#. Я не привязан к какой-либо конкретной библиотеке, но единственная доступная библиотека, которую я смог найти, это HDF5DotNet ( http://hdf5.net/ ). У меня есть простой класс, содержащий...
1062 просмотров
schedule 18.05.2022

Включено ли автоматическое разбиение по частям по умолчанию, когда сжатие GZIP используется в API HDF5 C++?
Я пишу файл HDF5, используя C++ HDF API, и выполняю несколько сравнений с библиотекой H5py Python. В библиотеке H5py Python автоматическое разделение применяется по умолчанию, когда используется алгоритм сжатия, такой как GZIP или LZF....
168 просмотров
schedule 21.01.2024

Pandas: большие кадры данных в одном и том же HDF?
У меня есть несколько разных фреймов данных, которые связаны (и есть идентификаторы, чтобы присоединиться к ним, если это необходимо). Однако они не всегда нужны мне одновременно. Так как они достаточно большие, есть ли смысл хранить их в...
86 просмотров
schedule 28.01.2024

Чтение файлов GlobSnow HDF4 в R
Я пытаюсь прочитать файлы .hdr в R. Файлы взяты из GlobSnow, их можно найти по адресу http://www.globsnow.info/swe/archive_v2.0/2013/L3A_daily_SWE_HDF/ Я использовал пакет gdalUtils, который работает с данными MODIS, но не работает с данными...
285 просмотров
schedule 11.08.2022

Могу ли я выполнить ленивое чтение с помощью h5py при нарезке с динамической осью?
У меня есть HDF5_generator, который возвращает такие данные: for element_i in range(n_elements): img = f['data'][:].take(indices=element_i, axis=element_axis) yield img, label, weights Я выполняю нарезку, потому что h5py, похоже, не...
629 просмотров
schedule 27.03.2023

Рабочий процесс разработки функций большого набора данных Python с использованием dask hdf / parquet
Об этом уже есть хороший вопрос в SO , но лучший ответ Сейчас ему 5 лет, поэтому я думаю, что в 2018 году должны быть варианты получше. В настоящее время я ищу конвейер разработки функций для большего, чем набор данных памяти (с использованием...
579 просмотров
schedule 01.06.2022

Невозможно прочитать набор данных HDF4 с помощью pyhdf (pyhdf.error.HDF4Error: выберите: несуществующий набор данных)
Я пытаюсь прочитать файл HDF4 ( https://www.dropbox.com/s/5d40ukfsu0yupwl/MOD13A2.A2016001.h23v05.006.2016029070140.hdf?dl=0 ). import os import numpy as np from pyhdf.SD import SD, SDC # Open file. FILE_NAME =...
1656 просмотров
schedule 14.11.2023

Блокировка файлов HDF с помощью h5py
У меня есть целая куча кода, взаимодействующего с файлами hdf через h5py. Код работает уже много лет. Недавно, с изменением среды Python, я получаю это новое сообщение об ошибке. IOError: Unable to open file (unable to lock file, errno = 11,...
5086 просмотров
schedule 08.06.2023

Почему заархивированный файл HDF5 по-прежнему хорошо сжимается, даже если все наборы данных сжаты внутри файла?
Я использую файловую систему HDF5 в своем настольном приложении. Я использовал сжатие GZIP уровня 5 со всеми наборами данных внутри файла. Но тем не менее, когда я сжимаю файл HDF5 с помощью 7zip, размер файла становится еще меньше примерно на...
1069 просмотров
schedule 07.10.2023

OverflowError при сохранении больших Pandas df в hdf
У меня есть большой кадр данных Pandas (~ 15 ГБ, 83 млн строк), который я хочу сохранить как файл h5 (или feather ). Один столбец содержит длинные строки идентификаторов чисел, которые должны иметь тип строки/объекта. Но даже когда я гарантирую,...
3164 просмотров
schedule 09.01.2023

Напишите файл VTK из адаптивного уточнения сетки с помощью Python.
Меня беспокоит следующее: у меня есть трехмерное магнитное поле B из адаптивного уточнения сетки, сохраненное и организованное в формате HDF. Теперь я хотел бы создать файл VTK, используя процедуру Python. Моя цель — представить это с помощью...
121 просмотров
schedule 14.10.2023