Вопросы по теме 'hdf'
Создание ссылки на набор данных HDF в H5py с использованием astype
Из документов h5py я вижу, что могу транслировать набор данных HDF в качестве другого типа с использованием метода astype для наборов данных. Это возвращает диспетчер контекста, который выполняет преобразование на лету.
Однако я хотел бы...
1462 просмотров
schedule
30.01.2023
Панды - оптимальная стратегия сохранения для максимальной степени сжатия?
Вопрос
Учитывая большую серию DataFrames с небольшим разнообразием dtypes, какова оптимальная конструкция для сохранения/сериализации Pandas DataFrame, если мне важна степень сжатия в первую очередь, скорость распаковки во вторую и начальная...
1494 просмотров
schedule
03.05.2023
Компиляция программы с использованием gfortran и библиотеки HDF-EOS2
У меня проблема с подключением библиотеки HDF-EOS к программе Fortran90. Я скомпилировал библиотеку из исходного кода в каталог, указанный в префиксе $. Моя простая команда компиляции:
gfortran -I$prefix/include -L$prefix/lib -Wl,-rpath...
406 просмотров
schedule
12.10.2023
Использование std::string в hdf5 создает нечитаемый вывод
В настоящее время я использую hdf5 1.8.15 в 64-разрядной версии Windows 7. Исходный код моего программного обеспечения сохраняется в файлах с использованием кодировки utf8.
Как только я вызываю любую функцию hdf5, поддерживающую std::string, вывод...
551 просмотров
schedule
31.07.2022
Как записать список/массив пользовательских типов в файл HDF5?
Мне нужно записать некоторые данные в файл HDF5 с помощью С#. Я не привязан к какой-либо конкретной библиотеке, но единственная доступная библиотека, которую я смог найти, это HDF5DotNet ( http://hdf5.net/ ). У меня есть простой класс, содержащий...
1062 просмотров
schedule
18.05.2022
Включено ли автоматическое разбиение по частям по умолчанию, когда сжатие GZIP используется в API HDF5 C++?
Я пишу файл HDF5, используя C++ HDF API, и выполняю несколько сравнений с библиотекой H5py Python.
В библиотеке H5py Python автоматическое разделение применяется по умолчанию, когда используется алгоритм сжатия, такой как GZIP или LZF....
168 просмотров
schedule
21.01.2024
Pandas: большие кадры данных в одном и том же HDF?
У меня есть несколько разных фреймов данных, которые связаны (и есть идентификаторы, чтобы присоединиться к ним, если это необходимо). Однако они не всегда нужны мне одновременно.
Так как они достаточно большие, есть ли смысл хранить их в...
86 просмотров
schedule
28.01.2024
Чтение файлов GlobSnow HDF4 в R
Я пытаюсь прочитать файлы .hdr в R. Файлы взяты из GlobSnow, их можно найти по адресу http://www.globsnow.info/swe/archive_v2.0/2013/L3A_daily_SWE_HDF/
Я использовал пакет gdalUtils, который работает с данными MODIS, но не работает с данными...
285 просмотров
schedule
11.08.2022
Могу ли я выполнить ленивое чтение с помощью h5py при нарезке с динамической осью?
У меня есть HDF5_generator, который возвращает такие данные:
for element_i in range(n_elements):
img = f['data'][:].take(indices=element_i, axis=element_axis)
yield img, label, weights
Я выполняю нарезку, потому что h5py, похоже, не...
629 просмотров
schedule
27.03.2023
Рабочий процесс разработки функций большого набора данных Python с использованием dask hdf / parquet
Об этом уже есть хороший вопрос в SO , но лучший ответ Сейчас ему 5 лет, поэтому я думаю, что в 2018 году должны быть варианты получше.
В настоящее время я ищу конвейер разработки функций для большего, чем набор данных памяти (с использованием...
579 просмотров
schedule
01.06.2022
Невозможно прочитать набор данных HDF4 с помощью pyhdf (pyhdf.error.HDF4Error: выберите: несуществующий набор данных)
Я пытаюсь прочитать файл HDF4 ( https://www.dropbox.com/s/5d40ukfsu0yupwl/MOD13A2.A2016001.h23v05.006.2016029070140.hdf?dl=0 ).
import os
import numpy as np
from pyhdf.SD import SD, SDC
# Open file.
FILE_NAME =...
1656 просмотров
schedule
14.11.2023
Блокировка файлов HDF с помощью h5py
У меня есть целая куча кода, взаимодействующего с файлами hdf через h5py. Код работает уже много лет. Недавно, с изменением среды Python, я получаю это новое сообщение об ошибке.
IOError: Unable to open file (unable to lock file, errno = 11,...
5086 просмотров
schedule
08.06.2023
Почему заархивированный файл HDF5 по-прежнему хорошо сжимается, даже если все наборы данных сжаты внутри файла?
Я использую файловую систему HDF5 в своем настольном приложении. Я использовал сжатие GZIP уровня 5 со всеми наборами данных внутри файла.
Но тем не менее, когда я сжимаю файл HDF5 с помощью 7zip, размер файла становится еще меньше примерно на...
1069 просмотров
schedule
07.10.2023
OverflowError при сохранении больших Pandas df в hdf
У меня есть большой кадр данных Pandas (~ 15 ГБ, 83 млн строк), который я хочу сохранить как файл h5 (или feather ). Один столбец содержит длинные строки идентификаторов чисел, которые должны иметь тип строки/объекта. Но даже когда я гарантирую,...
3164 просмотров
schedule
09.01.2023
Напишите файл VTK из адаптивного уточнения сетки с помощью Python.
Меня беспокоит следующее: у меня есть трехмерное магнитное поле B из адаптивного уточнения сетки, сохраненное и организованное в формате HDF. Теперь я хотел бы создать файл VTK, используя процедуру Python. Моя цель — представить это с помощью...
121 просмотров
schedule
14.10.2023