Вопросы по теме 'h5py'
Как мне заполнить n-мерный массив в HDF5 из одномерного источника?
У меня есть массив с несколькими измерениями (x, y, каналы, z, временные шаги). Однако необработанные данные хранятся в изображении TIFF как единый стек из (x, y, каналов) с кадрами временных шагов z *.
Наконец, функция Image.getdata () Pillow...
627 просмотров
schedule
24.06.2022
Храните дату и время в HDF5 с помощью H5Py
Как я могу хранить объекты даты и времени NumPy в HDF5, используя h5py ?
In [1]: import h5py
In [2]: import numpy as np
In [3]: f = h5py.File('foo.hdfs', 'w')
In [4]: d = f.create_dataset('data', shape=(2, 2), dtype=np.datetime64)
TypeError:...
7085 просмотров
schedule
12.11.2022
Создание ссылки на набор данных HDF в H5py с использованием astype
Из документов h5py я вижу, что могу транслировать набор данных HDF в качестве другого типа с использованием метода astype для наборов данных. Это возвращает диспетчер контекста, который выполняет преобразование на лету.
Однако я хотел бы...
1462 просмотров
schedule
30.01.2023
Запись / чтение больших файлов с HDF5 и MPI с использованием 1 процесса из Python
При записи большого набора данных в файл с использованием параллельного HDF5 через h5py и mpi4py (и вполне возможно также при использовании HDF5 и MPI непосредственно из C), я получаю следующую ошибку при использовании драйвера mpio с одним процессом:...
1125 просмотров
schedule
14.09.2023
Как преобразовать этот тип данных «ссылка на объект hdf5» во что-то более читаемое в python?
У меня довольно большой набор данных. Вся информация хранится в файле формата hdf5. Я нашел библиотеку h5py для Python. Все работает исправно, кроме
[<HDF5 object reference>]
Я понятия не имею, как преобразовать его во что-то более...
12546 просмотров
schedule
02.10.2023
Можно ли выполнять параллельное чтение одного файла h5py с использованием многопроцессорной обработки?
Я пытаюсь ускорить процесс чтения фрагментов (загрузить их в оперативную память) из файла набора данных h5py. Прямо сейчас я пытаюсь сделать это через библиотеку многопроцессорности.
pool = mp.Pool(NUM_PROCESSES)
gen = pool.imap(loader, indices)...
6742 просмотров
schedule
16.10.2022
Создание большого количества наборов данных с помощью h5py — невозможно зарегистрировать атом типа данных (невозможно вставить повторяющийся ключ)
Я пытаюсь сохранить большое количество структурированных массивов numpy в виде наборов данных в файле hdf5. Например, f['дерево1'] = структурированный_массив1 . . f['tree60000'] = структурированный_массив60000 (всего ~60000 деревьев),...
894 просмотров
schedule
11.03.2024
Как передать регулярное выражение методу, для которого требуется строка?
То, чего я хочу добиться, основано на проголосовавшем ответе на предыдущий вопрос: Проверьте, существует ли узел в h5py
В основном я хочу заменить:
"/some/path" in h5File
с чем-то вроде:
import re
re.compile(r'/some/[pattern]+') in...
78 просмотров
schedule
09.08.2022
Удалить подгруппу из файла HDF5 в Python
Я пытаюсь удалить подгруппу, которую я написал в файле HDF5, используя h5py в Python. Например, согласно документации, подгруппу под названием «MyDataset» можно удалить с помощью:
del subgroup["MyDataset"]
Я сделал это, и фактически...
1916 просмотров
schedule
23.05.2022
Очередь входных данных с помощью tensorflow или skflow
Я тренирую нейронную сеть с DataFeeder , которая немного медленная (потому что она читает несмежные данные из файла h5); поэтому GPU бездействует (GPU-Util равен 0%) половину времени.
Есть ли способ, как в TensorFlow, так и в skflow, запустить...
383 просмотров
schedule
31.12.2023
Открытие файла мата с помощью h5py и преобразование данных в матрицу numpy
У меня есть файл мата, который содержит 2 разные ячейки, содержащие матрицы разного размера. Мне нужно преобразовать эти данные в массив numpy, используя h5py для эксперимента (я новичок в h5py. Я думал, что это так же просто, как объясняется здесь...
1651 просмотров
schedule
24.05.2023
Включено ли автоматическое разбиение по частям по умолчанию, когда сжатие GZIP используется в API HDF5 C++?
Я пишу файл HDF5, используя C++ HDF API, и выполняю несколько сравнений с библиотекой H5py Python.
В библиотеке H5py Python автоматическое разделение применяется по умолчанию, когда используется алгоритм сжатия, такой как GZIP или LZF....
168 просмотров
schedule
21.01.2024
Как проверить файл .h5 в Python
Как посмотреть, какие переменные, наборы данных и т. д. есть в данном файле .h5 в Python?
Я могу прочитать файл, запустив это
import h5py
f = h5py.File(filename, 'r')
Как теперь я могу увидеть, какие переменные есть в моем файле .h5?...
5404 просмотров
schedule
10.04.2023
Храните только данные «столбца» в h5py без загрузки всего файла данных
У меня есть относительно большой набор данных (около 8 ГБ), и я прочитал его в блокноте jupyter, используя h5py.
Форма набора данных выглядит примерно так (50000000, 384). В моем идеальном наборе данных это было бы транспонировано, чтобы я мог...
491 просмотров
schedule
01.03.2024
Python — как хранить временные ряды в наборе данных
Я создаю синтаксический анализатор, который преобразует MIDI-песню в последовательность нотно-аккордовых кортежей. Для каждой песни он возвращает список кортежей, где первый элемент — это нота, а второй — набор нот. Таким образом, результирующие...
75 просмотров
schedule
26.11.2023
Как частично прочитать данные в файле формата HDF5, когда данные слишком велики для полного чтения
Я занимаюсь анализом данных формата HDF5 для научных исследований. Я использую библиотеку Python h5py.
Теперь файл HDF, который я хочу прочитать, очень велик. Размер его файла составляет около 20 ГБ, а основная часть данных - это матрица с...
1010 просмотров
schedule
21.02.2022
Выбор квадратной подматрицы из большого файла h5
У меня есть большой файл h5 (50 ГБ). Мне нужно извлечь квадратную подматрицу из файла. Пока мой код:
import h5py
import random
file = h5py.File('numDistances.h5', 'r')
data = file['DS1'] # 120,000 x 120,000 matrix
randomRows =...
56 просмотров
schedule
20.05.2023
Копирование в h5py очень медленное
В настоящее время я добавляю массив h5py, определив массив как:
f = h5py.File(batch_path,'w')
data = f.create_dataset('data_set',(525600,1300),dtype=np.float32)
и добавляя к нему массивы как:
for index,file in enumerate(files):
df =...
174 просмотров
schedule
07.09.2022
Оптимальный способ сохранить модель кераса для экономии места
Я обучил модель в keras с помощью трансферного обучения поверх модели vgg16, как упоминалось в блоге Создание мощной классификации изображений с использованием модели с использованием очень небольшого количества данных .
Когда я сохранил модель...
4086 просмотров
schedule
02.08.2022
Блокировка файлов HDF с помощью h5py
У меня есть целая куча кода, взаимодействующего с файлами hdf через h5py. Код работает уже много лет. Недавно, с изменением среды Python, я получаю это новое сообщение об ошибке.
IOError: Unable to open file (unable to lock file, errno = 11,...
5086 просмотров
schedule
08.06.2023
