Вопросы по теме 'pytables'
Проблема PyTables - разные результаты при переборе подмножества таблицы
Я новичок в PyTables и собираюсь использовать его для обработки данных, сгенерированных в результате моделирования на основе агентов и сохраненных в HDF5. Я работаю с тестовым файлом размером 39 МБ и наблюдаю некоторую странность. Вот раскладка...
747 просмотров
schedule
04.05.2024
PyTables: индексация нескольких измерений больших массивов
Я анализирую некоторые данные изображения, состоящие из больших трехмерных массивов интенсивности пикселей с размерами [frame, x, y] . Поскольку они обычно слишком велики для хранения в памяти, они размещаются на жестком диске в виде массивов...
922 просмотров
schedule
10.12.2022
`таблицы установки pip` завершаются с ошибкой ERROR:: Не удалось найти локальную установку HDF5
Вот подробное сообщение об ошибке, которое я получаю, когда пытаюсь установить PyTables на Mac OSX.
calvin$ pip install tables
Downloading/unpacking tables
Downloading tables-2.4.0.tar.gz (8.9MB): 8.9MB downloaded
Running setup.py egg_info for...
8780 просмотров
schedule
30.10.2022
Как определить атом для создания Pytables EArray
Попытка создать Pytables EArray на основе одного столбца из numpy recarray. Кажется, это работает, если я использую createArray, поскольку я могу просто передать ему массив numpy, извлеченный из recarray. Однако для createEArray мне нужно определить...
927 просмотров
schedule
08.06.2024
Scala или Java-аналоги PyTables и numexpr
Я ищу Scala или Java-аналоги numexpr и PyTables (в частности, таблицы.Expr). Это для многоядерных систем аналитики на многоядерных машинах, которым необходимо выполнять матричные операции над данными, не владеющими памятью. В частности, библиотеки...
262 просмотров
schedule
21.03.2024
PyTables - синтаксис условия - возможна нарезка строк?
Я наивно пробовал это при запросе таблицы:
rows = [ x['title'] for x in table.where("""title[-11:] == 'string ends'""") ]
в результате: TypeError: объект «VariableNode» не имеет атрибута « getitem »
Читая документ Condition Syntax, там нет...
297 просмотров
schedule
10.08.2023
Не удается обновить HDF5 с помощью yum на CentOS-5 из-за отсутствия зависимости
У меня возникли проблемы с обновлением hdf5 до 1.8.7 на CentOS-5. Ошибка, которую я получаю, приведена ниже. Мне нужно обновить, чтобы я мог установить PyTables.
Я думаю, это потому, что моя версия gdal не поддерживает более новую версию hdf5....
2394 просмотров
schedule
22.04.2023
Модульное тестирование Python с PyTables и HDF5
Как правильно проводить модульное тестирование с файловым вводом-выводом, особенно если оно включает PyTables и HDF5?
Мое приложение развивается вокруг хранения и извлечения данных python в файлы hdf5 и из них. Пока что я просто сам пишу файлы...
697 просмотров
schedule
20.06.2023
Есть ли способ просмотреть список меток файла PyTable?
В классе файлов Pytable вы можете get_current_mark() , goto(mark) , undo(mark) , mark() и т. д., но есть ли способ увидеть список всех доступных меток? Ссылка: http://pytables.github.io/usersguide/libref/file_class.html
26 просмотров
schedule
15.10.2023
Есть ли эквивалент pytable для sql «нравится» и «не нравится»
Я создал таблицу в pytable. Мне нужно эквивалентное условие в pytables для
выберите * из table_name, где col_name, например «%new%», выберите * из table_name, где col_name, например, «new%»
А также как это сделать, если столбец имеет...
111 просмотров
schedule
22.11.2022
Добавление к HDFStore завершается сбоем, поскольку не может соответствовать существующей структуре таблицы.
Окончательное решение состояло в том, чтобы использовать параметр «конвертеры» read_csv и проверять каждое значение перед добавлением его в DataFrame. В конце концов, в более чем 80 ГБ необработанных данных было только 2 неверных значения....
4803 просмотров
schedule
07.09.2023
Правильный способ работы со списком связанных элементов данных, связанных с несколькими значениями индекса, с помощью pandas/pytables
Мне было интересно, как правильно поступить с хранением/чтением списка элементов, таких как следующий пример, связанный с рок-звездой, где известно, что список содержит максимальное количество значений для hdf5:
Date_of_Birth
Bands[] - where the...
68 просмотров
schedule
17.03.2023
Pytables замедляется при запросе несовпадающей строки
Я относительно новичок в python и использую pytables для хранения некоторых геномных аннотаций в hdf для более быстрого запроса. Я считаю, что запрос несовпадающей строки в таблице выполняется медленно, но я не знаю, как оптимизировать его для...
206 просмотров
schedule
10.01.2023
Pandas _metadata ошибки сохранения DataFrame
Наконец-то я понял, как использовать _metadata из DataFrame, все работает, за исключением того, что я не могу сохранить его, например, в hdf5 или json. Я знаю, что это работает, потому что я копирую фрейм, а атрибуты _metadata копируют поверх...
1529 просмотров
schedule
15.08.2022
Как определить имена столбцов, используя цикл for внутри класса (IsDescription)
Мы знаем, что если нам нужно определить имена столбцов таблицы с помощью pytables, мы можем сделать это следующим образом:
class Project(IsDescription):
alpha = StringCol(20)
beta = StringCol(20)
gamma = StringCol(20)
где альфа,...
386 просмотров
schedule
14.05.2024
Использование блочного сжатия в пандах вызывает повреждение кучи
Я использую Pandas некоторое время, но я новичок в HDF5, поэтому я пытаюсь изучить его и преобразовать некоторые из моих файлов данных исследований в файлы HDF5. Я просмотрел кучу сообщений SO о python и HDF5, и меня интересует использование...
603 просмотров
schedule
28.05.2023
PyTables + Pandas Выберите проблемы
У меня есть файл HDF5 (PyTables), имеющий следующую структуру:
/<User>/<API Key>
ex:
/Dan/A4N5
/Dan/B8P0
/Dave/D3Y7
Каждая таблица структурирована следующим образом: идентификатор сеанса и время хранятся в эпохе:
sessionID...
176 просмотров
schedule
12.09.2023
какая версия GCC требуется для pyTables 3.4.2
Фон:
Я пытаюсь использовать pytables в сочетании с rootpy для преобразования файлов ROOT в hdf5 файлов.
Я вынужден использовать gcc 4.4.7 и поэтому не могу перейти на ROOT6 , если для этого требуется обновление gcc ....
59 просмотров
schedule
13.12.2022
Почему заархивированный файл HDF5 по-прежнему хорошо сжимается, даже если все наборы данных сжаты внутри файла?
Я использую файловую систему HDF5 в своем настольном приложении. Я использовал сжатие GZIP уровня 5 со всеми наборами данных внутри файла.
Но тем не менее, когда я сжимаю файл HDF5 с помощью 7zip, размер файла становится еще меньше примерно на...
1069 просмотров
schedule
07.10.2023
PyTables извлекает максимальное и минимальное значения?
Я создал скрипт Python, который получает данные временных рядов из сокета и записывает их через PyTables в файл HDF5 следующим образом:
#Define description object to pass to the table constructor
class DataPoint(tb.IsDescription):
timestamp =...
523 просмотров
schedule
21.09.2023
