Вопросы по теме 'joblib'
Отслеживание хода выполнения joblib.Parallel
Есть ли простой способ отслеживать общий ход выполнения joblib.Parallel ?
У меня есть длительное выполнение, состоящее из тысяч заданий, которые я хочу отслеживать и записывать в базу данных. Однако для этого всякий раз, когда Parallel завершает...
18328 просмотров
schedule
18.03.2022
Несколько процессов совместно используют один кеш Joblib
Я использую Joblib для кэширования результатов ресурсоемкой функции в моем скрипте Python. Входные аргументы функции и возвращаемые значения представляют собой пустые массивы. Кэш отлично работает для одного запуска моего скрипта Python. Теперь я...
2284 просмотров
schedule
20.05.2024
Внедрение классификатора в производство
Я сохранил свой конвейер классификатора, используя joblib:
vec = TfidfVectorizer(sublinear_tf=True, max_df=0.5, ngram_range=(1, 3))
pac_clf = PassiveAggressiveClassifier(C=1)
vec_clf = Pipeline([('vectorizer', vec), ('pac', pac_clf)])...
3422 просмотров
schedule
06.05.2024
Ошибка ввода-вывода функции загрузки sklearn joblib из AWS S3
Я пытаюсь загрузить pkl-дамп моего классификатора из sklearn-learn.
Дамп joblib обеспечивает гораздо лучшее сжатие, чем дамп cPickle для моего объекта, поэтому я хотел бы его придерживаться. Однако я получаю сообщение об ошибке при попытке...
7546 просмотров
schedule
04.12.2022
Joblib Parallel использует только одно ядро, если запущено из QThread
Я разрабатываю графический интерфейс, который выполняет тяжелую обработку чисел. Чтобы ускорить процесс, я использую параллельное выполнение joblib вместе с QThreads pyqt, чтобы графический интерфейс не переставал отвечать. Параллельное выполнение...
897 просмотров
schedule
09.08.2023
Не удается загрузить сериализованную модель joblib из GridFS
Я могу сбросить модели sklearn в gridFS:
import gridfs
fs = gridfs.GridFS(db)
gridFS_file = fs.new_file()
joblib.dump(vectorizer, gridFS_file)
Это работает, и я вижу модель, хранящуюся в моем Mongo.
Но я не могу читать напрямую из GridFS:...
414 просмотров
schedule
19.04.2023
Joblib Не удалось правильно распаковать класс
Я получаю сообщение об ошибке атрибута при попытке распаковать свой объект с помощью joblib. Должен ли я отдельно мариновать свои классы, а затем распаковывать их?
class LengthTransformer(TransformerMixin):
def transform(self, X,...
909 просмотров
schedule
03.11.2022
Параллельное вычисление с помощью joblib во Flask
У меня есть python функция, которую мне нужно многократно вызывать с разными значениями аргументов. Я хотел бы выполнить это параллельно на нескольких процессорах. Я успешно сделал это с помощью модуля joblib . Теперь я хотел бы сделать свой код...
757 просмотров
schedule
25.03.2022
Как построить дерево модели Light GBM .joblib?
Я очень новичок в машинном обучении! Моя проблема касается модели, созданной с помощью LighGBM. Я не создатель этой модели, поэтому я хочу увидеть дерево, которое генерирует эта модель. Модель в формате .joblib, и я хочу узнать о ней как можно...
727 просмотров
schedule
05.06.2023
dask, joblib, ipyparallel и другие планировщики для неприятно параллельных задач
Это более общий вопрос о том, как запускать «досадно параллельные» задачи с «планировщиками» Python в научной среде.
У меня есть код, представляющий собой гибрид Python / Cython / C (в этом примере я использую github.com/tardis-sn/tardis ... но у...
838 просмотров
schedule
08.08.2022
Сравните параллель с Python, почему Ubuntu работает медленнее, чем Windows?
Я запускаю набор параллельных вычислений на Intel(R) Xeon(R) L5640 (6 ядер, 12 братьев и сестер) со следующими 2 платформы
Ubuntu 18.04, Python 3.7.3, numpy 1.16.4, sklearn 0.21.2.
Максимальная версия Windows 7, Python 3.7.3, numpy...
65 просмотров
schedule
25.02.2023
Невозможно загрузить предварительно обученную модель на платформу AI
Я обучил классификатор случайного леса и сохранил модель в виде файла joblib в хранилище Google. Платформа ai выдает ошибку, когда версия создается с использованием среды scikit-learn с этим файлом model.joblib. Ошибка выглядит так:...
184 просмотров
schedule
28.04.2024
Как сохранить дамп joblib в другую папку?
Моя целевая структура:
tools
model_maker.py
models
models go here
Мой текущий код, который находится в каталоге инструментов
joblib.dump(pipeline, "../models/model_full_June2020.jl")
Выдает ошибку:...
1003 просмотров
schedule
11.10.2023
Dask с Tensorflow — Joblib?
Я был поражен результатами DASK и JOBLIB при тестировании наших различных алгоритмов в кластере с несколькими узлами с помощью SciKit Learn и XGBoost. Я хотел бы знать, как объединить tensorflow 2.0 с Dask и Joblib для выполнения параллельных...
83 просмотров
schedule
19.10.2023
Распараллеливание цикла с групповыми пандами и добавление к записи словаря
Как распараллелить этот цикл в python?
import pandas as pd
def my_func(tup):
return {tup[0][1]: tup[1]['col3'].sum()}
arr = [['a','c',3],
['b','d',5],
['b','d',6],
['a','b',1],
['a','c',2],...
88 просмотров
schedule
27.12.2022
почему параллельное выполнение joblib значительно замедляет время выполнения?
Я хочу перетасовать значения в трехмерном numpy -массиве, но только когда они ›0.
Когда я запускаю свою функцию с одним ядром, это намного быстрее, чем даже с двумя ядрами. Это выходит далеко за рамки накладных расходов на создание новых процессов...
115 просмотров
schedule
24.01.2023
joblib.Memory и joblib.Parallel дают _pickle.PicklingError: (Не удается рассолить ‹класс '__main__.Foo'›: он не найден как __main__.Foo
Я разрабатываю некоторые вещи для машинного обучения и столкнулся с ошибкой. После некоторых исследований я отследил его до joblib.
Как я могу исправить эту ошибку?
Я использую Windows со следующими настройками, но эта ошибка воспроизводится и в...
10 просмотров
schedule
07.08.2022
