Я был поражен результатами DASK и JOBLIB при тестировании наших различных алгоритмов в кластере с несколькими узлами с помощью SciKit Learn и XGBoost. Я хотел бы знать, как объединить tensorflow 2.0 с Dask и Joblib для выполнения параллельных вычислений с помощью нейронных сетей.
Dask с Tensorflow — Joblib?
Ответы (1)
Я не думаю, что в настоящее время есть готовые решения для этого, хотя я полагаю, что есть болтовня о встраивании этой функциональности в dask
или dask-ml
. На ранней стадии разработки тоже, но посмотрите ray
, в их документах есть некоторая информация о распределенном TensorFlow: https://docs.ray.io/en/master/raysgd/raysgd_tensorflow.html
person
rikturr
schedule
10.07.2020