Dask с Tensorflow — Joblib?

Я был поражен результатами DASK и JOBLIB при тестировании наших различных алгоритмов в кластере с несколькими узлами с помощью SciKit Learn и XGBoost. Я хотел бы знать, как объединить tensorflow 2.0 с Dask и Joblib для выполнения параллельных вычислений с помощью нейронных сетей.


person Vinh Tran    schedule 07.07.2020    source источник


Ответы (1)


Я не думаю, что в настоящее время есть готовые решения для этого, хотя я полагаю, что есть болтовня о встраивании этой функциональности в dask или dask-ml. На ранней стадии разработки тоже, но посмотрите ray, в их документах есть некоторая информация о распределенном TensorFlow: https://docs.ray.io/en/master/raysgd/raysgd_tensorflow.html

person rikturr    schedule 10.07.2020