dask jobqueue не может создать клиентский планировщик и рабочие

Я создал сценарий задания с помощью очереди заданий dask в следующем формате:

import dask
from dask.distributed import Client
from dask_jobqueue import PBSCluster

cluster = PBSCluster(queue='research',
                     project='DaskOnPBS',
                     local_directory='/lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/',
                     cores=24,
                     processes=2,
                     memory='10GB',
                     resource_spec='select=1:ncpus=24:mem=10GB:vntype=cray_compute')

когда я запускаю print (cluster.job_script ()), я получаю следующий результат:

#!/usr/bin/env bash

#PBS -N dask-worker
#PBS -q research
#PBS -A DaskOnPBS
#PBS -l select=1:ncpus=24:mem=10GB:vntype=cray_compute
#PBS -l walltime=00:30:00
JOB_ID=${PBS_JOBID%%.*}

/lus/dal/hpcs_rnd/apps/anaconda3/envs/Jatin/bin/python -m distributed.cli.dask_worker tcp://10.12.1.23:44027 --nthreads 12 --nprocs 2 --memory-limit 5.00GB --name name --nanny --death-timeout 60 --local-directory /lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/

После этого я пытаюсь создать клиентский интерфейс.

client = Client(cluster)
print(client)

После печати клиента я получаю следующий результат с 0 рабочими, 0 ядрами и 0 памятью. Клиентский интерфейс

Я не знаю, как решить эту проблему. Я думаю, что клиентский интерфейс не взаимодействует должным образом с PBS cluster / job_script. Любая идея? Благодарю вас!


person Jatin Gharat    schedule 06.11.2019    source источник


Ответы (1)


Возможно, либо ваши задания еще не начали выполняться, либо ваши сотрудники не могут подключиться. Я рекомендую посмотреть журналы ваших рабочих, чтобы узнать, предоставляют ли они вам дополнительную информацию.

person MRocklin    schedule 07.11.2019
comment
Я понял, что не указал количество рабочих. Я добавил cluster.scale(10). Спасибо за помощь! - person Jatin Gharat; 08.11.2019