Я создал сценарий задания с помощью очереди заданий dask в следующем формате:
import dask
from dask.distributed import Client
from dask_jobqueue import PBSCluster
cluster = PBSCluster(queue='research',
project='DaskOnPBS',
local_directory='/lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/',
cores=24,
processes=2,
memory='10GB',
resource_spec='select=1:ncpus=24:mem=10GB:vntype=cray_compute')
когда я запускаю print (cluster.job_script ()), я получаю следующий результат:
#!/usr/bin/env bash
#PBS -N dask-worker
#PBS -q research
#PBS -A DaskOnPBS
#PBS -l select=1:ncpus=24:mem=10GB:vntype=cray_compute
#PBS -l walltime=00:30:00
JOB_ID=${PBS_JOBID%%.*}
/lus/dal/hpcs_rnd/apps/anaconda3/envs/Jatin/bin/python -m distributed.cli.dask_worker tcp://10.12.1.23:44027 --nthreads 12 --nprocs 2 --memory-limit 5.00GB --name name --nanny --death-timeout 60 --local-directory /lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/
После этого я пытаюсь создать клиентский интерфейс.
client = Client(cluster)
print(client)
После печати клиента я получаю следующий результат с 0 рабочими, 0 ядрами и 0 памятью.
Я не знаю, как решить эту проблему. Я думаю, что клиентский интерфейс не взаимодействует должным образом с PBS cluster / job_script. Любая идея? Благодарю вас!