Контекст: я использую настраиваемые графики dask для управления и распределения вычислений.
Проблема: некоторые задачи включают чтение файлов, созданных вне dask и не обязательно доступных во время вызова dask.get(graph,result_key)
.
Вопрос. Недопустимо, чтобы задачи ввода-вывода ждали файлов, так как это заблокировало бы рабочие процессы. Есть ли (или какой был бы) хороший способ позволить dask ждать, пока файлы станут доступными, и только затем выполнять задачи ввода-вывода?
Большое спасибо за любые мысли!