Ограничение планировщика Dask (fps)

На https://distributed.dask.org/en/latest/actors.html#motivation Я прочитал the scheduler can coordinate about 4000 tasks per second. Это действительно верхний предел планировщика, или его можно как-то увеличить? Я прошу вариант использования, в котором у меня есть распределенный вычислительный граф Dask, обрабатывающий данные изображения. Изображения обрабатываются кадр за кадром, поэтому я предполагаю, что каждый кадр считается (как минимум) 1 задачей?

Итак, могу ли я сделать вывод, что верхний предел кластера Dask составляет 4000 кадров в секунду?

Спасибо за любую помощь / информацию / обходной путь!


person PidgeyBE    schedule 07.08.2019    source источник


Ответы (1)


Это действительно верхний предел планировщика

Сегодня да.

поэтому я предполагаю, что каждый кадр считается (по крайней мере) 1 задачей?

Не обязательно, вы можете организовать вещи разными способами. Большинство коллекций Dask, таких как массив Dask, фрейм данных Dask и сумка Dask, автоматически объединяют вещи за вас.

См. https://docs.dask.org/en/latest/best-practices.html#avoid-very-large-graphs

person MRocklin    schedule 13.08.2019