Мне интересно, насколько дорогостоящей может быть rdd.unpersist() операция на искровых RDD? И влияет ли настройка Storage Level на производительность этой операции? Любой тест (результаты/техника) будет очень полезен.
Насколько затратна операция unpersist на искровых RDD?
Ответы (1)
unpersist освобождает RDD из кэша (памяти и диска) и удаляет файлы перемешивания, от которых он зависит. Для этого ему необходимо отправить сообщение исполнителям. Это должна быть самая дешевая операция, которую вы можете выполнить с RDD, вероятно, не заслуживающая внимания.
Также обратите внимание, что при сборке мусора для RDD автоматически вызывается unpersist. Таким образом, вы не можете избежать этих затрат в любом случае.
person
Daniel Darabos
schedule
08.02.2016
Спасибо! Это имеет смысл.
- person Mayank Raghav; 09.02.2016
unpersistпроизводительности! :) - person Daniel Darabos schedule 08.02.2016