Как убить работу SparkR

Я использую Spark 2.0.0, и у меня есть веб-интерфейс RStudio, через который я использую пакет SparkR.

При запуске большой программы, если мне нужно убить задание во время процесса, как я могу это сделать?

Кнопка STOP в R не работает, и если я уничтожу сам сеанс, все объекты, созданные в этом сеансе, также будут удалены.

Как лучше всего это сделать?


person Mohit Bansal    schedule 13.10.2016    source источник


Ответы (2)


Поскольку R, вероятно, блокируется из-за ожидания ответа от Spark, наиболее подходящим способом может быть доступ к WebUI (если он, конечно, доступен) и завершение текущего этапа.

Откройте главный веб-интерфейс (порт по умолчанию — 8080) и нажмите SparkR, название приложения. Spark Master WebUI Теперь вы находитесь в интерфейсе приложения SparkR. Нажмите Этапы и завершите активную стадию, нажав (убить). Это, конечно, не убивает все, возможно, потребуется убить только активную стадию и другие стадии. Веб-интерфейс приложения Spark

person Aeck    schedule 21.10.2016

Вы можете просто написать: sparkR.session.stop()

Затем перезапустите сеанс R:

Сеанс -> Перезапустить R

person Meyk    schedule 20.03.2017