Я пытаюсь проверить контекст потоковой передачи искры на hdfs, чтобы обработать сбой в какой-то момент моего приложения. У меня есть установка HDFS в отдельном кластере, а искра работает на отдельном автономном сервере. Для этого я использую:
ssc.checkpoint(directory: String)
Это дает мне: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, когда я пытаюсь использовать каталог как "hdfs://hostname:port/pathToFolder"
Как я могу сделать контрольную точку на удаленном пути hdfs? Можно ли добавить учетные данные в строку uri? Пробовал гуглить, но пока не помогло.
Спасибо и ценю любую помощь!
