Я использовал TensorflowOnSpark для обучения модели RNN с включенной тензорной доской (store_true). Сводные события регистрируются в каталоге HDFS.
Как я могу визуализировать события RNN (из каталога hdfs) с помощью tensorboard?
Я попытался запустить tensorboard, используя каталог журнала hdfs, но он не запустился с сообщением: «hdfs не поддерживается».
Пожалуйста, дайте мне знать, если кто-нибудь знает об этом.
Если вы используете Spark в режиме кластера, а не локально, вы не сможете просматривать события, запустив Tensorboard на компьютере, на котором запущено задание Spark. Это связано с тем, что сводки будут записываться в каталог HDFS рабочей машины Spark.
Кроме того, если бы вы успешно включили Tensorboard, кластер Spark запустил бы Tensorboard от вашего имени и напечатал URL-адрес Tensorboard в ваших журналах Spark.
Чтобы визуализировать события с помощью tensorboard (используя TensorFlowonSpark):
Запустите задание spark с флагом --tensorboard или как указано в файле spark.py.
Убедитесь, что вы вызвали TFCluster.run() с аргументом tensorboard=store_true. Если все сделано правильно, эта функция вызовет TFSparkNode.run( ), который запускает Tensorboard, и распечатывает URL Tensorboard здесь.
Просто получите доступ к URL-адресу, напечатанному в ваших журналах Spark.
Обратите внимание, что как только задание завершается успешно или уничтожается, машины завершают работу, и ваши файлы событий исчезают. В этой ситуации вы можете скопировать файлы событий на свой локальный компьютер, если вы все еще хотите просматривать события на Tensorboard после завершения задания.
