Я запускаю искровой кластер с 80 машинами. Каждая машина представляет собой виртуальную машину с 8 ядрами и 50 ГБ памяти (кажется, 41 доступно для Spark). Я работаю с несколькими входными папками, я оцениваю размер входных данных примерно в 250 ГБ...

Мне нужно настроить кластер Hadoop на Google Compute Engine. Хотя это кажется простым либо с помощью веб-консоли Click&Deploy , либо с помощью командной строки. инструмент bdutil , я обеспокоен тем, что для моих задач требуются дополнительные...

Есть ли прямой способ устранить следующую ошибку или в целом лучший способ использовать Hive для получения нужного мне соединения? Вывод в сохраненную таблицу не является обязательным требованием, поскольку я могу довольствоваться INSERT OVERWRITE...