Привет, я написал задание mapreduce, которое обычно анализирует файл XML. Я могу разобрать файл XML и правильно сгенерировать всю пару значений ключа. У меня есть 6 разных ключей и соответствующие значения. Итак, я запускаю 6 разных редукторов...

Разделяет ли Hadoop данные на основе количества картографов, установленных в программе? То есть, имея набор данных размером 500 МБ, если количество модулей сопоставления равно 200 (при условии, что кластер Hadoop допускает одновременное использование...

Прежде чем этот вопрос будет помечен как дубликат, прочтите его. Этот вопрос задавался много раз без четкого ответа. Допустим, моя задача — вычислить вероятность unigram для каждого слова в миллионах файлов. Я могу выдавать счетчики слов из...

Я hadoop новичок. Я хочу получить номер раздела в выходном файле. Сначала я сделал кастомный разделитель. public static class MyPartitioner extends Partitioner<Text, LongWritable> { public int getPartition(Text key,...

У меня заканчивается минутный выпуск. Я пытаюсь получить другой файл для разных ключей от Reducer. Разделитель public class customPartitioner extends Partitioner<Text, NullWritable> implements Configurable { private Configuration...

Я работаю над проектом Hadoop, и после многих посещений различных блогов и чтения документации я понял, что мне нужно использовать функцию вторичной сортировки, предоставляемую инфраструктурой Hadoop. Мой формат ввода имеет вид: DESC(String)...

У меня есть столбец со строкой partition=201707070800 , мне нужно преобразовать ее в 2017-07-08 . Как мы можем добиться этого? Спасибо

Я использую разъем приемника Kafka для записи данных из Kafka в s3. Выходные данные разбиты на почасовые сегменты — year=yyyy/month=MM/day=dd/hour=hh . Эти данные используются последующим пакетным заданием. Итак, прежде чем запускать подчиненное...