Количество редукторов в хаупе

1 - Количество редукторов равно количеству разделов - False. Один редьюсер может работать с одним или несколькими разделами. Но выбранный раздел будет полностью создан на редюсере, на котором он запущен.

2. Это всего лишь теоретическое максимальное количество редукторов, которые вы можете настроить для кластера Hadoop. Что очень сильно зависит от типа данных, которые вы обрабатываете (решает, насколько тяжелой работой обременены редукторы).

3 — Конфигурация mapred-site.xml — это всего лишь предложение для Yarn. Но внутри ResourceManager работает собственный алгоритм, оптимизирующий работу на ходу. Таким образом, это значение на самом деле не является количеством задач редуктора, выполняемых каждый раз.

4 - Это кажется немного нереальным. Размер моего блока может составлять 128 МБ, и каждый раз я не могу иметь минимальное количество редукторов 128 * 5. Это снова ложь, я считаю.

Не существует фиксированного количества задач редукторов, которые можно настроить или рассчитать. Это зависит от момента, сколько ресурсов действительно доступно для распределения.

Количество редукторов рассчитывается внутренне на основе размера данных, которые мы обрабатываем, если вы явно не укажете использование нижеприведенного API в программе драйвера.

job.setNumReduceTasks(x)

По умолчанию на 1 ГБ данных будет использоваться один редуктор.

поэтому, если вы играете с менее чем 1 ГБ данных, и вы специально не устанавливаете количество редукторов, будет использоваться 1 редуктор.

Точно так же, если ваши данные составляют 10 ГБ, будет использоваться редуктор 10.

Вы также можете изменить конфигурацию, чтобы вместо 1 ГБ вы могли указать больший или меньший размер.

свойство в улье для установки размера редуктора:

hive.exec.reducers.bytes.per.reducer

вы можете просмотреть это свойство, выполнив команду set в hive cli.

Partitioner только решает, какие данные пойдут к какому редюсеру.

Ваша работа может нуждаться или не нуждаться в редукторах, это зависит от того, что вы пытаетесь сделать. При наличии нескольких редьюсеров задачи сопоставления разбивают свой вывод, создавая по одному разделу для каждой задачи редукции. В каждом разделе может быть много ключей (и связанных с ними значений), но все записи для любого заданного ключа находятся в одном разделе. Одно эмпирическое правило заключается в том, чтобы стремиться к редукторам, каждый из которых работает около пяти минут и которые производят как минимум один блок HDFS на выходе. Слишком много редьюсеров, и вы получите много маленьких файлов.

Partitioner гарантирует, что одни и те же ключи от нескольких мапперов попадут в один и тот же редуктор. Это не означает, что количество разделов равно количеству редукторов. Однако вы можете указать количество задач сокращения в программе драйвера, используя экземпляр задания, например job.setNumReduceTasks(2). Если вы не укажете количество задач сокращения в программе-драйвере, она выберет из mapred.reduce.tasks, значение по умолчанию которого равно 1 (https://hadoop.apache.org/docs/r1.0.4/mapred-default.html), то есть все выходные данные картографов будут тот самый редуктор.

Также обратите внимание, что программист не будет контролировать количество преобразователей, поскольку оно зависит от разделения ввода, где программист может контролировать количество преобразователей для любого задания.