При настройке задания Map Reduce я знаю, что можно задать количество задач уменьшения с помощью метода job.setNumReduceTasks(2);.
Можем ли мы установить количество задач карты?
Я не вижу никаких способов сделать это.
Если такой функциональности нет, кто-нибудь знает, почему у этого фреймворка есть возможность иметь более 1 задачи редукции, но не более 1 задачи карты?
Раньше было свойство для установки количества задач карты, которое было setNumMapTasks. Но это был всего лишь намек на фреймворк, и он не мог гарантировать, что вы получите только указанное количество карт. Создание карты фактически регулируется InputFormat, который вы используете в своей работе. И именно по этой причине он больше не поддерживается.
Если вас не устраивает количество картографов, созданных фреймворком, вы можете попробовать настроить значения следующих двух свойств в соответствии с вашими требованиями:
- mapred.min.split.size
- mapred.max.split.size
Количество задач карты — это не то, что задает программист, а то, что определяет структура Hadoop, в частности TaskTracker, который создает столько карт, сколько количество входных разделений (обычно 64 МБ, но может быть изменено) входного файла из HDFS. .
