Я пытался понять анатомию уменьшения карты из разных книг/блогов. Но я не получаю четкого представления.
Что происходит, когда я отправляю задание в кластер с помощью этой команды:
..Загрузил файлы уже в hdfs
bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output
Может ли кто-нибудь объяснить последовательность операций, происходящих прямо с клиента и внутри кластера?
Процессы идут так:
1- Клиент настраивает и устанавливает задание через Job и отправляет его в JobTracker.
2- После отправки задания JobTracker присваивает этому заданию идентификатор задания.
3- Затем проверяется выходная спецификация задания. Например, если выходной каталог не указан или уже существует, задание не отправляется и в программу MapReduce выдается ошибка.
4- Как только это будет сделано, InputSplits для задания будут созданы (на основе используемого вами InputFormat). Если расщепления не могут быть вычислены, например, из-за того, что входные пути не существуют, задание не отправляется и в программу MapReduce выдается ошибка.
5- В зависимости от количества InputSplits создаются задачи карты, и каждый InputSplits обрабатывается одной задачей карты.
6- Затем ресурсы, необходимые для запуска задания, копируются в кластере, например, JAR-файл задания, файл конфигурации и т. д. JAR-файл задания копируется с высоким коэффициентом репликации (по умолчанию 10), так что существует много копий в кластере, к которым могут обращаться средства отслеживания задач при выполнении задач для задания.
7- Затем, в зависимости от местоположения блоков данных, которые будут обрабатываться, JobTracker направляет TaskTrackers для запуска задач карты на том же самом узле данных, где присутствует этот конкретный блок данных. Если на этом DataNode нет свободных слотов ЦП, данные перемещаются на соседний DataNode со свободными слотами, и процессы продолжаются без ожидания.
8- После того, как фаза карты начинается, отдельные записи (пары ключ-значение) из каждого InputSplit начинают обрабатываться Mapper одна за другой, завершая весь InputSplit.
9- После завершения этапа карты выходные данные перемешиваются, сортируются и комбинируются. После этого фаза сокращения начинает давать вам окончательный результат.
Ниже представлено графическое представление всего процесса: 
Кроме того, я бы посоветовал вам перейти по этой ссылке.
ХТН
Прочитайте главу 6 («Как работает MapReduce») в «Hadoop: Полное руководство". Объясняет на хорошем языке. Для быстрого чтения см. эту и это.
