Вопросы по теме 'hadoop2'
В выпуске Hadoop отсутствует каталог /conf
Я пытаюсь установить установку Hadoop с одним узлом на Ubuntu. Я начал следовать инструкциям по Hadoop 2.3. документы .
Но я, кажется, упускаю что-то очень простое.
Во-первых, это говорит о
Чтобы получить дистрибутив Hadoop, загрузите...
21392 просмотров
schedule
09.04.2023
MapReduce в Hadoop 2.2.0 не работает
После установки и настройки моего Hadoop 2.2.0 в псевдо-распределенном режиме все работает, как вы можете видеть в jps :
$ jps
2287 JobHistoryServer
1926 ResourceManager
2162 NodeManager
1834 DataNode
1756 NameNode
3013 Jps
Затем я...
5952 просмотров
schedule
12.03.2024
Hadoop YARN — производительность LocalJobRunner по сравнению с заданием, развернутым в кластере
Я делаю несколько тестов с заданиями M/R, работающими на 2 узлах кластера Hadoop 2.2.0. Одна вещь, которую я хотел бы понять, — это соображения производительности при запуске задания в локальном режиме (не управляемом ResourceManager) и его запуске в...
304 просмотров
schedule
27.05.2024
Как в Hadoop 2 + YARN рассчитываются # параллельные преобразователи и # редьюсеры?
Я когда-то искал и обнаружил, что кластер MapReduce с использованием hadoop2 + пряжа имеет следующее количество одновременных карт и сокращений на узел:
Параллельные карты # = yarn.nodemanager.resource.memory-mb / mapreduce.map.memory.mb...
1246 просмотров
schedule
12.09.2022
Проблемы с записью временного файла на узле данных с помощью Hadoop
Я хотел бы создать файл во время моей программы. Однако я хочу, чтобы этот файл был записан не в HDFS, а в файловой системе узла данных, где выполняется операция map .
Я попробовал следующий подход:
public void map(Object key, Text value,...
2768 просмотров
schedule
10.05.2024
Переопределить несколько свойств sqoop при выполнении задания sqoop
Я обнаружил, что при переопределении свойств задания sqoop во время выполнения я могу переопределить только одно свойство.
пример 1: если я отправлю
sqoop job --exec test123 -- --query "select * from test where update_batch_id between 4 and 10...
873 просмотров
schedule
06.03.2024
Проблемы с использованием AWS SWF
Я новичок в сервисе Amazon Simple Workflow. Есть ли способ запустить рабочие процессы swf на EMR. У меня есть настройка интерфейса командной строки AWS, и я могу запустить hadoop и запустить кластер. Я не нашел достаточно документации по этому...
291 просмотров
schedule
12.01.2023
ведомые узлы данных не расположены в хранилище главного узла
Недавно я устанавливаю многоузловой кластер hadoop на Ubuntu, все идет, namenode и вторичный узел (его имя HadoopMaster), все подчиненные устройства 2 (HadoopDataNode1, HadoopDataNode2)
проблема, когда скрипт start-dfs.sh и start-yarn.sh...
1646 просмотров
schedule
28.12.2022
Не удается запустить кластер с namenode (мастер): разные $HADOOP_HOME на узле данных (ведомом) и namenode (мастер)
Я использую Hadoop 1.2.1 на ведущем и подчиненном устройствах, но они установлены в разных каталогах. Поэтому, когда я вызываю bin/start-dfs.sh на мастере, я получаю следующую ошибку.
partho@partho-Satellite-L650: starting datanode, logging to...
1096 просмотров
schedule
08.10.2022
YARN — количество задач map/reduce, которые могут выполняться в контейнере.
Я выполняю задание MR ETL, и у меня есть только задачи сопоставления, а не задачи редуктора.
Я всегда вижу только один маппер, работающий внутри контейнера.
Можно ли запустить несколько картографов внутри контейнера или внутри контейнера может...
984 просмотров
schedule
14.08.2022
Веб-интерфейс Amazon EMR Application Master?
Я начал выполнять задания PIG на Amazon EMR с помощью Hadoop YARN (AMI 3.3.1), однако, поскольку в Yarn больше нет средства отслеживания заданий, я не могу найти веб-интерфейс, чтобы отслеживать количество Mappers и Reducers для задания MapReduce,...
3398 просмотров
schedule
17.01.2023
DataNode не запускается в singlenode hadoop 2.6.0
Я установил Hadoop 2.6.0 на свой ноутбук с Ubuntu 14.04LTS. Я успешно запустил демоны hadoop, запустив start-all.sh , и я успешно запустил пример WourdCount , затем я попытался запустить пример jar, который не работал со мной, поэтому я решил...
32306 просмотров
schedule
08.02.2023
почему в mapred-site.xml hadoop 2 есть свойство mapreduce.jobtracker.address
YARN — это второе поколение Hadoop, которое больше не использует демон jobtracker и заменяет его диспетчером ресурсов. Но почему в mapred-site.xml Hadoop 2 есть свойство mapreduce.jobtracker.address?
Чтобы запустить приложение Hadoop MapReduce из...
155 просмотров
schedule
25.10.2022
как найти идентификатор стойки хоста на языке программирования java
Может ли кто-нибудь сказать мне, если мы не предоставим хадуп какую-либо конфигурацию с поддержкой стойки, то будет работать поддержка стойки хауп или нет. Моя основная цель - узнать, может ли Hadoop узнать идентификатор стойки из системы напрямую,...
135 просмотров
schedule
24.07.2023
Где находится журнал выполнения картографа и редуктора в hdfs?
Когда моя работа с mapreduce завершена, я могу перейти к URL-адресу истории работы и увидеть там индивидуальный журнал редьюсера/сопоставителя. Однако у меня много картографов и редукторов, и мне нужно загрузить их все на свой локальный диск, чтобы...
874 просмотров
schedule
28.07.2023
Убить задание MapReduce при сбое программы драйвера
У меня есть программа-драйвер, которая запускает задание MapReduce с org.apache.hadoop.mapreduce.Job.waitForCompletion(boolean) в Hadoop 2.4.0. Проблема, с которой я сталкиваюсь, заключается в том, что если программа драйвера дает сбой в середине...
203 просмотров
schedule
05.09.2022
Правильные шаги по настройке Ambari на виртуальной машине Centos
Я использую: CentOS 7 с Ambari 2.1.1 , чтобы попытаться настроить настройку одного узла на виртуальной машине. Я хочу сделать это, чтобы установить vanilla hadoop и т. д. вместо установки предварительно упакованной виртуальной машины с какой-либо...
386 просмотров
schedule
04.12.2023
как увеличить размер кучи Java в Hadoop
Я использую версию Hadoop 2.6.0 и пытаюсь выполнить вставку Hive в таблицу, где я получил ошибку JAVA Heap.
Можно ли как-нибудь увеличить размер кучи в Hadoop через кластер?
заранее спасибо
14873 просмотров
schedule
27.12.2022
MAC-----Hadoop 2.7 Не удалось выполнить цель org.apache.maven.plugins:maven-antrun-plugin:1.7
Я пытаюсь установить Hadoop 2.7.2 из исходного кода, я получил следующую ошибку, я погуглил, но не нашел решения.
Пожалуйста помоги.
С Уважением
Mac: 10.11.2 (64-разрядная версия); Java: версия Java "1.8.0_60"; protoc — версия: libprotoc...
3202 просмотров
schedule
25.11.2023
Медленный запуск мапперов после редуктора
Я использую ChainReducer для создания следующего шаблона
Map1 --> Reduce --> Map2
Я хочу, чтобы шаг Map2 начинался только после завершения шага сокращения. Есть ли свойство в карте hadoop, чтобы установить это.
173 просмотров
schedule
25.05.2023
