Освобождение места Cloudera-QuickStart VM- Cent OS

Я выполнил задание MR, которое заняло немного места во время тестирования. Запуск задания занял почти 20 ГБ места. Я удалил несколько таблиц кустов и файлов hdfs. Но я все еще сталкиваюсь с такими ошибками, как несоблюдение пороговых значений каталога участков.

Есть ли какая-нибудь команда Cloudera Manager, которая очистит неиспользуемое пространство на всех узлах? Или есть какой-то другой метод, который я должен использовать, чтобы освободить место?

Container [pid=10156,containerID=container_1511328141399_0037_01_000004] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 23.1 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1511328141399_0037_01_000004 :

centos hadoop mapreduce cloudera cloudera-quickstart-vm
person User007    schedule 24.11.2017    source источник
comment
Отображаемое сообщение об ошибке не имеет ничего общего с местом на диске. Речь идет об оперативной памяти - для этой работы нужны большие контейнеры, измените конфигурацию MapRed...   -  person Samson Scharfrichter    schedule 25.11.2017
comment
Хорошо, но на моем диске C уменьшилось место на 20 ГБ. Как это восстановить?   -  person User007    schedule 25.11.2017
comment
Опять же, ошибка в ОЗУ, а не на диске   -  person OneCricketeer    schedule 25.11.2017
comment
Как вернуть мои 20 ГБ обратно в мой ноутбук..   -  person User007    schedule 26.11.2017

Ответы (1)


arrow_upward
0
arrow_downward

Во-первых, ваша ошибка связана с памятью, а не с дисковым пространством. Вам требовалось 8 ГБ ОЗУ для запуска настольного приложения Cloudera Express, если только вы не принудительно запускали его иначе.

Удаление файлов HDFS по-прежнему сохраняет их в папке «Корзина» в домашней папке пользователя.

У Hue есть возможность очистить корзину, но опция командной строки

hdfs dfs -expunge

https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html#expunge

Обратите внимание, что вы также можете манипулировать жестким диском VirtualBox, чтобы он был больше, что выходит за рамки краткого руководства по виртуальной машине. Однако неясно, используете ли вы версию Docker.

person OneCricketeer    schedule 02.12.2017