Публикации по теме 'yarn'
Модуляризация общего кода с помощью Yalc
Публикация каждой разрабатываемой версии вашего кода в NPM может быть болезненной. Символические ссылки в Windows? Мех, только не надо. Подмодули Git? Не совсем. Приготовьтесь к легкому экшену с Yalc .
TL; DR (как создать форк и использовать вашу любимую библиотеку)
git clone fork_of_your_favorite_library
npm/yarn install (in that fork dir)
npm/yarn run build (or similar)
npm/yarn install -g yalc
yalc publish (still in the fork dir)
yalc add fork_of_your_favorite_library..
Что такое Corepack в Node.js?
Corepack предоставляет разработчикам Node новые возможности упаковки!
С выпуском Node.js 16.9.0 появился новый инструмент под названием Corepack . Corepack описывается как сценарий узла с нулевой зависимостью от времени выполнения, который действует как мост между проектами узла и менеджерами пакетов, такими как Yarn и Pnpm . Node.js поставляется с менеджером пакетов под названием NPM , который устанавливается вместе с Node.js каждый раз, когда Node.js устанавливается на..
Дилемма зависимостей NPM
NPM на сегодняшний день является наиболее распространенным инструментом для повседневного использования. И пока наш проект обслуживается онлайн статически, поэтому проблем с зависимостями NPM нет. Но с некоторыми мы встречались несколько раз в процессе разработки. Вы знаете, некоторые новички в проекте клонируют его и запускают npm install, а потом говорят: «Это не работает на моем компьютере». «Правда? На моем работает».
Позже мы узнали, что это было из-за `^` или `~` в этих версиях..
Выходя за рамки NPM: познакомьтесь с Yarn и pnpm
Самая большая проблема, которая беспокоит npm, — это скорость. К сожалению, даже в последней версии (6) npm работает медленно. Если вам когда-нибудь приходилось удалять папку node_modules, чтобы выполнить чистую установку в более крупном проекте, вы поймете, о чем я. Вентиляторы начинают крутиться, ноутбук греется и можно идти читать статью, пока npm пережевывает зависимости.
Пряжа в помощь
Yarn появился в первые дни, и вы определенно слышали о нем во время своих путешествий по Github...
Как использовать Yarn Workspaces для создания Vercel Monorepo
Упростите управление своими репозиториями!
Что такое монорепозиторий?
Когда я впервые присоединился к Shutterstock около двух с половиной лет назад, я не знал о проблемах управления репозиторием, в котором работает более 100 человек. Это было мое первое знакомство с концепцией монорепозитория: единственного репозитория, содержащего множество различных проектов. Разговор с моими коллегами о том, как Google управляет миллиардами строк кода в одном репозитории. Идея заключается в том,..
Некоторое время я использовал функцию блокировки пакетов npm 5.
Некоторое время я использовал функцию блокировки пакетов npm 5. Но он не делает того, что должен делать, как следует из названия package-LOCK.json. Я сразу перешла на пряжу, так как использую ее очень давно.
Чтобы понять, как работает функция блокировки npm (они говорят, что это предполагаемая функция), настройте проект с некоторыми зависимостями и зафиксируйте файл блокировки. Подождите неделю или две (для выпусков новых версий) и удалите папку node_modules/ . Если вы сделаете npm..
Вопросы по теме 'yarn'
CDH 4.1: ошибка при запуске дочернего элемента: java.lang.OutOfMemoryError: пространство кучи Java
Я пытаюсь преодолеть внезапную проблему. Перед этой проблемой я использовал старую виртуальную машину. Я загрузил новую виртуальную машину и все еще не могу запустить свою работу. Я получаю сообщение Ошибка пространства кучи Java . Я уже прочитал...
13887 просмотров
schedule
13.06.2023
Конфигурации zookeeper для Giraph 1.0 на Hadoop 2.2.0
Новичок в Stack Exchange и Giraph, поэтому, пожалуйста, не обращайте внимания на ошибки и задавайте любые уточняющие вопросы.
ОС: убунту 13.10
Hadoop/Yarn: hadoop-2.2.0/ (кластер из 2 узлов)
Жираф: 1.0.0 (РЕДАКТИРОВАТЬ: багажник)
Я получаю...
1315 просмотров
schedule
13.08.2023
Производительность hadoop YARN: выполнение примера wordCount в кластере происходит очень медленно на
Недавно я настроил кластер Hadoop для тестирования, кластер имеет два узла для задач и основан на Yarn.
Я знаю, что Hadoop не подходит для примеров, у него хорошая производительность на очень большом уровне данных, но он все равно слишком...
1534 просмотров
schedule
25.12.2023
плохое планирование задач в Hadoop
Я запускаю некоторые задачи по уменьшению карты на хаупе. Mapper используется для генерации данных и, следовательно, не зависит от размещения блока hdfs. Для тестирования моей системы я использую 2 узла и один главный узел. Я провожу тестирование...
264 просмотров
schedule
23.09.2023
ACL не работают в планировщике ресурсов в YARN (CDH5)
ACL не работают в планировщике ресурсов в CDH-5. Пожалуйста, смотрите приведенную ниже конфигурацию. Только user1 и user2 должны иметь доступ к queue2 и queue1, но все пользователи могут получить доступ ко всем очередям.
Дайте мне знать, если...
505 просмотров
schedule
22.11.2023
Могут ли задачи Hadoop выполняться параллельно на одном узле
Я новичок в Hadoop, и у меня есть следующие вопросы по этому поводу.
Это то, что я понял в хаупе.
1) Когда какой-либо файл записывается в Hadoop, он сохраняется во всех узлах данных фрагментами (по умолчанию 64 МБ).
2) Когда мы запустим...
2313 просмотров
schedule
15.05.2022
Почему задача spark выполняется на одном узле?
Я установил кластер Spark. У него 4 узла, но когда я запускаю пример SparkPi в кластере, работает только один узел. Как мне это решить?
8153 просмотров
schedule
11.02.2024
Hadoop YARN — производительность LocalJobRunner по сравнению с заданием, развернутым в кластере
Я делаю несколько тестов с заданиями M/R, работающими на 2 узлах кластера Hadoop 2.2.0. Одна вещь, которую я хотел бы понять, — это соображения производительности при запуске задания в локальном режиме (не управляемом ResourceManager) и его запуске в...
304 просмотров
schedule
27.05.2024
Простое приложение для пряжи Hadoop YARN
Я пытаюсь запустить простое приложение для пряжи, указанное здесь: https://github.com/hortonworks/simple-yarn-app
Я новичок в Java и Hadoop, и когда я пытаюсь скомпилировать простой клиентский файл пряжи, используя « javac », я получаю следующую...
1338 просмотров
schedule
11.04.2023
Namenode бросает EPERM: операция не разрешена при запуске
Какими должны быть права доступа к файлам для папок yarn.nodemanager.local-dirs? Я испортил права доступа к файлам для них и не смог решить эту проблему. В настоящее время я установил права доступа к папке 755 yarn:hadoop. Всякий раз, когда я...
1763 просмотров
schedule
09.06.2022
Как в Hadoop 2 + YARN рассчитываются # параллельные преобразователи и # редьюсеры?
Я когда-то искал и обнаружил, что кластер MapReduce с использованием hadoop2 + пряжа имеет следующее количество одновременных карт и сокращений на узел:
Параллельные карты # = yarn.nodemanager.resource.memory-mb / mapreduce.map.memory.mb...
1246 просмотров
schedule
12.09.2022
Какая версия Hadoop поддерживается cassandra 2.0
Я написал задание в Hadoop 2.2.0, которое читает входной файл и массово загружает данные в cassandra 2.0.
Однако я получил ошибку (из-за разницы в распределении хаупов, используемых при компиляции и выполнении)
[root@hadoopslave ~]# hadoop jar...
256 просмотров
schedule
09.02.2024
И планировщик Hadoop Fair, и планировщик емкости не планируют должным образом
Я использую CDH5.1.0 (hadoop 2.3.0). 2 узла имен (2x 32 ГБ ОЗУ, 2 ядра) и 3 узла данных (3x 16 ГБ ОЗУ, 2 ядра)
Я планирую задания mapreduce от одного пользователя в очереди по умолчанию (другие пользователи и другие очереди не настроены).
При...
2096 просмотров
schedule
08.07.2022
Проблемы с записью временного файла на узле данных с помощью Hadoop
Я хотел бы создать файл во время моей программы. Однако я хочу, чтобы этот файл был записан не в HDFS, а в файловой системе узла данных, где выполняется операция map .
Я попробовал следующий подход:
public void map(Object key, Text value,...
2768 просмотров
schedule
10.05.2024
ведомые узлы данных не расположены в хранилище главного узла
Недавно я устанавливаю многоузловой кластер hadoop на Ubuntu, все идет, namenode и вторичный узел (его имя HadoopMaster), все подчиненные устройства 2 (HadoopDataNode1, HadoopDataNode2)
проблема, когда скрипт start-dfs.sh и start-yarn.sh...
1646 просмотров
schedule
28.12.2022
Как включить пользовательскую команду в MapReduceIndexerTool в Oozie?
Я хочу создать рабочий процесс Oozie, который будет использовать MapReduceIndexerTool , чтобы взять мои данные и проиндексировать их. Мне удалось заставить его работать с помощью действия Shell, которое вызывает мой скрипт для выполнения следующей...
1005 просмотров
schedule
22.03.2024
Apache Hue или Apache Ambari - как установить и настроить их вручную
Я настраиваю кластер hadoop 2.5.1 из 5 узлов с zookeeper, oozie, hive и hbase. В настоящее время у меня установлены и запущены hadoop 2 и zookeeper. Я хочу настроить какое-то управление пользовательским интерфейсом для всех служб, чтобы я мог...
4860 просмотров
schedule
23.02.2022
NodeManager и ResourceManager не работают
Я новичок в программировании Hadoop. Я установил Hadoop и настроил один кластер, следуя этому ссылка
NameNode и DataNode работают правильно, и я могу скопировать файл в HDFS. Я вижу эти файлы через веб-интерфейс HDFS. Но не удалось запустить...
3750 просмотров
schedule
09.07.2023
Редуктор/перетасовка Hadoop YARN застрял
Я мигрировал с Hadoop 1 на Hadoop 2 YARN. Исходный код был перекомпилирован с использованием JAR-файлов MRV2 и не имел проблем с совместимостью. Когда я пытался запустить задание в YARN, карта работала нормально и достигла 100%, но сокращение...
1269 просмотров
schedule
04.02.2023
Как я могу отправить каскадное задание в удаленный кластер YARN из Java?
Я знаю, что могу отправить каскадное задание, упаковав его в JAR-файл, как подробно описано в руководстве пользователя каскадирования. Затем это задание будет запущено в моем кластере, если я отправлю его вручную с помощью команды hadoop jar CLI....
1317 просмотров
schedule
01.04.2023
