Публикации по теме 'mapreduce'


Отображение, фильтрация и сокращение демистификации
Карта, Фильтр и Уменьшение - три мощных инструмента функционального программирования. Понимание карты map возвращает новый массив каждого элемента в массиве, запущенном через функцию. Это делает его особенно полезным для перебора массивов и их изменения. Это примерно эквивалентно следующему: const map = (array, fn)=>{ let returned = [] for(let [index, item] of array) returned.push(fn(item, index)) return returned } Использование карты для преобразования значения..

MapReduce объяснил
Введение и краткое объяснение MapReduce - это среда программирования для обработки больших данных на распределенных платформах, созданная Google в 2004 году. Мы можем рассматривать вычисление как последовательность раундов. Каждый раунд имеет цель преобразовать набор пар ключ-значение в другой набор пар ключ-значение в следующие два основных этапа: Этап сопоставления : пользователь указывает функцию сопоставления, которая применяется к каждой паре "ключ-значение", создавая другие..

Вопросы по теме 'mapreduce'

Как управлять именем и содержимым выходных файлов задания потоковой передачи Hadoop?
Есть ли способ управлять именами выходных файлов задания Hadoop Streaming? В частности, я хотел бы, чтобы содержимое и имя выходных файлов моей работы были организованы кетом, который выводит редуктор - каждый файл будет содержать значения только для...
9654 просмотров
schedule 07.06.2022

Можно ли запустить приложение .NET (или метод из .NET dll) в Amazon Elastic MapReduce?
Что мне нужно, так это мощная машина, которая будет запускать мой код .NET один час в день. Я не могу использовать EC2, потому что он потеряет все мои данные при завершении работы. Мне нужен виртуальный ПК, который я могу запускать в определенное...
483 просмотров
schedule 18.11.2022

Подходит ли мне MapReduce?
Я работаю над проектом, который занимается анализом очень большого объема данных, поэтому я открыл для себя MapReduce совсем недавно, и прежде чем углубляться в него, я хотел бы убедиться, что мои ожидания верны. Взаимодействие с данными будет...
4243 просмотров
schedule 31.05.2023

Ошибка в Hadoop MapReduce
Когда я запускаю программу mapreduce с помощью Hadoop, я получаю следующую ошибку. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with nonzero...
11870 просмотров
schedule 01.05.2022

Mapreduce с Риаком
У кого-нибудь есть пример кода для mapreduce для Riak, который можно запустить на одном узле Riak.
3412 просмотров
schedule 06.04.2024

Поиск совпадающих строк с помощью Hadoop/MapReduce
Я играю с Hadoop и настроил двухузловой кластер на Ubuntu. Пример WordCount работает нормально. Теперь я хотел бы написать свою собственную программу MapReduce для анализа некоторых данных журнала (основная причина: это выглядит просто, и у меня...
2010 просмотров
schedule 18.11.2023

Какую систему программирования с распределённой картой проще всего использовать?
Какую систему программирования с распределённой картой проще всего использовать? Например. в распределенном хранилище данных, содержащем много пользователей, у каждого из которых много подключений, скажем, я хотел подсчитать общее количество...
785 просмотров
schedule 07.08.2023

Как я могу просмотреть избранные пользовательские документы пользователем в Couchdb map/reduce?
Моя база данных Couchdb в качестве основного типа документа выглядит примерно так: { "_id" : "doc1", "type" : "main_doc", "title" : "the first doc" ... } Существует еще один тип документа, в котором хранится информация о...
267 просмотров
schedule 15.03.2022

Настройка ведения журнала Hadoop, чтобы избежать слишком большого количества файлов журнала
У меня проблема с тем, что Hadoop создает слишком много файлов журналов в $HADOOP_LOG_DIR/userlogs (файловая система Ext3 допускает только 32000 подкаталогов), что похоже на ту же проблему в этом вопросе: Ошибка в Hadoop MapReduce Мой вопрос:...
13552 просмотров
schedule 26.03.2023

Система программирования MapReduce в java-actionscript
Только что закончил читать 23-ю главу превосходного «Красивого кода» http://oreilly.com/catalog/9780596510046 . по распределенному программированию с помощью MapReduce. Я понимаю, что MapReduce — это система программирования, предназначенная для...
357 просмотров
schedule 23.05.2023

Карта Монго Уменьшить в первый раз
Впервые сопоставьте/уменьшите пользователя здесь и используя MongoDB. У меня есть много данных о посещении страниц, которые я хотел бы понять с помощью Map/Reduce. Ниже в основном то, что я хочу сделать, но, как новичок в Map/Reduce, я думаю, что...
10526 просмотров
schedule 12.05.2022

Структура списка смежности в HBase
Я пытаюсь реализовать следующий алгоритм сокращения графа в Граф является неориентированным взвешенным графом Я хочу удалить все узлы только с двумя соседями и обновить вес Взгляните на следующую иллюстрацию:...
859 просмотров
schedule 05.04.2023

Как объединить несколько заданий Hadoop MapReduce в одно?
У меня есть огромное количество входных данных (поэтому я использую Hadoop), и есть несколько задач, которые можно решить с помощью различных шагов MapReduce, из которых первому сопоставителю нужны все данные в качестве входных данных. Моя цель:...
3394 просмотров
schedule 09.04.2023

Есть ли каноническая проблема, которую нельзя решить с помощью map/reduce?
Я пытаюсь понять границы hadoop и map/reduce, и это помогло бы узнать нетривиальную проблему или класс проблем, с которыми, как мы знаем, map/reduce не может помочь. Конечно, было бы интересно, если бы изменение одного фактора проблемы позволило...
1515 просмотров
schedule 22.01.2024

Можно ли запустить Hadoop в псевдо-распределенном режиме без HDFS?
Я изучаю варианты запуска приложения hadoop в локальной системе. Как и во многих приложениях, первые несколько выпусков должны работать на одном узле, если мы можем использовать все доступные ядра ЦП (да, это связано с этот вопрос ). Текущее...
4136 просмотров
schedule 25.10.2023

могут ли HBase, MapReduce и HDFS работать на одной машине, на которой установлен и запущен Hadoop?
Я работаю над дизайном поисковой системы, которая будет работать в облаке. Мы только начали и не очень хорошо разбираемся в Hdoop. Может ли кто-нибудь сказать, могут ли HBase, MapReduce и HDFS работать на одной машине, на которой установлен и...
825 просмотров
schedule 10.09.2023

Сортировка дат в представлениях CouchDB
У меня есть вложенный объект JSON для ключа status ниже: { "2011-01-19 09:41:00 AM": "Prototyping status application", "2011-01-20 09:41:00 AM": "Playing with CouchDB" } Это небольшое приложение, в котором пользователь может ввести...
13090 просмотров
schedule 25.09.2023

Перенос кода Parallel Python в облако
Узнав, что проект научных вычислений (оказывается методом стохастической трактографии описан здесь ) В настоящее время я работаю над исследованием, которое займет 4 месяца в нашем кластере из 50 узлов. Исследователь попросил меня изучить другие...
1473 просмотров

Twisted Threading + MapReduce на одном узле/сервере?
Меня смущает Twisted threading. Я слышал и читал немало статей, книг и просмотрел несколько презентаций на тему потоков и процессов в Python. Мне просто кажется, что если кто-то не выполняет много операций ввода-вывода или не хочет использовать...
1001 просмотров
schedule 07.02.2022

карта цепи Hadoop/уменьшить
Я связал 2 маппера, за которыми следует 1 редуктор. Можно ли записать промежуточные результаты (o/p каждого преобразователя в цепочке) в HDFS? Я попытался установить OutputPath для каждого, но, похоже, это не сработало. Теперь я не уверен, что это...
1166 просмотров
schedule 25.02.2024