Вопросы по теме 'accumulator'

с помощью Python уменьшить список пар
Я пытаюсь соединить кучу элементов в списке, чтобы создать конечный объект, аналогично созданию суммы объектов. Я пытаюсь использовать простую вариацию reduce , где для этого вы рассматриваете список пар, а не плоский список. Я хочу сделать что-то...
4422 просмотров

Как получить доступ к аккумуляторам в объекте вне того места, где они были определены?
Я определяю функцию вспомогательной карты как отдельную функцию во вспомогательном объекте, и она не «видит» аккумулятор, определенный ранее в коде. Spark docs рекомендует хранить «удаленные» функции внутри объекта, но как мне заставить все это...
399 просмотров
schedule 14.03.2023

Время Apache Spark для каждой операции на JavaRDD
Вопрос. Является ли это допустимым способом проверки времени, необходимого для создания RDD? Я делаю две вещи здесь. Базовый подход заключается в том, что у нас есть M экземпляров того, что мы называем DropEvaluation, и N DropResults. Нам нужно...
1027 просмотров
schedule 26.07.2023

Как создать накопитель пользовательского набора, например Set[String]?
Я пытаюсь использовать пользовательский аккумулятор в Apache Spark для накопления в наборе. Результат должен иметь тип Set[String]. Для этого я создал собственный аккумулятор: object SetAccumulatorParam extends AccumulatorParam[Set[String]] {...
5840 просмотров
schedule 11.05.2023

Ruby различает два хэша и объединяет их в цикле с кумулятивной суммой
нужна помощь с рубином! У меня есть цикл, когда я собираю данные о процессах PHP (PID, utimes). У меня есть два хеша. Первый «h1» выглядит так: "domain1" => { :utime => 0, :last_seen => 0, :process_count => 0, :process_count_avg...
122 просмотров
schedule 02.07.2022

Как изменить значение на Tuple2 в Java
Я использую аккумулятор в функции сгиба. Я хотел бы изменить значение аккумулятора. Моя функция выглядит примерно так: public Tuple2<String, Long> fold(Tuple2<String, Long> acc, eventClass event) { acc._1 = event.getUser();...
1417 просмотров
schedule 25.02.2023

Haskell: аккумулятор с длиной, суммирование, суммирование квадрата списка
Я новичок в Haskell и пытаюсь реализовать функцию с аккумулятором, но не знаю, как правильно ее использовать. Вот функция, использующая список чисел и возвращающая тройку (Int, Int, Int) с длиной, суммой и суммой квадратов списка с помощью...
44 просмотров
schedule 20.11.2022