У меня есть программа, которая итерирует маппер и редьюсер n раз подряд. Однако для каждой итерации сопоставитель каждой пары ключ-значение вычисляет значение, зависящее от n.
from mrjob.job import mrjob
class MRWord(mrjob):
def mapper_init_def(self):
self.count = {}
def mapper_count(self, key, value):
self.count[key] = 0
print self.count[key]
# print correctly
yield key, value
def mapper_iterate(self, key, value):
yield key, value
print self.count[key]
#error
def reducer_iterate(self, key, value):
yield key, value
def steps(self):
return [
self.mr(mapper_init=self.mapper_init_def, mapper=self.mapper_count),
self.mr(mapper=self.mapper_iterate, reducer=self.reducer_iterate)
]
if __name__ == '__main__':
MRWord.run()
Я определил двухэтапный редюсер преобразователя, так что первый определяет переменную класса self.count. Программа выдает ошибку AttributeError: 'MRWord' object has no attribute 'count'. Кажется, что каждый шаг определяет независимый объект класса mrjob, и эта переменная не может использоваться совместно. Есть ли другой способ сделать это?
