Обновление параметров пакетной нормализации в коде тензорного потока с несколькими графическими процессорами?

Я написал код Cnn для нескольких графических процессоров.

В этой ссылке они прокомментировали строку 249.

# Сохраняйте операции обновления пакетной нормализации только из # последней башни. В идеале мы должны получать обновления со всех # башен, но эта статистика накапливается очень быстро, поэтому мы можем # игнорировать другие # характеристики с других башен без существенного ущерба.

но этот код обновления пакетной нормы (в строке 253):

with tf.device('/gpu:%d' % i):
.
.
.
  batchnorm_updates = 
  tf.get_collection(slim.ops.UPDATE_OPS_COLLECTION,scope)

делается для всех башен (графических процессоров), так где правильное место для этого обновления?


python tensorflow deep-learning distributed-computing batch-normalization
person creative_sh    schedule 28.12.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Я думаю, вы неправильно понимаете код.

как for loop в коде,

for i in range(FLAGS.num_gpus):
  with tf.device('/gpu:%d' % i):
    with tf.name_scope('%s_%d' % (inception.TOWER_NAME, i)) as scope:

      with slim.arg_scope([slim.variables.variable], device='/cpu:0'):

      ......

      batchnorm_updates = tf.get_collection(slim.ops.UPDATE_OPS_COLLECTION,
                                            scope)

batchnorm_updatesбудет заменяться после каждого for loop, поэтому он просто содержит операции обновления пакетной нормализации последней башни, когда выполняется for loop.

person one    schedule 16.07.2018