Модель с несколькими выходами при использовании Imagedatagenerator

Можно ли использовать Imagedatagenerator с flow_from_directory с несколькими выходами?

Я хочу пролить модель как на картинке ниже. Моя проблема в том, что выход слева - class_mode = категоричный, а остальные - двоичные. Я уже могу скомпилировать модель, но понятия не имею, как работать с метками, если я хочу использовать flow_from_directory. Есть ли способ использовать flow_from_directory с несколькими выходами?

архитектура модели


keras tensorflow data-science data-augmentation
person makalele    schedule 24.08.2020    source источник
comment
каковы ваши цели? откуда они берутся?   -  person Nicolas Gervais    schedule 24.08.2020

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете использовать ImageDataGenerator как обычно. Вам нужно будет использовать функциональный API Keras. Давайте посмотрим на этот пример, в котором мы будем использовать трансферное обучение, но я сохраню ту же конечную структуру, что и ваша сеть.

base_model = MobileNetV2(weights='imagenet', include_top=False, input_shape=(400,400,3))
x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Flatten(x)
x1 = Dense(1024, activation='relu')(x)
output1 = Dense(20,activation='softmax', name='toutput')(x1)

y = Dense(512, activation='relu')(x)
y = Dense(512, activation='relu')(y)
output2 = Dense(2,activation='softmax', name='r_output')(y)
output3 = Dense(4, activation='sigmoid', name='ri_output')(y)
output4 = Dense(12, activation='softmax', name='li_output')(y)

Теперь сеть имеет 4 выхода, как на вашей картинке. Теперь мы можем скомпилировать и дать каждому выходу собственную функцию потерь. Мы можем ссылаться на каждый вывод по его «имени».

optimizer = Adam(learning_rate=.0001)
losses = {
    'toutput': 'categorical_crossentropy',
    'r_output': "mean_absolute_error",
    'ri_output': "mean_absolute_error",
    'li_output': "mean_squared_error",
    }

Если вам нужны конкретные показатели, вы можете:

model.compile(optimizer=optimizer, loss=losses, metrics={'toutput':'accuracy', ...)
person theastronomist    schedule 24.08.2020
comment
ImageDataGenerator выводит метку на основе структуры каталогов. Как он может выводить 4 разных выхода? - person Nicolas Gervais; 24.08.2020
comment
В зависимости от того, что именно вы хотите вывести, вы можете использовать tf.dataset для сопоставления с другими атрибутами. Например, вы можете перебирать каждый пакет и сопоставлять его с записью tf.dataset, я рекомендую использовать tfrecord. Затем вы можете вернуть эту запись и исходные данные из генератора. - person theastronomist; 24.08.2020
comment
Спасибо. Совет использовать tf.dataset звучит многообещающе. - person makalele; 25.08.2020