Как рассчитать неопределенность прогноза с помощью Keras?

Если вы хотите реализовать подход dropout для измерения неопределенности, вам следует сделать следующее:

1. Реализуйте функцию, которая применяет dropout также во время тестирования:

   import keras.backend as K
   f = K.function([model.layers[0].input, K.learning_phase()],
                  [model.layers[-1].output])
   

2. Используйте эту функцию как предсказатель неопределенности, например следующим образом:

   def predict_with_uncertainty(f, x, n_iter=10):
       result = numpy.zeros((n_iter,) + x.shape)
   
       for iter in range(n_iter):
           result[iter] = f(x, 1)
   
       prediction = result.mean(axis=0)
       uncertainty = result.var(axis=0)
       return prediction, uncertainty
   

Конечно, вы можете использовать любую другую функцию для вычисления неопределенности.

Внесен несколько изменений в ответ, получивший наибольшее количество голосов. Теперь у меня работает.

Это способ оценки неопределенности модели. В качестве другого источника неопределенности я нашел https://eng.uber.com/neural-networks-unsurety-estimation/ полезно.

f = K.function([model.layers[0].input, K.learning_phase()],
               [model.layers[-1].output])


def predict_with_uncertainty(f, x, n_iter=10):
    result = []

    for i in range(n_iter):
        result.append(f([x, 1]))

    result = np.array(result)

    prediction = result.mean(axis=0)
    uncertainty = result.var(axis=0)
    return prediction, uncertainty

Более простой способ - установить training=True на любых выпадающих слоях, которые вы хотите запустить во время логического вывода (по сути, заставляет слой работать так, как будто он всегда находится в режиме обучения - поэтому он всегда присутствует как для обучения, так и для вывода).

import keras

inputs = keras.Input(shape=(10,))
x = keras.layers.Dense(3)(inputs)
outputs = keras.layers.Dropout(0.5)(x, training=True)

model = keras.Model(inputs, outputs)

Приведенный выше код взят из этой проблемы.

В вашей модели используется активация softmax, поэтому самый простой способ получить некоторую меру неопределенности - это посмотреть на выходные вероятности softmax:

probs = model.predict(some input data)[0]

Тогда массив probs будет 10-элементным вектором чисел в диапазоне [0, 1], сумма которых равна 1,0, поэтому их можно интерпретировать как вероятности. Например, вероятность цифры 7 равна probs[7].

Затем с помощью этой информации вы можете выполнить некоторую постобработку, обычно прогнозируемый класс имеет самую высокую вероятность, но вы также можете посмотреть на класс со второй по величине вероятностью и т. Д.