Слой ELMo Embedding с Keras

Я также использовал этот репозиторий в качестве руководства для создания модели CustomELMo + BiLSTM + CRF, и мне нужно было изменить поиск dict на elmo вместо default. Как отметила Анна Крогагер, когда поиск dict является «по умолчанию», вывод будет (batch_size, dim), что недостаточно для размеров LSTM. Однако, когда поиск dict равен ['elmo'], слой возвращает тензор правильных размеров, а именно формы (batch_size, max_length, 1024).

Пользовательский слой ELMo:

class ElmoEmbeddingLayer(Layer):
def __init__(self, **kwargs):
    self.dimensions = 1024
    self.trainable = True
    super(ElmoEmbeddingLayer, self).__init__(**kwargs)

def build(self, input_shape):
    self.elmo = hub.Module('https://tfhub.dev/google/elmo/2', trainable=self.trainable,
                           name="{}_module".format(self.name))

    self.trainable_weights += K.tf.trainable_variables(scope="^{}_module/.*".format(self.name))
    super(ElmoEmbeddingLayer, self).build(input_shape)

def call(self, x, mask=None):
    result = self.elmo(K.squeeze(K.cast(x, tf.string), axis=1),
                       as_dict=True,
                       signature='default',
                       )['elmo']
    print(result)
    return result

# def compute_mask(self, inputs, mask=None):
#   return K.not_equal(inputs, '__PAD__')

def compute_output_shape(self, input_shape):
    return input_shape[0], 48, self.dimensions

Модель построена следующим образом:

def build_model(): # uses crf from keras_contrib
    input = layers.Input(shape=(1,), dtype=tf.string)
    model = ElmoEmbeddingLayer(name='ElmoEmbeddingLayer')(input)
    model = Bidirectional(LSTM(units=512, return_sequences=True))(model)
    crf = CRF(num_tags)
    out = crf(model)
    model = Model(input, out)
    model.compile(optimizer="rmsprop", loss=crf_loss, metrics=[crf_accuracy, categorical_accuracy, mean_squared_error])
    model.summary()
    return model

Надеюсь, мой код будет вам полезен, даже если это не совсем та же модель. Обратите внимание, что мне пришлось закомментировать метод compute_mask, когда он выбрасывает

InvalidArgumentError: Incompatible shapes: [32,47] vs. [32,0]    [[{{node loss/crf_1_loss/mul_6}}]]

где 32 - размер пакета, а 47 - на единицу меньше, чем указанная мной max_length (предположительно, это означает, что он учитывает сам токен панели). Я еще не выяснил причину этой ошибки, так что это может подойти вам и вашей модели. Однако я заметил, что вы используете ГРУ, и в репозитории есть нерешенная проблема с добавлением ГРУ. Так что мне любопытно, понимаете ли вы это тоже.

Слой встраивания Elmo выводит одно вложение для каждого входа (таким образом, форма вывода равна (batch_size, dim)), тогда как ваш LSTM ожидает последовательность (т.е. форму (batch_size, seq_length, dim)). Я не думаю, что имеет смысл иметь слой LSTM после слоя внедрения Elmo, поскольку Elmo уже использует LSTM для встраивания последовательности слов.