Со страницы я получил следующий код:
from numpy import array
from keras.preprocessing.text import one_hot
from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Flatten
from keras.layers.embeddings import Embedding
# define documents
docs = ['Well done!',
'Good work',
'Great effort',
'nice work',
'Excellent!',
'Weak',
'Poor effort!',
'not good',
'poor work',
'Could have done better.']
# define class labels
labels = array([1,1,1,1,1,0,0,0,0,0])
# integer encode the documents
vocab_size = 50
encoded_docs = [one_hot(d, vocab_size) for d in docs]
print(encoded_docs)
# pad documents to a max length of 4 words
max_length = 4
padded_docs = pad_sequences(encoded_docs, maxlen=max_length, padding='post')
print(padded_docs)
# define the model
model = Sequential()
model.add(Embedding(vocab_size, 8, input_length=max_length))
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))
# compile the model
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc'])
# summarize the model
print(model.summary())
# fit the model
model.fit(padded_docs, labels, epochs=50, verbose=0)
# evaluate the model
loss, accuracy = model.evaluate(padded_docs, labels, verbose=0)
print('Accuracy: %f' % (accuracy*100))
- Я посмотрел на
encoded_docs
и заметил, что словаdone
иwork
имеют кодировку one_hot, равную 2, почему? Это потому, чтоunicity of word to index mapping non-guaranteed.
согласно этой странице? - Я получил
embeddings
по командеembeddings = model.layers[0].get_weights()[0]
. в таком случае, почему мы получаем объектembedding
размера 50? Даже если два слова имеют одинаковый номер one_hot, имеют ли они разное вложение? - как я мог понять, какое вложение для какого слова, т.е.
done
противwork
Я также нашел ниже код на странице , который может помогите найти вложение каждого слова. Но я не знаю, как создать
word_to_index
word_to_index
- это отображение (т.е. dict) слов в их индекс, например.love
: 69 words_embeddings = {w:embeddings[idx] для w, idx в word_to_index.items()}Убедитесь, что я правильно понимаю
para #
.
Первый слой имеет 400 параметров, потому что общее количество слов равно 50, а встраивание имеет 8 измерений, поэтому 50 * 8 = 400.
Последний слой имеет 33 параметра, потому что каждое предложение состоит максимум из 4 слов. Так 4*8 из-за размеров заделки и 1 по уклону. всего 33
_________________________________________________________________
Layer (type) Output Shape Param#
=================================================================
embedding_3 (Embedding) (None, 4, 8) 400
_________________________________________________________________
flatten_3 (Flatten) (None, 32) 0
_________________________________________________________________
dense_3 (Dense) (None, 1) 33
=================================================================
- Наконец, если 1 выше верно, есть ли лучший способ получить слой внедрения
model.add(Embedding(vocab_size, 8, input_length=max_length))
без выполнения одного горячего кодированияencoded_docs = [one_hot(d, vocab_size) for d in docs]
+++++++++++++++++++++++++++++++++ обновление - предоставление обновленного кода
from numpy import array
from keras.preprocessing.text import one_hot
from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Flatten
from keras.layers.embeddings import Embedding
# define documents
docs = ['Well done!',
'Good work',
'Great effort',
'nice work',
'Excellent!',
'Weak',
'Poor effort!',
'not good',
'poor work',
'Could have done better.']
# define class labels
labels = array([1,1,1,1,1,0,0,0,0,0])
from keras.preprocessing.text import Tokenizer
tokenizer = Tokenizer()
#this creates the dictionary
#IMPORTANT: MUST HAVE ALL DATA - including Test data
#IMPORTANT2: This method should be called only once!!!
tokenizer.fit_on_texts(docs)
#this transforms the texts in to sequences of indices
encoded_docs2 = tokenizer.texts_to_sequences(docs)
encoded_docs2
max_length = 4
padded_docs2 = pad_sequences(encoded_docs2, maxlen=max_length, padding='post')
max_index = array(padded_docs2).reshape((-1,)).max()
# define the model
model = Sequential()
model.add(Embedding(max_index+1, 8, input_length=max_length))# you cannot use just max_index
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))
# compile the model
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc'])
# summarize the model
print(model.summary())
# fit the model
model.fit(padded_docs2, labels, epochs=50, verbose=0)
# evaluate the model
loss, accuracy = model.evaluate(padded_docs2, labels, verbose=0)
print('Accuracy: %f' % (accuracy*100))
embeddings = model.layers[0].get_weights()[0]
embeding_for_word_7 = embeddings[14]
index = tokenizer.texts_to_sequences([['well']])[0][0]
tokenizer.document_count
tokenizer.word_index