IndexError: список индексов вне допустимого диапазона в TensorFlow

Я получил ошибку, IndexError: индекс списка вне диапазона. Traceback говорит

Run id: P0W5X0
Log directory: /tmp/tflearn_logs/
Exception in thread Thread-2:
Traceback (most recent call last):
  File "/usr/local/Cellar/python@2/2.7.15/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 801, in __bootstrap_inner
    self.run()
  File "/usr/local/Cellar/python@2/2.7.15/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 754, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/Users/xxx/anaconda/xxx/lib/python2.7/site-packages/tflearn/data_flow.py", line 201, in fill_batch_ids_queue
    ids = self.next_batch_ids()
  File "/Users/xxx/anaconda/xxx/lib/python2.7/site-packages/tflearn/data_flow.py", line 215, in next_batch_ids
    batch_start, batch_end = self.batches[self.batch_index]
IndexError: list index out of range

Я писал коды,

# coding: utf-8
import tensorflow as tf
import tflearn

from tflearn.layers.core import input_data,dropout,fully_connected
from tflearn.layers.conv import conv_2d, max_pool_2d
from tflearn.layers.normalization import local_response_normalization
from tflearn.layers.estimator import regression

tf.reset_default_graph()
net = input_data(shape=[None,20000, 4, 42])
net = conv_2d(net, 4, 16, activation='relu')
net = max_pool_2d(net, 1)
net = tflearn.activations.relu(net)
net = dropout(net, 0.5)
net = tflearn.fully_connected(net, 2, activation='softmax')
net = tflearn.regression(net, optimizer='adam', learning_rate=0.5, loss='categorical_crossentropy')

model = tflearn.DNN(net)

model.fit(np.array(trainDataSet).reshape(1,20000, 4, 42), np.array(trainLabel), n_epoch=400, batch_size=32, validation_set=0.1, show_metric=True)


pred = np.array(model.predict(np.array(testDataSet).reshape(1,20000, 4, 42)).argmax(axis=1))

label = np.array(testLabel).argmax(axis=0)
accuracy = np.mean(pred == label, axis=0)

print(accuracy)

Я действительно не могу понять, почему возникает такая ошибка. Я пытался переписать в

model.fit(np.array(trainDataSet).reshape(1,20000, 4, 42), np.array(trainLabel), n_epoch=400, batch_size=1, validation_set=0.1, show_metric=True)

потому что bach вызывает эту ошибку, но происходит та же ошибка. Я переписываю другое число в этой части, но возникает та же ошибка. Что не так в моих кодах? Как мне это исправить?

python tensorflow tflearn

user10492592 21.11.2018 источник

comment

расскажите мне о наборе обучающих данных. Что это такое и почему оно имеет такую форму? из input_data(shape=[None,20000, 4, 42]) видно, что вы ожидаете некоторое количество партий формы 20000x4x42, но вы подаете 1 образец 20000x4x42 в свою модель. - Anton Codes 21.11.2018

comment

Я немного не понимаю, о чем вы говорите.np.array(trainDataSet).shape это (20000, 4, 42). - user10492592 22.11.2018

Ответы (2)

arrow_upward
2
arrow_downward

Вопрос

Как я могу исправить ошибку индекса списка вне диапазона?

Отвечать

Из вашего кода видно, что ваш тренировочный и тестовый набор, который вы передаете в нейронную сеть, имеет только 1 элемент, заданный изменением формы (1,20000, 4, 42) формы 20000x4x42. Я полагаю, вы имели в виду 20000 элементов 4x42.

Вместо reshape(1,20000, 4, 42) давайте использовать reshape(20000, 4, 42, 1). Нам также придется изменить input_data(shape=[None, 20000, 4, 42]) на input_data(shape=[None, 4, 42, 1])

Если вы сделаете это, ваш код работает нормально.

Рабочий код

# coding: utf-8
import tensorflow as tf
import tflearn

from tflearn.layers.core import input_data,dropout,fully_connected
from tflearn.layers.conv import conv_2d, max_pool_2d
from tflearn.layers.normalization import local_response_normalization
from tflearn.layers.estimator import regression

tf.reset_default_graph()
net = input_data(shape=[None, 4, 42, 1])
net = conv_2d(net, 4, 16, activation='relu')
net = max_pool_2d(net, 1)
net = tflearn.activations.relu(net)
net = dropout(net, 0.5)
net = tflearn.fully_connected(net, 2, activation='softmax')
net = tflearn.regression(net, optimizer='adam', learning_rate=0.5, loss='categorical_crossentropy')

model = tflearn.DNN(net)

model.fit(np.array(trainDataSet).reshape(20000, 4, 42, 1), np.array(trainLabel), n_epoch=400, batch_size=32, validation_set=0.1, show_metric=True)


pred = np.array(model.predict(np.array(testDataSet).reshape(20000, 4, 42, 1)).argmax(axis=1))

label = np.array(testLabel).argmax(axis=0)
accuracy = np.mean(pred == label, axis=0)

print(accuracy)

Выход

Чтобы приведенный выше код работал, мы должны включить некоторые обучающие и тестовые данные. Numpy random используется так

import numpy as np

trainDataSet = np.random.rand(20000, 4, 42)
trainLabel = ( np.random.rand(20000,2) > .5 ) *1.0

testDataSet = np.random.rand(20000, 4, 42)
testLabel = ( np.random.rand(20000,2) > .5 ) *1.0

Вот результат

Run id: JDSG88
Log directory: /tmp/tflearn_logs/
---------------------------------
Training samples: 18000
Validation samples: 2000
--
Training Step: 563  | total loss: 12.13387 | time: 5.312s
| Adam | epoch: 001 | loss: 12.13387 - acc: 0.7138 | val_loss: 11.90437 - val_acc: 0.7400 -- iter: 18000/18000
--
Training Step: 1126  | total loss: 11.58909 | time: 5.184s
| Adam | epoch: 002 | loss: 11.58909 - acc: 0.7496 | val_loss: 11.90437 - val_acc: 0.7400 -- iter: 18000/18000
--
Training Step: 1689  | total loss: 11.93482 | time: 5.174s
| Adam | epoch: 003 | loss: 11.93482 - acc: 0.7357 | val_loss: 11.90437 - val_acc: 0.7400 -- iter: 18000/18000
--
...

Anton Codes 29.03.2019

arrow_upward
0
arrow_downward

У меня тоже была такая же проблема с вами. Мое решение состоит в том, чтобы сделать число n_epoch равным номеру вашей строки в наборе данных. Например, форма моего массива 461 * 5, значение n_epoch равно 461. Вы также можете сделать значение немного больше или меньше, чем номер вашей строки. В моем коде также полезны 500 или 400.

taylor 24.11.2018