Как добраться до исходного индекса из минипакета?

Предположим, у меня есть мини-пакет в результате этого кода:

test_minibatch = reader_test.next_minibatch(10)

Как я могу получить индексы этого мини-пакета в качестве ссылки на исходные данные? Предположим, мой тестовый набор данных состоит из 100 строк. Как я могу узнать, какие 10 строк из 100 исходных строк находятся в мини-пакете?


person OlavT    schedule 06.01.2017    source источник


Ответы (1)


Можете ли вы создать столбец с уникальным идентификатором (обычно называемый GUID/UUID) и прочитать его в программе чтения. Это один из способов сопоставить образец с мастер-набором. Он хорошо масштабируется с очень большими наборами данных, охватывающими несколько дисков и распределенных вычислительных сред.

person Sayan Pathak    schedule 06.01.2017
comment
Я думал, что CNTK создал какой-то уникальный идентификатор для каждой строки входных данных. Разве это не так? - person OlavT; 06.01.2017
comment
Было бы неплохо, если бы CNTK мог предоставить уникальный идентификатор для каждой строки входных данных, но в моем случае я проделал некоторую работу, чтобы добавить идентификатор. - person OlavT; 10.01.2017