Чтение набора данных MNIST с помощью javascript/node.js

Я понял, что в моей структуре объекта pixelValues ​​будут повторяющиеся ключи, поэтому я создал вместо него массив объектов. Следующий код создаст структуру, которая мне нужна:

var dataFileBuffer  = fs.readFileSync(__dirname + '/train-images-idx3-ubyte');
var labelFileBuffer = fs.readFileSync(__dirname + '/train-labels-idx1-ubyte');
var pixelValues     = [];

// It would be nice with a checker instead of a hard coded 60000 limit here
for (var image = 0; image <= 59999; image++) { 
    var pixels = [];

    for (var x = 0; x <= 27; x++) {
        for (var y = 0; y <= 27; y++) {
            pixels.push(dataFileBuffer[(image * 28 * 28) + (x + (y * 28)) + 15]);
        }
    }

    var imageData  = {};
    imageData[JSON.stringify(labelFileBuffer[image + 8])] = pixels;

    pixelValues.push(imageData);
}

Структура pixelValues ​​теперь примерно такая:

[
    {5: [28,0,0,0,0,0,0,0,0,0...]},
    {0: [0,0,0,0,0,0,0,0,0,0...]},
    ...
]

Есть значения 28x28=784 пикселя, все варьируются от 0 до 255.

Чтобы визуализировать пиксели, используйте мои циклы for, как я делал выше, визуализируя первый пиксель в верхнем левом углу, а затем продвигаясь вправо.

Просто небольшое улучшение:

for (var image = 0; image <= 59999; image++) {

с 60000 есть «запись» с нулевым значением в самом конце вашего pixelValues.

ИЗМЕНИТЬ:

Я был немного одержим деталями, потому что хотел преобразовать набор данных MNIST обратно в реальные и отдельные файлы изображений. Итак, я нашел больше ошибок в вашем коде.

1. это определенно +16, потому что вы должны пропустить 16 байтов данных заголовка. Эта небольшая ошибка отражена в вашем ответе, где значение первого пикселя первой цифры (с 5) равно «28». На самом деле это значение, указывающее, сколько столбцов имеет изображение, а не первый пиксель изображения.

2. Ваши вложенные циклы for должны быть вывернуты наизнанку, чтобы получить правильный порядок пикселей - при условии, что вы «перестроите» свое изображение из верхнего левого угла в нижний правый угол. С вашим кодом изображение будет перевернуто вдоль оси, идущей из левого верхнего угла в правый нижний.

Итак, ваш код должен быть:

var dataFileBuffer  = fs.readFileSync(__dirname + '/train-images-idx3-ubyte');
var labelFileBuffer = fs.readFileSync(__dirname + '/train-labels-idx1-ubyte');
var pixelValues     = [];

// It would be nice with a checker instead of a hard coded 60000 limit here
for (var image = 0; image <= 59999; image++) { 
    var pixels = [];

    for (var y = 0; y <= 27; y++) {
        for (var x = 0; x <= 27; x++) {
            pixels.push(dataFileBuffer[(image * 28 * 28) + (x + (y * 28)) + 16]);
        }
    }

    var imageData  = {};
    imageData[JSON.stringify(labelFileBuffer[image + 8])] = pixels;

    pixelValues.push(imageData);
}

Эти маленькие детали не будут проблемой, если вы останетесь последовательными и будете использовать эти извлеченные данные, например, для обучения нейронных сетей, потому что вы будете делать то же самое с набором данных для тестирования. Но если вы захотите взять эту нейронную сеть, обученную MNIST, и попытаться проверить ее с помощью реальных рукописных цифр, вы получите плохие результаты, потому что реальные изображения не перевернуты.