Преобразование конфигурации Caffe в конфигурацию DeepLearning4J

Этот Github репозиторий содержит сравнения одной и той же модели между DL4J, Caffe, Tensorflow, Torch.

• 1-й слой — DL4J ConvolutionLayer, и вы можете передавать атрибуты, касающиеся nOut, ядра, шага и weightInit. Из быстрого поиска видно, что msra эквивалентна WeightInit.RELU, а variance_norm еще не поддерживается моделью.
• 2-й слой является частью ConvolutionLayer, который является атрибутом активации; таким образом, установите для слоя атрибут «relu». Отрицательный уклон пока не поддерживается моделью.
• 3-й слой также является атрибутом ConvolutionLayer, который выпадает, и вы должны пройти в 0.2. Идет работа по созданию конкретного DropOutLayer, но он еще не объединен.
• 4-й слой был бы DenseLayer, если бы после него был еще один слой, но, поскольку это последний слой, это OutputLayer
• blobs_lr применяет множитель к весу lr и смещению lr соответственно. Вы можете
• изменить скорость обучения на слое, установив атрибуты на этом слое для LearningRate иbiasLearningRate
• weight_decay устанавливает l1 или l2 для слоя, который вы можете установить для каждого слоя с атрибутами l1 или l2. DL4J по умолчанию не применяет l1 или l2 для смещения, поэтому второй weight_decay установлен на 0 в Caffe.
• заполнитель смещения уже по умолчанию является постоянным и по умолчанию равен 0.

Ниже приведен краткий пример того, как будет переводиться ваш код. Дополнительную информацию можно найти в примерах DL4J:

    int learningRate = 0.1;
    int l2 = 0.005;
    int intputHeight = 28;
    int inputWidth = 28;
    int channels = 1;

    MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
        .seed(seed)
        .iterations(iterations)
        .regularization(false).l2(l2)
        .learningRate(learningRate)
        .list()
        .layer(0, new ConvolutionLayer.Builder(new int[]{2,2}, new int[] {1,1})
            .name("myLayer1")
            .activation("relu").dropOut(0.2).nOut(20)
            .biasLearningRate(2*learningRate).weightInit(WeightInit.RELU)
            .build())
        .layer(1, new OutputLayer.Builder()
            .name("myLayer4").nOut(10)
            .activation("softmax").l2(1 * l2).biasLearningRate(2*learningRate)
            .weightInit(WeightInit.XAVIER).build())
        .setInputType(InputType.convolutionalFlat(inputHeight,inputWidth,channels))
        .build();

нет автоматического способа сделать это, но отображение DSL-строителя только для нескольких слоев не должно быть сложным. Самый минимальный пример здесь: https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/convolution/LenetMnistExample.java

У нас есть смещение Init как часть конфигурации, если вы только что прочитали javadoc: http://deeplearning4j.org/doc