Как сгенерировать изображение спектрограммы из Deeplearning4J org.datavec.audio.Spectrogram?

Я ищу способы создания изображения спектрограммы в приложении для Android. Я нашел этот проект, который выполняет половину требуемой работы: загружает аудиофайл и создает двумерный массив интенсивностей в заданное время и с заданной частотой. Однако теперь я немного растерялся: как из этих данных создать удобочитаемую картинку?

Насколько я понимаю, это будет включать сопоставление значений интенсивности из диапазона с плавающей запятой [-1,1] с цветами пикселей. Но, будучи нубом в обработке звука, я не знаю, как это делают другие приложения.

Я не ищу точный код: я был бы признателен только за описание общего подхода.


java deeplearning4j spectrogram
person Arry    schedule 20.09.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Библиотека предоставляет функцию public double[][] getNormalizedSpectrogramData() для возврата данных аудиоспектрограммы, которые представляют собой нормализованные числовые данные (между 0 и ).

Первый индекс возвращаемого значения — это количество выборок, тогда как второй индекс — это значения частотного диапазона (возможно, я не прав, исправления приветствуются!).

Есть много способов отобразить это, я создал рабочий пример в JavaFX:

import javafx.event.ActionEvent;
import javafx.scene.image.ImageView;
import javafx.scene.image.PixelWriter;
import javafx.scene.image.WritableImage;
import javafx.scene.paint.Color;
import org.datavec.audio.Wave;
import org.datavec.audio.extension.*;

import java.io.InputStream;

public class Controller {
    public ImageView imgDisplay;

    public void loadMusic(ActionEvent actionEvent) {
        InputStream is = getClass().getResourceAsStream("/sounds/oxp.wav");
        Wave wave = new Wave(is);
        Spectrogram sptr = new Spectrogram(wave);

        double[][] spData = sptr.getNormalizedSpectrogramData();
        WritableImage resImg = new WritableImage(spData.length,spData[0].length);
        PixelWriter pxWr = resImg.getPixelWriter();

        int x = 0, y = 0;
        for(double[] col : spData) /* or row?! */
        {
            y = 0;
            for(double item : col)
            {
                resImg.getPixelWriter().setColor(x,y, Color.rgb((int)(item * 255),(int)(item * 255),(int)(item * 255)));
                y++;
            }
            x++;
        }

        System.out.println("Done! Image size is: " + x + "," + y);
        imgDisplay.setFitWidth(x);
        imgDisplay.setFitHeight(y);
        imgDisplay.setImage(resImg);
    }
}
person David Tóth    schedule 18.04.2019