MLKit Firebase android - Как преобразовать FirebaseVisionFace в объект изображения (например, растровое изображение)?

Вы создали FirebaseVisionImage из растрового изображения. После возврата обнаружения каждый FirebaseVisionFace описывает ограничивающий прямоугольник как Rect, который можно использовать для извлечения обнаруженного лица из исходного растрового изображения, например используя Bitmap.createBitmap ().

Поскольку принятый ответ не был достаточно конкретным, я постараюсь объяснить, что я сделал.

1.- Создайте ImageView на LivePreviewActivity следующим образом:

private ImageView imageViewTest;

2.- Создайте его в Activity xml и свяжите с файлом java. Я поместил его прямо перед образцом кода, чтобы его можно было увидеть поверх изображения с камеры.

3.-Когда они создают FaceDetectionProcessor, передают экземпляр imageView, чтобы иметь возможность установить исходное изображение внутри объекта.

FaceDetectionProcessor processor = new FaceDetectionProcessor(imageViewTest);

4.-Измените конструктор FaceDetectionProcessor, чтобы он мог принимать ImageView в качестве параметра и создать глобальную переменную, которая сохраняет этот экземпляр.

public FaceDetectionProcessor(ImageView imageView) {
    FirebaseVisionFaceDetectorOptions options =
            new FirebaseVisionFaceDetectorOptions.Builder()
                    .setClassificationType(FirebaseVisionFaceDetectorOptions.ALL_CLASSIFICATIONS)
                    .setTrackingEnabled(true)
                    .build();

    detector = FirebaseVision.getInstance().getVisionFaceDetector(options);
    this.imageView  = imageView;
}

5.- Я создал метод кадрирования, который использует растровое изображение и прямоугольник для фокусировки только на лице. Так что продолжайте и делайте то же самое.

    public static Bitmap cropBitmap(Bitmap bitmap, Rect rect) {
    int w = rect.right - rect.left;
    int h = rect.bottom - rect.top;
    Bitmap ret = Bitmap.createBitmap(w, h, bitmap.getConfig());
    Canvas canvas = new Canvas(ret);
    canvas.drawBitmap(bitmap, -rect.left, -rect.top, null);
    return ret;
}

6.- Измените метод detectInImage, чтобы сохранить экземпляр обнаруженного растрового изображения и сохранить его в глобальной переменной.

    @Override
protected Task<List<FirebaseVisionFace>> detectInImage(FirebaseVisionImage image) {
    imageBitmap = image.getBitmapForDebugging();
    return detector.detectInImage(image);
}

7.- Наконец, измените метод OnSuccess, вызвав метод обрезки и назначив результат для imageView.

    @Override
protected void onSuccess(
        @NonNull List<FirebaseVisionFace> faces,
        @NonNull FrameMetadata frameMetadata,
        @NonNull GraphicOverlay graphicOverlay) {
    graphicOverlay.clear();
    for (int i = 0; i < faces.size(); ++i) {
        FirebaseVisionFace face = faces.get(i);
        FaceGraphic faceGraphic = new FaceGraphic(graphicOverlay);
        graphicOverlay.add(faceGraphic);
        faceGraphic.updateFace(face, frameMetadata.getCameraFacing());
        croppedImage = cropBitmap(imageBitmap, face.getBoundingBox());
    }
    imageView.setImageBitmap(croppedImage);
}

Это может помочь вам, если вы пытаетесь использовать ML Kit для обнаружения лиц и OpenCV для обработки изображений на обнаруженном лице. Обратите внимание, что в этом конкретном примере вам понадобится исходное растровое изображение камеры внутри onSuccess.

Я не нашел способа сделать это без растрового изображения и, честно говоря, все еще ищу.

@Override
protected void onSuccess(@NonNull List<FirebaseVisionFace> faces, @NonNull FrameMetadata frameMetadata, @NonNull GraphicOverlay graphicOverlay) {
  graphicOverlay.clear();

  for (int i = 0; i < faces.size(); ++i) {
    FirebaseVisionFace face = faces.get(i);

    /* Original implementation has original image. Original Image represents the camera preview from the live camera */

    // Create Mat representing the live camera itself
    Mat rgba = new Mat(originalCameraImage.getHeight(), originalCameraImage.getWidth(), CvType.CV_8UC4);

    // The box with a Imgproc affect made by OpenCV
    Mat rgbaInnerWindow;
    Mat mIntermediateMat = new Mat();

    // Make box for Imgproc the size of the detected face
    int rows = (int) face.getBoundingBox().height();
    int cols = (int) face.getBoundingBox().width();

    int left = cols / 8;
    int top = rows / 8;

    int width = cols * 3 / 4;
    int height = rows * 3 / 4;

    // Create a new bitmap based on live preview
    // which will show the actual image processing
    Bitmap newBitmap = Bitmap.createBitmap(originalCameraImage);

    // Bit map to Mat
    Utils.bitmapToMat(newBitmap, rgba);

    // Imgproc stuff. In this examply I'm doing edge detection.
    rgbaInnerWindow = rgba.submat(top, top + height, left, left + width);
    Imgproc.Canny(rgbaInnerWindow, mIntermediateMat, 80, 90);
    Imgproc.cvtColor(mIntermediateMat, rgbaInnerWindow, Imgproc.COLOR_GRAY2BGRA, 4);
    rgbaInnerWindow.release();

    // After processing image, back to bitmap
    Utils.matToBitmap(rgba, newBitmap);

    // Load the bitmap
    CameraImageGraphic imageGraphic = new CameraImageGraphic(graphicOverlay, newBitmap);
    graphicOverlay.add(imageGraphic);

    FaceGraphic faceGraphic;
    faceGraphic = new FaceGraphic(graphicOverlay, face, null);
    graphicOverlay.add(faceGraphic);


    FaceGraphic faceGraphic = new FaceGraphic(graphicOverlay);
    graphicOverlay.add(faceGraphic);


    // I can't speak for this
    faceGraphic.updateFace(face, frameMetadata.getCameraFacing());
  }

}

На самом деле вы можете просто прочитать ByteBuffer, а затем получить массив для записи в объектные файлы, которые хотите, с помощью OutputStream. Конечно, вы можете получить его и от getBoundingBox().