Использование libVLC для чтения видеопотока RTSP + преобразование данных в OpenCV Mat

Я пытаюсь прочитать поток RTSP с камеры Sony FCB-EV7520 через IP-интерфейс с помощью библиотеки libVLC и преобразовать данные в формат, используемый OpenCV, а именно в тип Mat. Я пытался найти хороший пример в течение нескольких дней, но пока что нашел только this и this. Я следил за кодом в первом примере, адаптируя его к варианту использования RTSP, но мне еще предстоит получить какие-либо данные в Mat. Однако по выходу терминала я, кажется, добился подключения к камере. Видите ли вы какие-нибудь очевидные недостатки в коде? Есть ли другие (более простые) способы достижения моей цели? Любые другие библиотеки, которые можно было бы использовать? Любая помощь будет оценена по достоинству! Код, который я запускаю:

#include <stdio.h>
#include <vlc/vlc.h>
#include <stdint.h>
#include <opencv2/opencv.hpp>
#include <opencv2/highgui/highgui.hpp>

using namespace std;
using namespace cv;

struct VideoDataStruct {
    int param;
};

int done = 0; 
libvlc_media_player_t *mp;
unsigned int videoBufferSize = 0;
uint8_t *videoBuffer = 0;

void cbVideoPrerender(void *p_video_data, uint8_t **pp_pixel_buffer, int size) {

    // Locking

    // Locking a mutex here once I get the code to work.    

    if (size > videoBufferSize || !videoBuffer){

        printf("Reallocate raw video buffer\n");
        free(videoBuffer);
        videoBuffer = (uint8_t *) malloc(size);
        videoBufferSize = size;

    }

    *pp_pixel_buffer = videoBuffer;
}  

void cbVideoPostrender(void *p_video_data, uint8_t *p_pixel_buffer, int width, int height, int pixel_pitch, int size, int64_t pts) {

    // Unlocking

    // Unlocking the mutex here once I get the code to work.

}

static void handleEvent(const libvlc_event_t* pEvt, void* pUserData) {
    libvlc_time_t time;
    switch(pEvt->type){

        case libvlc_MediaPlayerTimeChanged:

            time = libvlc_media_player_get_time(mp);
            printf("MediaPlayerTimeChanged %lld ms\n", (long long)time);
            break;

        case libvlc_MediaPlayerEndReached:

            printf ("MediaPlayerEndReached\n");
            done = 1;
            break;

        default:

            printf("%s\n", libvlc_event_type_name(pEvt->type));

    }
}

int main(int argc, char* argv[]) {

    // VLC pointers: 

    libvlc_instance_t *inst;
    libvlc_media_t *m;
    void *pUserData = 0;
    VideoDataStruct dataStruct;

    // VLC options:

    char smem_options[1000];

    // RV24:

    sprintf(smem_options
            , "#transcode{vcodec=h264}:smem{"
            "video-prerender-callback=%lld,"
            "video-postrender-callback=%lld,"
            "video-data=%lld,"
            "no-time-sync},"
            , (long long int)(intptr_t)(void*)&cbVideoPrerender
            , (long long int)(intptr_t)(void*)&cbVideoPostrender
            , (long long int)(intptr_t)(void*)&dataStruct
           );

    const char * const vlc_args[] = {
        "-I", "dummy",            // Don't use any interface
        "--ignore-config",        // Don't use VLC's config
        "--extraintf=logger",     // Log anything
        "--verbose=2",            // Be verbose
        "--sout", smem_options    // Stream to memory
    };

    // We launch VLC

    inst = libvlc_new(sizeof(vlc_args) / sizeof(vlc_args[0]), vlc_args);

    /* Create a new item */

    m = libvlc_media_new_location(inst, "rtsp://*****:*******@IP/videoinput_1/h264_1/media.stm");

    /* Create a media player playing environement */

    mp = libvlc_media_player_new_from_media (m);

    libvlc_event_manager_t* eventManager = libvlc_media_player_event_manager(mp);
    libvlc_event_attach(eventManager, libvlc_MediaPlayerTimeChanged, handleEvent, pUserData);
    libvlc_event_attach(eventManager, libvlc_MediaPlayerEndReached, handleEvent, pUserData);
    libvlc_event_attach(eventManager, libvlc_MediaPlayerPositionChanged, handleEvent, pUserData);

    libvlc_video_set_format(mp, "h264", 1920, 1080, 1920* 3 );

    /* play the media_player */
    libvlc_media_player_play (mp);

    while(1){

        if(videoBuffer){            // Check for invalid input

            Mat img = Mat(Size(1920, 1080), CV_8UC3, videoBuffer);  // CV_8UC3 = 8 bits, 3 chanels
            namedWindow("Display window", WINDOW_AUTOSIZE);     // Create a window for display.
            imshow("Display window", img);              // Show our image inside it.

        }
    }

    libvlc_release (inst);

}

Я запускаю код на Ubuntu 16.04, используя OpenCV 3.2 и libVLC 2.2.5.1. Если вам нужна дополнительная информация, просто спросите.

PS: Я знаю, что поток работает, так как могу открыть его через потоковый интерфейс проигрывателя VLC. Я также знаю, что libVLC может декодировать поток, поскольку я успешно открыл записанные mp4-файлы потока.


person T. Soemod    schedule 27.04.2017    source источник


Ответы (1)


Не полный ответ, но слишком длинный для комментария:

В cbVideoPrerender videoBuffer всегда выделяется по мере необходимости vlc.
Однако в main у вас есть цикл while(1){ if (videoBuffer) { ... } }, где videoBuffer всегда истинно с первого раза cbVideoPrerender. Это означает, что с этого момента цикл будет бесконечным и неблокирующим, поэтому нет синхронизации между вводом видео и обработкой, и если вы просто пытаетесь получить первое изображение, вам будет слишком рано.

Ваша первая ссылка предлагает использовать cbVideoPostrender в качестве точки синхронизации, чтобы вы знали, что фрейм можно прочитать и, таким образом, преобразовать в нужный формат. Там это делается в самой функции, но у вас может быть какой-то механизм с условной переменной (очередь, событие, ...) для обработки кадра в другом потоке и передачи изображения в openCV.

Между прочим: использование переменной путем установки в одном потоке и чтения ее в другом без потоковых механизмов (мьютекс, атомар) - плохая идея.

person stefaanv    schedule 27.04.2017