Имеет ли значение, какой формат пикселей мы выбираем для AVCaptureSession для запуска модели CoreML с помощью Vision?

Я использую образец приложения Apple Breakfast finder, который выполняет обнаружение и использует тип формата пикселей в бипланарном формате yuv. Я изменил его на ARGB, и он работает на моей собственной модели, обученной на Turi create. Теперь я понятия не имею, что изменение типа формата пикселя как-либо влияет на выполнение запросов видения в буфере.


ios coreml apple-vision cvpixelbuffer
person user2096064    schedule 22.03.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Vision и/или Core ML автоматически преобразуют CVPixelBuffer в формат пикселей, ожидаемый вашей моделью, поэтому вам не нужно об этом беспокоиться.

(Если вы используете Core ML напрямую, я считаю, что формат пикселей должен быть BGRA или ARGB, но Vision кажется более гибким.)

См. пример приложения CheckInputImage из моего репозитория Core ML Survival Guide. убедитесь, что изображение, которое видит Vision/Core ML, действительно соответствует вашим ожиданиям.

person Matthijs Hollemans    schedule 23.03.2019