Применение эффекта к видео предварительного просмотра с камеры iPhone

Чтобы предотвратить проблемы с памятью, просто создайте пул автоматического освобождения в captureOutput:didOutputSampleBuffer:fromConnection:.

Это имеет смысл, поскольку imageFromSampleBuffer: возвращает автоматически выпущенный объект UIImage. Кроме того, он сразу же освобождает любые автоматически выпущенные объекты, созданные кодом обработки изображений.

// Delegate routine that is called when a sample buffer was written
- (void)captureOutput:(AVCaptureOutput *)captureOutput 
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer 
fromConnection:(AVCaptureConnection *)connection
{ 
    NSAutoreleasePool *pool = [[NSAutoreleasePool alloc] init];

    // Create a UIImage from the sample buffer data
    UIImage *image = [self imageFromSampleBuffer:sampleBuffer];

    < Add your code here that uses the image >

    [pool release];
}

Мое тестирование показало, что это будет работать без предупреждений о памяти на iPhone 4 или iPod Touch (4-го поколения), даже если запрошенный FPS очень высок (например, 60) и обработка изображения очень медленная (например, 0,5+ секунды).

СТАРОЕ РЕШЕНИЕ:

Как отметил Брэд, Apple рекомендует выполнять обработку изображений в фоновом режиме, чтобы не мешать отзывчивости пользовательского интерфейса. Я не заметил большого отставания в этом случае, но лучшие практики есть лучшие практики, поэтому используйте приведенное выше решение с пулом автоматического выпуска вместо того, чтобы запускать его в основной очереди отправки/основном потоке.

Чтобы предотвратить проблемы с памятью, просто используйте основную очередь отправки вместо создания новой.

Это также означает, что вам не нужно переключаться на основной поток в captureOutput:didOutputSampleBuffer:fromConnection:, когда вы хотите обновить пользовательский интерфейс.

В setupCaptureSession измените ОТ:

// Configure your output.
dispatch_queue_t queue = dispatch_queue_create("myQueue", NULL);
[output setSampleBufferDelegate:self queue:queue];
dispatch_release(queue);

TO:

// we want our dispatch to be on the main thread
[output setSampleBufferDelegate:self queue:dispatch_get_main_queue()];

Фундаментально лучшим подходом было бы использовать OpenGL для обработки как можно большей тяжелой работы, связанной с изображениями (как я вижу, вы пытаетесь в ваша последняя попытка). Однако даже в этом случае у вас могут возникнуть проблемы с созданием кадров для обработки.

Хотя кажется странным, что вы столкнетесь с накоплением памяти при обработке кадров (по моему опыту, вы просто перестанете их получать, если не сможете обработать их достаточно быстро), очереди Grand Central Dispatch могут быть забиты, если они ожидают ввод/вывод.

Возможно, диспетчерский семафор позволит вам ограничить добавление новых элементов в очереди обработки. Чтобы узнать больше об этом, я настоятельно рекомендую Майка Эша "GCD Practicum», в которой он рассматривает оптимизацию операции обработки эскизов, привязанной к вводу-выводу, с использованием диспетчерских семафоров.