Недавно я прочитал несколько статей по постобработке после декодирования определенного сжатого изображения или видео. Эти этапы постобработки помогают повысить качество декодированного изображения/видео. На этот раз я хотел бы кратко рассмотреть очень простую статью DCC 2016 для постобработки на основе H.264 и сверточной нейронной сети (CNN) HEVC. (Сик-Хо Цанг @ Medium)

Контур

  1. Архитектура сети
  2. Сетевое обучение

1. Сетевая архитектура

  • Сеть очень простая, она просто состоит из 3 сверточных слоев с использованием ReLU, кроме последнего слоя.

2. Сетевое обучение

  • CNN изучает связи между кадром с потерями и исходным кадром неявным образом при различных параметрах квантования (QP), минимизируя потери, используя стохастический градиентный спуск со стандартным обратным распространением.
  • Отмечено, что чем ниже (выше) QP, тем выше (ниже) качество изображения/видео, тем выше (ниже) битрейт для сжатия изображения/видео.
  • Наконец, CNN реализована как деблокирующий фильтр после цикла.
  • Различные экспериментальные результаты показывают, что предложенный метод способен значительно улучшить качество усиленных кадров как по объективным, так и по субъективным критериям. (Но в документе нет результатов, показанных.)

Ссылка

[2016 DCC] [Lin DCC’16]
Глубокая сверточная нейронная сеть для улучшения качества декомпрессированного видео

Мои предыдущие обзоры

Классификация изображений[LeNet] [AlexNet] [Maxout] [NIN] [ZFNet] [VGGNet] [Highway] [SPPNet] [ PReLU-Net] [STN] [DeepImage] [SqueezeNet] [GoogLeNet/Inception-v1] [BN-Inception/Inception-v2] [Inception-v3] [ Inception-v4] [Xception] [MobileNetV1] [ResNet] [ResNet до активации] [RiR] [RoR] [Стохастическая глубина] [WRN] [ Shake-Shake] [FractalNet] [Trimps-Soushen] [PolyNet] [ResNeXt] [DenseNet] [PyramidNet] [DRN] [DPN] [ Сеть остаточного внимания] [DMRNet / DFN-MR] [IGCNet / IGCV1] [MSDNet] [ShuffleNet V1] [SENet] [NASNet] [MobileNetV2]

Обнаружение объектов[OverFeat] [R-CNN] [Fast R-CNN] [Faster R-CNN] [MR-CNN & S-CNN] [ DeepID-Net] [CRAFT] [R-FCN] [ION] [MultiPathNet] [NoC] [Hikvision] [GBD-Net / GBD-v1 & GBD-v2 ] [G-RMI] [TDM] [SSD] [DSSD] [YOLOv1] [YOLOv2 / YOLO9000] [YOLOv3] [FPN] [RetinaNet ] [DCN]

Семантическая сегментация[FCN] [DeconvNet] [DeepLabv1 & DeepLabv2] [CRF-RNN] [SegNet] [ParseNet] [DilatedNet] [ DRN] [RefineNet] [GCN] [PSPNet] [DeepLabv3] [LC] [FC-DenseNet] [IDW-CNN] [SDN]

Сегментация биомедицинских изображений[CUMedVision1] [CUMedVision2 / DCAN] [U-Net] [CFS-FCN] [U-Net+ResNet] [MultiChannel] [V-Net] [3D U-Net] [M²FCN] [SA] [QSA+QNT] [3D U-Net+ResNet]

Сегментация экземпляров[SDS] [Гиперстолбец] [DeepMask] [SharpMask] [MultiPathNet] [MNC] [InstanceFCN] [FCIS]

Суперразрешение[SRCNN] [FSRCNN] [VDSR] [ESPCN] [RED-Net] [DRCN] [DRRN] [LapSRN & MS-LapSRN] [SRDenseNet]

Оценка позы человека[DeepPose] [Tompson NIPS’14] [Tompson CVPR’15] [CPM]

Постобработка кодека[ARCNN] [Lin DCC’16] [Li ICME’17]