Использование предварительно обученной CNN (inceptionv3) для обучения трехмерным медицинским изображениям

Я пытаюсь провести переносное обучение, повторно обучая InceptionV3 на медицинских изображениях - 3D-сканировании мозга в оттенках серого.

У меня две проблемы: преобразование моих данных из оттенков серого в изображение RGB и форматирование моих входных данных 3D для начальной архитектуры.

Я решил первую задачу, объединив их в 3 канала (подавая одно и то же изображение на все 3 канала сети).

Вторая проблема по-прежнему остается проблемой: сеть принимает 2D-изображения. Текущие размеры изображений составляют 79 x 95 x 79 x 3, тогда как сеть с радостью принимает 79 x 95 x 3-мерные изображения.

Что было бы хорошим способом решить эту проблему: можно ли передать трехмерные изображения в сеть или их нужно преобразовать в 2D. Как преобразовать изображения в 2D?

В исследовании использовался сеточный метод. Из каждого трехмерного изображения были извлечены 8 двухмерных изображений и отображены как сеточные изображения для классификации. Будет ли это единственный способ конвертировать из 3D в 2D, или есть альтернативы?


python deep-learning image-processing cnn pre-trained-model
person aqsa khan    schedule 06.03.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Есть два подхода к решению вашей второй проблемы.

Быстрый подход:

Найдите способ уменьшить размер 79 до 1.

Для этого есть разные подходы. Один из способов, как вы указали, - это сформировать сетку. Альтернативой является проекция максимальной интенсивности (MIP) на несколько из этих изображений (пример 3 или 10). Это будет зависеть от разрешения, которое у вас есть в этом измерении. У меня такое ощущение, что изображения, которые вы описываете, являются компьютерными томографами, в этом случае было бы разумно брать не весь стек, а только выделенные изображения, принадлежащие той части, которую вы хотите классифицировать.

Вы можете передать часть стека в виде MIP с теми же дескрипторами глобального класса. Это может сработать для трансферного обучения.

Долгий и более сложный подход:

Найдите или перепроектируйте с нуля архитектуру, которая принимает трехмерные изображения в качестве входных данных. Мне неизвестна текущая литература по этой теме, но хорошим стартовым примером может быть следующее: https://ai.googleblog.com/2020/02/ultra-high-resolution-image-analysis.html?m=1

person Dr. H. Lecter    schedule 06.03.2020