Цифровое редактирование резко изменило то, как люди взаимодействуют с изображениями, настолько, что «фотошопить» стало обычным глаголом в повседневной речи. Люди часто фотошопят изображение, чтобы удалить нежелательные композиционные элементы. Этот процесс оставляет после себя пустые области, которые ученые-компьютерщики называют «дырами».
Заполнение этих пробелов выполняется с помощью раскрашивания изображения, важной задачи компьютерного зрения с приложениями, варьирующимися от редактирования изображения до композиции и восстановления. Существующие методы рисования изображения заполняют пробелы, заимствуя информацию из окружающих областей изображения. Однако эти методы дают неудовлетворительные результаты, если отверстия перекрываются с объектами переднего плана, страдая от «отсутствия информации о фактической протяженности областей переднего и заднего плана с отверстиями».
Чтобы решить эту проблему, исследовательская группа из Университета Рочестера, Университета Иллинойса в Урбана-Шампейне и Adobe Research предложила систему прорисовки изображения с учетом переднего плана для достижения превосходных результатов в сложных случаях со сложными композициями.
Как это достигается
Модель исследовательской группы сначала учится предсказывать контур переднего плана, а затем закрашивает недостающую область, руководствуясь этим предсказанием. Общая архитектура системы рисования показана на диаграмме ниже, включая модуль обнаружения неполного контура, модуль завершения контура и модуль завершения изображения.
Как поясняется в документе: «Мы автоматически определяем контур неполного изображения с помощью модуля определения контура. Затем модуль завершения контура используется для прогнозирования недостающих частей контура. Наконец, мы вводим как неполное изображение, так и завершенный контур в модуль завершения изображения, чтобы предсказать окончательное нарисованное изображение».
Сравнение различных подходов
Исследователи провели качественное сравнение с другими современными методами, включая широко используемый PatchMatch на основе патчей; и модели на основе глубокой сети, такие как Global&Local, ContextAttention, PartialConv и GatedConv. Результаты показывают, что их модель дает почти идеальные исправления по сравнению с реальными изображениями.
Команда также провела обзор предпочтений пользователей своих методов. Они случайным образом выбрали 50 изображений из тестового набора данных, испортили их случайными дырами, а затем получили окрашенные результаты каждого метода. Пользователям было предложено выбрать единственный лучший результат. Из 1099 голосов 877 выбрали метод команды.
Исследовательская работа Раскрашивание изображений с учетом переднего плана опубликована на arXiv.
Автор: Джесси Генг | Редактор: Майкл Саразен
Отчет об адаптивности искусственного интеллекта публичной компании Fortune Global 500 за 2018 годвышел в свет!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
Подпишитесь на нас в Twitter @Synced_Global, чтобы быть в курсе ежедневных новостей об искусственном интеллекте!
Мы знаем, что вы не хотите пропустить ни одной новости.Подпишитесь на нашу популярную Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
