Импорт наборов данных COCO в лабораторию Google

Набор данных COCO очень велик, и я могу загрузить его в Google Colab. Есть ли способ напрямую загрузить набор данных в Google Colab?


person CleanPegasus    schedule 07.04.2019    source источник
comment
Привет и добро пожаловать в SO! Не могли бы вы предоставить более подробную информацию, например, что очень велико, и другие шаги для воспроизведения вашей проблемы. Также может помочь скриншот с более подробной информацией о том, что вы видите.   -  person Tamir Klein    schedule 07.04.2019
comment
Это около 20 ГБ, включая наборы данных для поездов, тестирования и проверки. Я хочу напрямую импортировать набор данных с cocodasets.org в свой блокнот Google colab.   -  person CleanPegasus    schedule 07.04.2019


Ответы (4)


Вы можете скачать его прямо с помощью wget

!wget http://images.cocodataset.org/zips/train2017.zip

Кроме того, вы должны использовать экземпляр графического процессора, который дает больше места на 350 ГБ.

person korakot    schedule 07.04.2019
comment
Мне интересно, почему Google не предлагает эти наборы данных прямо в colab. Они тратят много ресурсов, так как этот набор данных, вероятно, загружается несколько тысяч раз в день для совместной работы. - person subjord; 24.02.2021

Еще один подход может заключаться в загрузке только файла аннотаций в Google Colab. Нет необходимости загружать набор данных изображения. Мы будем использовать PyCoco API. Затем при подготовке изображения вместо доступа к файлу изображения из Диска / локальной папки вы можете прочитать файл изображения с URL-адресом!

# The normal method. Read from folder / Drive
I = io.imread('%s/images/%s/%s'%(dataDir,dataType,img['file_name']))

# Instead, use this! Url to load image
I = io.imread(img['coco_url'])

Этот метод сэкономит вам много места, сэкономит время и усилия. Однако вам потребуется рабочее интернет-соединение во время обучения для получения изображений (что, конечно, у вас есть, поскольку вы используете colab).

Если вы заинтересованы в работе с набором данных COCO, вы можете взглянуть на мой пост на носителе.

person Viraf    schedule 06.05.2020

Вы можете загрузить его на диск Google, а затем подключить диск к Colab.

from google.colab import drive
drive.mount('/content/drive')

затем вы можете перейти к папке, содержащей набор данных, например.

import os
os.chdir("drive/My Drive/cocodataset")

введите здесь описание изображения

person Ha Bom    schedule 09.04.2019
comment
сколько места занимает кокос? диск должен быть платной подпиской? - person nerkn; 01.04.2021

Для дальнейшего использования лучше использовать диск. Также разархивируйте zip с помощью colab (! Unzip), потому что использование экстрактора zip на диске занимает больше времени. Я пробовал: D

person Salih    schedule 06.02.2021