Набор данных COCO очень велик, и я могу загрузить его в Google Colab. Есть ли способ напрямую загрузить набор данных в Google Colab?
Импорт наборов данных COCO в лабораторию Google
Ответы (4)
Вы можете скачать его прямо с помощью wget
!wget http://images.cocodataset.org/zips/train2017.zip
Кроме того, вы должны использовать экземпляр графического процессора, который дает больше места на 350 ГБ.
Еще один подход может заключаться в загрузке только файла аннотаций в Google Colab. Нет необходимости загружать набор данных изображения. Мы будем использовать PyCoco API. Затем при подготовке изображения вместо доступа к файлу изображения из Диска / локальной папки вы можете прочитать файл изображения с URL-адресом!
# The normal method. Read from folder / Drive
I = io.imread('%s/images/%s/%s'%(dataDir,dataType,img['file_name']))
# Instead, use this! Url to load image
I = io.imread(img['coco_url'])
Этот метод сэкономит вам много места, сэкономит время и усилия. Однако вам потребуется рабочее интернет-соединение во время обучения для получения изображений (что, конечно, у вас есть, поскольку вы используете colab).
Если вы заинтересованы в работе с набором данных COCO, вы можете взглянуть на мой пост на носителе.
Вы можете загрузить его на диск Google, а затем подключить диск к Colab.
from google.colab import drive
drive.mount('/content/drive')
затем вы можете перейти к папке, содержащей набор данных, например.
import os
os.chdir("drive/My Drive/cocodataset")
Для дальнейшего использования лучше использовать диск. Также разархивируйте zip с помощью colab (! Unzip), потому что использование экстрактора zip на диске занимает больше времени. Я пробовал: D