Задание SageMaker Train не создает каталог / opt / ml / input / data / training

Я пытаюсь создать собственный алгоритм, следуя инструкциям, приведенным в это руководство.

Когда я запускаю поезд, он выдает ошибку. Нет такого файла или каталога: '/ opt / ml / input / data / training'.

Согласно документации, SageMaker должен создавать эти документы и копировать данные и артефакты во время выполнения. Но этого не происходит.

Пожалуйста, поделитесь своими мыслями по этому поводу.

Мой контент DockerFile,

# Build an image that can do training and inference in SageMaker
 # This is a Python 2 image that uses the nginx, gunicorn, flask stack
 # for serving inferences in a stable way.

 FROM ubuntu:16.04

 MAINTAINER Amazon AI <[email protected]


 RUN apt-get -y update && apt-get install -y --no-install-recommends \
          wget \
          python \
          nginx \
          ca-certificates \
     && rm -rf /var/lib/apt/lists/*

 # Here we get all python packages.
 # There's substantial overlap between scipy and numpy that we eliminate by
 # linking them together. Likewise, pip leaves the install caches populated which uses
 # a significant amount of space. These optimizations save a fair amount of space in the
 # image, which reduces start up time. RUN wget https://bootstrap.pypa.io/get-pip.py && python get-pip.py && \
     pip install numpy==1.16.2 scipy==1.2.1 scikit-learn==0.20.2 pandas flask gevent gunicorn && \
         (cd /usr/local/lib/python2.7/dist-packages/scipy/.libs; rm *; ln ../../numpy/.libs/* .) && \
         rm -rf /root/.cache

 # Set some environment variables. PYTHONUNBUFFERED keeps Python from buffering our standard
 # output stream, which means that logs can be delivered to the user quickly. PYTHONDONTWRITEBYTECODE
 # keeps Python from writing the .pyc files which are unnecessary in this case. We also update
 # PATH so that the train and serve programs are found when the container is invoked.

 ENV PYTHONUNBUFFERED=TRUE ENV PYTHONDONTWRITEBYTECODE=TRUE ENV
 PATH="/opt/program:${PATH}"

 # Set up the program in the image COPY decision_trees /opt/program WORKDIR /opt/program

person denesh kumar    schedule 12.03.2019    source источник


Ответы (1)


Имя папки обучения зависит от InputDataConfig, который вы указываете в действии CreateTrainingJob: https://docs.aws.amazon.com/sagemaker/latest/dg/API_CreateTrainingJob.html#SageMaker-CreateTrainingJob-request-InputDataConfig

Если имя канала «xyz», он создаст папку с тем же именем в указанном месте (/ opt / ml / input / data / xyz).

person Ujjwal Bhardwaj    schedule 14.03.2019