Часть II находится здесь

Часть III находится здесь

Как мы начнем разработку машинного обучения на новом компьютере? Слишком много настроек. Слишком много пакетов. Python 2, python3… Tensorflow с поддержкой GPU, без поддержки GPU. Тензорный поток2, Тензорный поток 1.14.2, Тензорный поток 1.15.2. Некоторое обучение ML будет работать только на tensorflow 1.14. Он может не поддерживать серию 1.15. Как мы будем обрабатывать все эти сценарии без особого беспокойства. Какие настройки необходимо выполнить для графического процессора NVidia, прежде чем начать?

Для опытного специалиста по машинному обучению это будет легкой прогулкой. Самообучающемуся в начале обучения будет трудно определить, с чего начать. В этом посте позвольте мне попытаться рассказать, как использовать изображение докера tensorflow для различных вариантов использования. В этом посте мы увидим, что минимально требуется для установки на компьютер.

Вот список софта для установки

  • докер
  • драйвера видеокарты нвидиа

Я всегда обращаюсь к Как установить и использовать Docker в Ubuntu 18.04 для установки докера. Это сработало для меня во всех моих испытаниях.

Для установки драйверов nvidia сначала определите, присутствует ли в устройстве GPU, с помощью команды

$ lspci | grep -i nvidia 
$ ubuntu-drivers devices

Как только GPU появится в списке, вы можете запустить автоустановку, как показано ниже, чтобы установить драйверы.

$ sudo ubuntu-drivers autoinstall

Следующим шагом будет установка nvidia container toolkit. Установку можно проверить с помощью приведенной ниже команды.

$ docker run --gpus all --rm nvidia/cuda nvidia-smi

Tensorflow на докере

Подробности указаны на странице https://www.tensorflow.org/install/docker. Как только вы пройдете через это, обратитесь сюда.

Мы можем выбрать теги тензорного потока, как показано ниже.

tensorflow/tensorflow:<version>[-gpu][-py3]

Например, если мы хотим использовать tensorflow версии 1.15.2 с поддержкой python3 и поддержкой GPU, мы можем использовать тег tensorflow/tensorflow:1.15.2-gpu-py3. Для v2.0.1, GPU, это будет tensorflow/tensorflow:2.0.1-gpu

При использовании графического процессора используйте флаг — gpus all, чтобы использовать графический процессор в док-контейнере tensorflow.

Пример команды запуска докера будет выглядеть примерно так

docker run -it --gpus all --name <name> -v <algo folder>:/algo -v <data folder>:/data tensorflow/tensorflow:1.15.2-gpu-py3 /bin/bash

Мы получим преимущество использования докера в домене ML. «Использование и выброс», «изменение версий по мере необходимости», «сохранение нескольких конфликтующих версий» и т. д. — вот некоторые особенности этого подхода.

В посте Дальнейшие настройки для улучшения обучения машинному обучению я попытался рассказать, как полностью использовать GPU для обучения машинному обучению.