Горячая загрузка моделей в обслуживающий контейнер tenorflow

Я знаю, как загрузить модель в контейнер, а также знаю, что мы можем создать статический файл конфигурации, и когда мы запускаем контейнер, обслуживающий тензорный поток, передаем его в контейнер, а затем используем одну из моделей внутри этих файлов конфигурации, но я хочу знать если есть способ горячей загрузки полностью новой модели (не более новой версии предыдущей модели) в работающий обслуживающий контейнер тензорного потока. Я имею в виду, что мы запускаем контейнер с моделью A, а затем загружаем модель B в контейнер и используем ее, можем ли мы это сделать? Если да, то как?


tensorflow tensorflow-serving
person AVarf    schedule 15.04.2019    source источник

Ответы (1)


arrow_upward
5
arrow_downward

Вы можете.

Сначала вам нужно скопировать файлы новой модели в model_base_path, который вы указали при запуске tf serve, чтобы сервер мог видеть новую модель. Расположение каталогов обычно следующее: $ MODEL_BASE_PATH / $ model_a / $ version_a / * и $ MODEL_BASE_PATH / $ model_b / $ version_b / *

Затем вам нужно обновить tf serve новым файлом model_config_file, который включает запись для новой модели. См. здесь о том, как добавлять записи в файл конфигурации модели. Чтобы сервер принял новую конфигурацию, есть два способа сделать это:

  1. сохраните новый файл конфигурации и перезапустите службу tf.
  2. перезагрузите конфигурацию новой модели на лету без перезапуска tf serve. Эта служба определена в model_service.proto как HandleReloadConfigRequest, но REST api службы, похоже, не поддерживает его, поэтому вам нужно полагаться в gRPC API. К сожалению, клиент Python grpc.py#L68" rel="noreferrer кажется нереализованным для клиента google. Мне удалось сгенерировать клиентский код Java из файлов protobuf, но это довольно сложно. Пример здесь объясняет, как сгенерировать клиентский код Java для выполнения вывода gRPC, и выполнение handleReloadConfigRequest () очень похоже.
person Happy Gene    schedule 17.04.2019
comment
Исправление - кажется, API клиента Python поддерживает HandleReloadConfigRequest (), вот пример кода из другого сообщения: stackoverflow.com/a/54455066/ 2912207 - person Happy Gene; 18.04.2019