Обслуживание TensorFlow: обновление model_config (добавление дополнительных моделей) во время выполнения

Так что мне потребовались целые века рытья запросов на включение, чтобы наконец найти для этого пример кода. Для следующего человека, у которого будет такой же вопрос, как у меня, вот пример того, как это сделать. (Для этого вам понадобится tensorflow_serving package; pip install tensorflow-serving-api).

На основе этого запроса на перенос (который на момент написания не был принят и был закрыт, так как требовал проверки): https://github.com/tensorflow/serving/pull/1065

from tensorflow_serving.apis import model_service_pb2_grpc
from tensorflow_serving.apis import model_management_pb2
from tensorflow_serving.config import model_server_config_pb2

import grpc

def add_model_config(host, name, base_path, model_platform):
  channel = grpc.insecure_channel(host) 
  stub = model_service_pb2_grpc.ModelServiceStub(channel)
  request = model_management_pb2.ReloadConfigRequest() 
  model_server_config = model_server_config_pb2.ModelServerConfig()

  #Create a config to add to the list of served models
  config_list = model_server_config_pb2.ModelConfigList()       
  one_config = config_list.config.add()
  one_config.name= name
  one_config.base_path=base_path
  one_config.model_platform=model_platform

  model_server_config.model_config_list.CopyFrom(config_list)

  request.config.CopyFrom(model_server_config)

  print(request.IsInitialized())
  print(request.ListFields())

  response = stub.HandleReloadConfigRequest(request,10)
  if response.status.error_code == 0:
      print("Reload sucessfully")
  else:
      print("Reload failed!")
      print(response.status.error_code)
      print(response.status.error_message)


add_model_config(host="localhost:8500", 
                    name="my_model", 
                    base_path="/models/my_model", 
                    model_platform="tensorflow")

Добавьте модель на сервер обслуживания TF и ​​в существующий файл конфигурации conf_filepath: используйте аргументы name, base_path, model_platform для новой модели. Сохраняет оригинальные модели в целости и сохранности.

Обратите внимание на небольшое отличие от ответа @Karl - использование MergeFrom вместо CopyFrom

pip установить tenorflow-serving-api

import grpc
from google.protobuf import text_format
from tensorflow_serving.apis import model_service_pb2_grpc, model_management_pb2
from tensorflow_serving.config import model_server_config_pb2


def add_model_config(conf_filepath, host, name, base_path, model_platform):
    with open(conf_filepath, 'r+') as f:
        config_ini = f.read()
    channel = grpc.insecure_channel(host)
    stub = model_service_pb2_grpc.ModelServiceStub(channel)
    request = model_management_pb2.ReloadConfigRequest()
    model_server_config = model_server_config_pb2.ModelServerConfig()
    config_list = model_server_config_pb2.ModelConfigList()
    model_server_config = text_format.Parse(text=config_ini, message=model_server_config)

    # Create a config to add to the list of served models
    one_config = config_list.config.add()
    one_config.name = name
    one_config.base_path = base_path
    one_config.model_platform = model_platform

    model_server_config.model_config_list.MergeFrom(config_list)
    request.config.CopyFrom(model_server_config)

    response = stub.HandleReloadConfigRequest(request, 10)
    if response.status.error_code == 0:
        with open(conf_filepath, 'w+') as f:
            f.write(request.config.__str__())
        print("Updated TF Serving conf file")
    else:
        print("Failed to update model_config_list!")
        print(response.status.error_code)
        print(response.status.error_message)

Я не использовал файл конфигурации для обслуживания большего количества моделей во время выполнения, а использовал rest api сервировок. Вот как я это сделал.

Всякий раз, когда мне требовалось обслуживать новую модель, я программно вызывал эту команду, проблема заключалась только в том, что если порт уже используется, нам нужно получить неиспользуемый новый номер порта, поэтому я создал программу для получения неиспользуемого номера порта во время выполнения.

tensorflow_model_server --rest_api_port=dynamic_port --model_base_path=<path to model> --model_name=<model_name>

Я использую кафку, сельдерей с сервировкой tenorflow. Я знаю, что этот вопрос касается обновления файла конфигурации, но я пришел сюда в поисках ответов до того, как принял решение, описанное выше. Поэтому, если кто-то еще приходит сюда, чтобы обслуживать несколько моделей и добавлять новые во время выполнения, используйте приведенный выше шаблон.