TensorFlow имеет отдельный проект для производственного использования, как указано здесь, называется TensorFlow Serving.
Как мне использовать CNTK в производственной среде и как мне справиться с ее развертыванием? Надеюсь, можно развернуть обученные модели на сервере/кластере, который обслуживает модель с RPC или HTTP REST API.
Если такого инструмента не существует, каковы должны быть первые шаги по его разработке и хорошей архитектуре, которую можно развернуть самостоятельно?
