С потоком данных мы можем указать размер сервера, но не с конвейерами. Конвейеры по-прежнему перемещают и манипулируют данными, поэтому для них должны быть выделены ресурсы.
Есть ли способ увидеть или настроить ресурсы, выделенные для конвейера, или azure просто назначает то, что необходимо?
На самом деле конвейеры не перемещают данные и не манипулируют ими, а управляют другими службами. Эти службы (действия) несут ответственность за свои собственные проблемы с производительностью. Это означает, что многое зависит от того, как эти службы настроены в источнике, физическом местоположении, задержке и т. д.
Действие потока данных имеет конфигурацию производительности, поскольку оно является оболочкой управляемого кластера Spark. Копирование является исключением, так как фабрика данных управляет этой средой, но имеет собственную рекомендации и параметры эффективности. В противном случае конвейеры не имеют никаких регулируемых ресурсов.
