Как запустить Spark 2.0 из HDInsight с помощью службы автоматизации Azure

Я не могу понять, как запустить HDInsight Spark 2.0 из графического модуля Runbook службы автоматизации Azure. У меня есть модуль Runbook, который работает с HDInsight с помощью Spark 1.6. Обычно я обновляю строку версии с 3.4 до 3.5, но похоже, что существует две редакции HDInsight 3.5 - одна с Spark 2.0 и одна с 1.6.

Может ли кто-нибудь сказать мне, как заставить мой модуль Runbook использовать версию Spark2.0?

Ссылка на версию: https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning#hadoop-components-available-with-different-hdinsight-versions


azure apache-spark azure-automation azure-hdinsight
person aaronsteers    schedule 08.11.2016    source источник
comment
Привет, у меня такая же проблема. Вы поняли это?   -  person Psidom    schedule 02.12.2016
comment
@Psidom Нет, я отправил запрос на службу поддержки Azure, но ответа не получил.   -  person aaronsteers    schedule 02.12.2016
comment
@aaronsteers какие-нибудь обновления?   -  person Amityo    schedule 05.01.2017

Ответы (1)


arrow_upward
1
arrow_downward

Я определил, как это сделать, используя шаблон ARM. Надеюсь, это поможет вам в отношении модуля Runbook. Вот JSON для кластера 2.0. Обратите внимание на части clusterVersion и componentVersion.

...
"resources": [
    {
        "apiVersion": "2015-03-01-preview",
        "name": "somename",
        "type": "Microsoft.HDInsight/clusters",
        "location": "northcentralus",
        "dependsOn": [],
        "properties": {
            "clusterVersion": "3.5",
            "osType": "Linux",
            "tier": "standard",
            "clusterDefinition": {
                "kind": "spark",
                "componentVersion": {
                    "Spark": "2.0"
                },
...
person toddkitta    schedule 31.01.2017