Интерфейс Rest для HDInsight Spark для отправки заданий и чтения результатов

Я настроил кластер Spark в HDInsight на Azure, у меня есть служба, которая регулярно отправляет данные в хранилище BLOB-объектов HDInsight, и я создал поверх нее внешнюю таблицу Hive. Я могу использовать Jupyter, выполнять некоторые запросы Spark SQL и видеть результаты.

Теперь у меня есть веб-сайт ASP.Net, которому необходимо выполнить аналогичное задание запроса Spark SQL по запросу пользователя и отобразить результат на веб-странице.

Есть ли какая-нибудь библиотека, чтобы поздравить с этим, или кто-нибудь может поделиться примером того, как это сделать?

Я вижу, что кластер искрового кластера HDInsight поставляется с Livy, но я не вижу примера, показывающего, как использовать его в моей среде dotnet. Кстати, я предполагаю, что это путь, по которому нам нужно решить мою проблему.

Я действительно новичок во всем этом, любые указатели действительно помогут.

Спасибо, Киран


azure hadoop apache-spark-sql azure-hdinsight
person Kiran    schedule 14.04.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

К сожалению, в настоящее время у нас нет SDK HDInsight Spark. Вы всегда можете отправлять вызовы REST API, как описано здесь: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/.

Однако, если вы хотите получить результаты от Livy API, вам нужно сделать некоторые обходные пути, чтобы это работало. Причина в том, что мы используем Spark на YARN в режиме кластера в HDInsight, где результаты не записываются обратно в API Livy. Вам нужно просмотреть журналы контейнера драйвера Spark и получить там stdout/stderr вручную.

Если у вас есть дополнительные вопросы, вы можете отправить мне электронное письмо по адресу xiaoyzhu at microsoft dot com, и я помогу найти нужного владельца.

Сяойонг Чжу из Microsoft HDInsight

person Xiaoyong Zhu    schedule 15.04.2016
comment
Спасибо, я свяжусь с вами по электронной почте. - person Kiran; 15.04.2016