Вопросы по теме 'azure-hdinsight'
Проблема Azure HDInsights с Hive/Python Map-Reduce
Запуск очень простого тестового примера с использованием Azure HDInsights и Hive/Python. Hive, похоже, не загружает скрипт Python.
Hive содержит небольшую тестовую таблицу с полем под названием «dob», которое я пытаюсь преобразовать с помощью...
509 просмотров
schedule
19.09.2023
Запустите пакетный файл Hive и Hadoop в HDInsight
У меня возникла небольшая проблема с работой HDInsight через Powershell. В качестве временного решения может ли кто-нибудь указать мне правильное направление запуска сценариев Hive/Hadoop через файл bat.
Я попытался создать файл bat и изменить его...
1466 просмотров
schedule
10.06.2023
Как создать кластер HDInsight версии 3.0 с помощью инструментов командной строки Azure?
«Azure hdinsight cluster create --help» не имеет возможности выбрать конкретную версию HDInsight. Есть ли поддержка уровня API?
211 просмотров
schedule
20.03.2023
Улей: СОЗДАЙТЕ ТАБЛИЦУ в файлах Unicode csv
В кластере HDInsight попытка создать таблицу Hive в CSV-файлах Юникода.
Invoke-Hive -Query @"
CREATE EXTERNAL TABLE TestUnicode(Numeric1 INT,Numeric2 INT,Numeric3 INT,Name String)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE...
1407 просмотров
schedule
24.11.2023
Ввод данных для задания hadoop через код
Я новичок в хаупе. Я хочу понять поток функции уменьшения карты. Я немного смущен тем, как мне ввести данные для задания карты через код, а не через какой-либо файл. Как мне его настроить. Пожалуйста, помогите мне. Вот мой код.
public...
359 просмотров
schedule
16.01.2024
Экспорт Sqoop из улья в sql застрял
Я использую кластер Windows Azure HDInsights Hadoop и пытаюсь экспортировать оттуда таблицу кустов на сервер SQL Azure.
Таблица куста действительно проста (на самом деле, пока она состоит из данных одного столбца без каких-либо пробелов и других...
640 просмотров
schedule
29.11.2023
Ошибка отправки задания свиньи hdinsight 502
Я получаю сообщение об ошибке 502 при отправке задания свиньи в кластер hdinsight. Любые идеи о том, как исправить кластер? В прошлый раз, когда я получил эту ошибку, я удалил кластер и создал его снова, хотел бы найти лучший способ исправить...
651 просмотров
schedule
11.08.2023
Ошибка при запуске рекомендаций фильмов с помощью Apache Mahout с HDInsight
Я выполнил следующий код, но получил сообщение об ошибке...
# The HDInsight cluster name.
$clusterName = "my-cluster-name"
Use-AzureHDInsightCluster $clusterName
# NOTE: The version number portion of the file path
# may change in future versions...
101 просмотров
schedule
17.06.2023
Не исключение файла при выборе после успешной вставки
Я создал таблицу:
DROP TABLE IF EXISTS sampleout;
CREATE EXTERNAL TABLE sampleout(
id bigint,
LNG FLOAT,
LAT FLOAT,
GMTDateTime TIMESTAMP,
calculatedcolumn FLOAT
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS...
1079 просмотров
schedule
13.09.2022
Возможности Hadoop с отчетами MSSQL
Я оценивал возможности Hadoop в Azure HDInsight, чтобы найти решение для работы с большими данными для нашего приложения для создания отчетов. Ключевой частью этой оценки технологии является то, что мне нужно интегрироваться со службами отчетов...
97 просмотров
schedule
07.08.2023
Создайте HDCluster с помощью powershell
Я пытаюсь создать кластер с помощью powershell. Вот скрипт, который я выполняю:
$containerName = "hdfiles"
$location = "Southeast Asia"
$clusterNodes = 2
$userName = "HDUser"
#Generate random password
$rand = New-Object System.Random
$pass = ""...
231 просмотров
schedule
03.04.2024
Spark версии 1.4.1 вместо 1.5.2 HdInsight
Я настроил кластер Azure HdInsight Linux Spark, который должен поставляться с версией Spark 1.5.2. Однако, если я попытаюсь вывести номер версии с помощью sparkContext.version, я продолжаю получать 1.4.1.
Может быть, я пропустил шаг с...
69 просмотров
schedule
01.08.2023
Разница в microsoft azure между кластером и учетной записью хранения
Я учусь на . Он просит создать новый кластер hdinsight (варианты: hadoop, hbase, storm или spark), а также учетную запись хранения. В чем разница между кластером и учетной записью хранения? Включает ли кластер процессоры для обработки моих заданий...
1158 просмотров
schedule
30.05.2024
Интерфейс Rest для HDInsight Spark для отправки заданий и чтения результатов
Я настроил кластер Spark в HDInsight на Azure, у меня есть служба, которая регулярно отправляет данные в хранилище BLOB-объектов HDInsight, и я создал поверх нее внешнюю таблицу Hive. Я могу использовать Jupyter, выполнять некоторые запросы Spark SQL...
727 просмотров
schedule
06.01.2024
Сбой запроса HDInsight HBASE REST (внутри виртуальной сети)
Я пытаюсь отправить запрос REST в мою базу данных HDInsight HBase из приложения node.js в виртуальной сети в Azure. Я могу пропинговать соответствующий сервер HDInsight HBase по его IP-адресу, но невозможно пропинговать головной узел на основе...
89 просмотров
schedule
02.04.2023
C # Map Reduce не работает с {Код состояния ответа не указывает на успех: 403 (Запрещено). "} Иногда 401: требуются учетные данные
Необработанное исключение типа System.AggregateException произошло в mscorlib.dll
Внутреннее исключение: {"Response status code does not indicate success: 403 (Forbidden)."} иногда получают: {"Response status code does not indicate success:...
813 просмотров
schedule
10.08.2022
Python UDF для Pig в Azure Data Factory Кластер HDInsight по запросу
Как включить UDF python для свиньи при использовании фабрики данных Azure и большого двоичного объекта Azure для хранения сценария свиньи?
288 просмотров
schedule
18.10.2023
Как запустить Spark 2.0 из HDInsight с помощью службы автоматизации Azure
Я не могу понять, как запустить HDInsight Spark 2.0 из графического модуля Runbook службы автоматизации Azure. У меня есть модуль Runbook, который работает с HDInsight с помощью Spark 1.6. Обычно я обновляю строку версии с 3.4 до 3.5, но похоже, что...
456 просмотров
schedule
20.12.2023
HDInsight: Spark — как загрузить файл?
У меня есть новый кластер HDInisght:Spark, который я развернул. Я хочу загрузить файл через портал AMbari, но не вижу опции HDFS:
Что мне не хватает? Как я могу загрузить свой .csv на сервер, чтобы начать использовать его в записной книжке...
651 просмотров
schedule
09.06.2023
Как кластер HDInsight, использующий открытый ключ SSH, может быть виден нескольким пользователям?
В настоящее время у нас в команде есть 2 разные учетные записи Microsoft Azure.
Я создал кластер HDInsight, и кажется, что он виден всем пользователям.
Но есть вопрос, который кажется немного запутанным. Если кластер HDInsight создан с...
632 просмотров
schedule
21.10.2023
