Я наткнулся на то, что показало, что в Hive можно писать аналитические функции.
Например: для примера с количеством слов мы также можем писать в улье. разница будет заключаться в том, что в данных Aster они уже встроены, тогда как в Hive мы должны их записать.
В чем будет разница? зачем идти на что?
Существует хорошее исследование, основанное на лабораторном исследовании, в котором сравнивается время разработки и выполнения аналитических функций как на платформе обнаружения Teradata Aster, так и на Hadoop/Hive. Системы были запущены параллельно, чтобы показать, какие рабочие нагрузки подходят для каждой системы. Есть хороший рабочий пример «дня из жизни» аналитика и требуемого времени/усилий (раскрытие информации: я работаю в Teradata, которая приобрела Aster Data 2 года назад) http://www.asterdata.com/resources/assets/ESG-Lab-Validation-Teradata-Aster-MapReduce-Platform.pdf
Теоретически да, Hive должен уметь делать все то же самое, что и Java-код, и фреймворки для уменьшения карты. Я не являюсь пользователем Hadoop/Hive, но я понимаю, что Hive — это слой поверх Hadoop, и все, что делает Hive (включая аналитические расширения, написанные на Java), будет переведено в задания Hadoop. Вы можете задать вопрос, направленный Hive, о том, как и что нужно для этого.
Напротив, Aster SQL/MR встроен в базу данных Aster. Под собственным я подразумеваю, что Java работает на каждом узле Aster как часть платформы Aster SQL/MR, которая, в свою очередь, является неотъемлемой частью ядра базы данных Aster. Все манипуляции с данными будут согласовываться с моделью данных, ключами распределения данных и т. д. В Aster при использовании его функций SQL/MR (в том числе на основе Java) пользователь никогда не покидает пределы SQL и модели данных. В то же время SQL/MR полиморфен для определения таблиц, адаптирующихся к произвольным моделям (все в рамках Aster SQL). Может быть, вы хотите узнать, как это будет работать в Hive.
Еще один момент, на который стоит обратить внимание, это то, что Aster предлагает богатый набор высокоуровневых аналитических функций из коробки, поэтому может не потребоваться написание собственного Java SQL/MR. Таким образом, пример подсчета слов может быть выполнен с использованием функции nGram и агрегированного SQL.
