При успешном выполнении запросов HiveQL (с механизмом выполнения TEZ) в Hue на Hortonworks процесс по-прежнему помечается как «Выполняется» в разделе «Браузер заданий Hue» и «пользовательский интерфейс Hadoop ResourceManager». Должен ли он делать это в ожидании нового ввода или он не может завершиться?
Моя установка:
Как заявил Самсон Шарфрихтер:
Механизм выполнения TEZ сохраняет аренду контейнеров YARN в течение нескольких секунд после завершения запроса, чтобы избежать ненужных операций выделения/освобождения при последовательном выполнении нескольких запросов.
Это приведет к тому, что завершенное задание запроса будет отображаться как работающее в течение нескольких секунд после того, как окончательные результаты появятся во внешнем интерфейсе запросов Hive.
Спасибо, Самсон Шарфрихтер!
Уменьшение времени ожидания для tez.session.am.dag.submit.timeout.secs может помочь. Время в сек.
<property>
<name>tez.session.am.dag.submit.timeout.secs</name>
<value>10</value>
</property>
/etc/tez-site.xml.
tez.am.container.reuse.enabled,tez.am.container.idle.release-timeout-min.millis,tez.am.container.reuse.rack-fallback.enabledи т. д. в tez-site.xml). - person Samson Scharfrichter schedule 04.01.2016tez.am.container.*свойства статически в tez-site.xml; или вы можете сбросить их динамически в своем скрипте Hive, например.set tez.am.container.reuse.enabled =false ;(но я не уверен, что это будет применяться сразу к уже выделенным контейнерам, так как AM уже запущен и работает) - person Samson Scharfrichter schedule 05.01.2016