Ошибка отправки задания свиньи hdinsight 502

Я получаю сообщение об ошибке 502 при отправке задания свиньи в кластер hdinsight. Любые идеи о том, как исправить кластер? В прошлый раз, когда я получил эту ошибку, я удалил кластер и создал его снова, хотел бы найти лучший способ исправить ошибку. вот ошибка, которую я получаю:

Microsoft.WindowsAzure.Management.HDInsight.Framework.Core.Library.WebRequest.HttpLayerException: Request failed with code:BadGateway
Content:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"/>
<title>502 - Web server received an invalid response while acting as a gateway or proxy server.</title>
<style type="text/css">
<!--
body{margin:0;font-size:.7em;font-family:Verdana, Arial, Helvetica, sans-serif;background:#EEEEEE;}
fieldset{padding:0 15px 10px 15px;} 
h1{font-size:2.4em;margin:0;color:#FFF;}
h2{font-size:1.7em;margin:0;color:#CC0000;} 
h3{font-size:1.2em;margin:10px 0 0 0;color:#000000;} 
#header{width:96%;margin:0 0 0 0;padding:6px 2% 6px 2%;font-family:"trebuchet MS", Verdana, sans-serif;color:#FFF;
background-color:#555555;}
#content{margin:0 0 0 2%;position:relative;}
.content-container{background:#FFF;width:96%;margin-top:8px;padding:10px;position:relative;}
-->
</style>
</head>
<body>
<div id="header"><h1>Server Error</h1></div>
<div id="content">
 <div class="content-container"><fieldset>
  <h2>502 - Web server received an invalid response while acting as a gateway or proxy server.</h2>
  <h3>There is a problem with the page you are looking for, and it cannot be displayed. When the Web server (while acting as a gateway or proxy) contacted the upstream content server, it received an invalid response from the content server.</h3>
 </fieldset></div>
</div>
</body>
</html>


Server stack trace: 
   at Microsoft.Hadoop.Client.WebHCatRest.HadoopRemoteJobSubmissionRestClient.<SendRequestWithErrorChecking>d__2f.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()
   at Microsoft.Hadoop.Client.WebHCatRest.HadoopRemoteJobSubmissionRestClient.<MakeAsyncJobSubmissionRequest>d__25.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()
   at Microsoft.Hadoop.Client.WebHCatRest.HadoopRemoteJobSubmissionRestClient.<SubmitPigJob>d__14.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()
   at Microsoft.Hadoop.Client.HadoopJobSubmissionPocoClient.RemoteHadoop.RemoteHadoopJobSubmissionPocoClient.<SubmitPigJob>d__1d.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()
   at Microsoft.WindowsAzure.Management.HDInsight.JobSubmission.PocoClient.HDInsightJobSubmissionPocoClient.<SubmitPigJob>d__10.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()
   at Microsoft.WindowsAzure.Management.HDInsight.JobSubmission.HDInsightHadoopClient.<CreatePigJobAsync>d__16.MoveNext()

Exception rethrown at [0]: 
   at Microsoft.WindowsAzure.Management.HDInsight.Framework.Core.Library.TaskExtensions.WaitForResult[T](Task`1 task, TimeSpan timeout)
   at Microsoft.WindowsAzure.Management.HDInsight.Framework.Core.Library.TaskExtensions.WaitForResult[T](Task`1 task)
   at Microsoft.WindowsAzure.Management.HDInsight.JobSubmission.HDInsightHadoopClient.CreatePigJob(PigJobCreateParameters pigJobCreateParameters)

person lockwobr    schedule 15.01.2015    source источник


Ответы (3)


Прошу прощения за беспокойство, этого не должно быть. Вы все еще испытываете такое поведение? Если возможно, вы можете связаться со мной по электронной почте (mwinkle в Microsoft) или открыв запрос в службу поддержки через портал поддержки

person Matt Winkler    schedule 19.01.2015

У меня была такая же проблема, но с Hive. Чтобы решить мою проблему, я перезапустил службы apache на головном узле.

  1. Включить удаленное подключение через Azure
  2. Вход на сервер
  3. Откройте диспетчер задач
  4. Откройте вкладку «Службы»
  5. Сортировать по описанию
  6. Перезапустите службы с описанием Apache Hadoop...

После этих шагов попробуйте отправить задание.

person Thomas Edmondson    schedule 10.06.2015

Этот вопрос уже задавался в MSDN. Похоже, вы столкнулись с известной ошибкой между HDInsight и хранилищем Azure в малонагруженных кластерах. См. эту ссылку для документации по исправлению: cluster?forum=hdinsight" rel="nofollow">https://social.msdn.microsoft.com/Forums/en-US/c6bd04e9-e69b-4e96-b2ef-fa8abcf3bbc3/502-error-in-hbase-cluster? forum=hdinsight

person David Crook    schedule 15.07.2015