Pig Latin: загрузка нескольких файлов из диапазона дат (часть структуры каталогов)

Pig обрабатывает ваш шаблон имени файла, используя утилиты glob для файлов hadoop, а не утилиты glob оболочки. Hadoop задокументированы здесь. Как видите, Hadoop не поддерживает оператор «..» для диапазона. Мне кажется, у вас есть два варианта: либо написать список {date1,date2,date2,...,dateN} вручную, что, если это редкий вариант использования, вероятно, будет правильным, либо написать сценарий-оболочку, который генерирует этот список для вас. Создание такого списка из диапазона дат должно быть тривиальной задачей для выбранного вами языка сценариев. Для моего приложения я выбрал маршрут сгенерированного списка, и он работает нормально (дистрибутив CHD3).

Как сказал zjffdu, расширение пути выполняется оболочкой. Один из распространенных способов решить вашу проблему — просто использовать параметры Pig (что в любом случае является хорошим способом сделать ваш скрипт более пригодным для повторного использования):

оболочка:

pig -f script.pig -param input=/user/training/test/{20100810..20100812}

скрипт.свинья:

temp = LOAD '$input' USING SomeLoader() AS (...);

я наткнулся на этот ответ, когда у меня возникли проблемы с попыткой создать файл glob в скрипте, а затем передать его в качестве параметра в скрипт свиньи.

ни один из текущих ответов не применим к моей ситуации, но я нашел общий ответ, который может быть здесь полезен.

в моем случае расширение оболочки происходило, а затем передавалось в скрипт, что, по понятным причинам, вызывало полные проблемы с парсером свиньи.

поэтому, просто заключая глобус в двойные кавычки, он защищает его от расширения оболочкой и передает его как есть в команду.

НЕ РАБОТАЕТ:

$ pig -f my-pig-file.pig -p INPUTFILEMASK='/logs/file{01,02,06}.log' -p OTHERPARAM=6

БУДУ РАБОТАТЬ

$ pig -f my-pig-file.pig -p INPUTFILEMASK="/logs/file{01,02,06}.log" -p OTHERPARAM=6

Я надеюсь, что это спасет кого-то от боли и агонии.

Так как это работает:

temp = LOAD '/user/training/test/{20100810,20100811,20100812}' USING SomeLoader()

но это не работает:

temp = LOAD '/user/training/test/{20100810..20100812}' USING SomeLoader()

но если вам нужен диапазон дат, который охватывает, скажем, 300 дней, и передача полного списка в LOAD, по меньшей мере, не элегантна. Я придумал это, и это работает.

Скажем, вы хотите загрузить данные с 2012-10-08 по сегодняшний день 2013-02-14, что вы можете сделать, это

temp = LOAD '/user/training/test/{201210*,201211*,201212,2013*}' USING SomeLoader()

затем сделайте фильтр после этого

filtered = FILTER temp BY (the_date>='2012-10-08')

temp = LOAD '/user/training/test/2010081*/*' USING SomeLoader() AS (...);
load 20100810~20100819 data
temp = LOAD '/user/training/test/2010081{0,1,2}/*' USING SomeLoader() AS (...);
load 20100810~2010812 data

если переменная находится в середине пути к файлу, объедините имя подпапки или используйте «*» для всех файлов.

Я обнаружил, что эта проблема вызвана оболочкой Linux. Оболочка Linux поможет вам расширить

 {20100810..20100812} 

to

  20100810 20100811 20100812, 

тогда вы фактически запускаете команду

bin/hadoop fs -ls 20100810 20100811 20100812

Но в hdfs api это не поможет вам расширить выражение.

Спасибо Дэйву Кэмпбеллу. Некоторые из ответов неверны, так как они получили несколько голосов.

Ниже приведен результат моего теста:

• Работает

  • pig -f test.pig -param input="/test_{20120713,20120714}.txt"
    • Cannot have space before or after "," in the expression
  • pig -f test.pig -param input="/test_201207*.txt"
  • pig -f test.pig -param input="/test_2012071?.txt"
  • pig -f test.pig -param input="/test_20120713.txt,/test_20120714.txt"
  • pig -f test.pig -param input=/test_20120713.txt,/test_20120714.txt
    • Cannot have space before or after "," in the expression

• Не работает

  • pig -f test.pig -param input="/test_{20120713..20120714}.txt"
  • pig -f test.pig -param input=/test_{20120713,20120714}.txt
  • pig -f test.pig -param input=/test_{20120713..20120714}.txt

Нужно ли мне использовать более высокий язык, такой как Python, для захвата всех отметок даты в диапазоне и передачи их в LOAD в виде списка, разделенного запятыми?

Вероятно, вы этого не сделаете - это можно сделать с помощью пользовательской загрузки UDF или попробовать переосмыслить структуру каталогов (это будет хорошо работать, если ваши диапазоны в основном статичны).

дополнительно: Pig принимает параметры, возможно, это поможет вам (возможно, вы могли бы сделать функцию, которая будет загружать данные за один день и объединять их с результирующим набором, но я не знаю, возможно ли это)

редактировать: возможно, написание простого скрипта python или bash, который генерирует список дат (папок), является самым простым решением, вам просто нужно передать его Pig, и это должно работать нормально

На ответ Ромена, если вы хотите просто параметризовать дату, оболочка будет работать следующим образом:

pig -param input="$(echo {20100810..20100812} | tr ' ' ,)" -f script.pig

свинья:

temp = LOAD '/user/training/test/{$input}' USING SomeLoader() AS (...);

Обратите внимание на цитаты.

Pig поддерживать статус глобуса hdfs,

поэтому я думаю, что pig может справиться с шаблоном /user/training/test/{20100810,20100811,20100812},

не могли бы вы вставить журналы ошибок?

Вот скрипт, который я использую для создания списка дат, а затем помещаю этот список в параметры скрипта свиньи. Очень сложно, но работает для меня.

Например:

DT=20180101
DT_LIST=''
for ((i=0; i<=$DAYS; i++))
do
    d=$(date +%Y%m%d -d "${DT} +$i days");
    DT_LIST=${DT_LIST}$d','
done

size=${#DT_LIST}
DT_LIST=${DT_LIST:0:size-1}


pig -p input_data=xxx/yyy/'${DT_LIST}' script.pig