Настройка свойств конфигурации улья для Presto в EMR

Я пытаюсь обновить свойства коннектора улья внутри /etc/presto/conf/catalog/hive.properties. Я добавил следующее:

hive.s3.max-client-retries=50
hive.s3.max-error-retries=50
hive.s3.max-connections=500
hive.s3.connect-timeout=5m
hive.s3.socket-timeout=5m

Но почему-то не принимаются. При перезапуске сервера presto возникает следующая ошибка:

2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   UNUSED PROPERTIES
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.connect-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-client-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-connections
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-error-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.socket-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   
2018-04-16T19:34:26.587Z    ERROR   main    com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors:

1) Configuration property 'hive.s3.connect-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

2) Configuration property 'hive.s3.max-client-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

3) Configuration property 'hive.s3.max-connections' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

4) Configuration property 'hive.s3.max-error-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5) Configuration property 'hive.s3.socket-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5 errors

amazon-emr hive presto
person nish    schedule 16.04.2018    source источник
comment
Какое значение hive.s3-file-system-type? Эти свойства применимы, если тип файловой системы PRESTO.   -  person Piotr Findeisen    schedule 17.04.2018
comment
@PiotrFindeisen ваш комментарий выглядит как ответ.   -  person kokosing    schedule 17.04.2018
comment
я превратил свой комментарий в ответ.   -  person Piotr Findeisen    schedule 17.04.2018

Ответы (2)


arrow_upward
3
arrow_downward

Эти свойства применимы, если для hive.s3-file-system-type установлено значение PRESTO. Когда это например. EMRFS, эти свойства конфигурации не применимы, и их установка вызывает наблюдаемую вами ошибку.

person Piotr Findeisen    schedule 17.04.2018
comment
Спасибо Петру. Есть ли разница в производительности между Presto FS и EMRFS? Мне интересно, следует ли мне настроить эти свойства в EMRFS или переключиться на Presto FS - person nish; 18.04.2018
comment
@nish, чтобы узнать о производительности, см. эталонный тест для Presto на EMR (с использованием EMRFS) и Presto на EC2 (без использования EMRFS). starburstdata.com/technical-blog / Некоторые самые большие различия можно отнести к CBO, но не все (мы знаем, в каких запросах CBO помогает, а в каких - нет). Для теста мы настроили EMR по сравнению с настройками по умолчанию, поскольку значения по умолчанию не обеспечивали максимальной производительности. Отказ от ответственности: я из Starburst. - person Piotr Findeisen; 26.07.2018

arrow_upward
2
arrow_downward

Как упоминал Петр, EMR изменил реализацию FileSystem по умолчанию, начиная с emr-5.12.0, с PrestoS3FileSystem на EmrFS. Свойства PrestoS3FileSystem будут недоступны, но вы можете настроить EmrFS, как и для любого другого приложения. См. «Конфигурация EMRFS и PrestoS3FileSystem» на странице https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-considerations.html для получения дополнительной информации.

person zyork    schedule 17.04.2018
comment
Спасибо, что добавили это! - person Piotr Findeisen; 18.04.2018