Как настроить fs.s3.awsAccessKeyId и fs.s3.awsSecretAccessKey в SparkR?

Я пытаюсь получить доступ к файлу паркета, хранящемуся в корзине S3, с помощью sparkR со spark 2.1.

Я пытался настроить секреты aws таким образом.

Sys.setenv(AWS_ACCESS_KEY_ID="XXXX")
Sys.setenv(AWS_SECRET_ACCESS_KEY="XXXX")

Но возвращает ошибку:

Ошибка: Ошибка в loadDF: недопустимый аргумент — идентификатор ключа доступа AWS и секретный ключ доступа должны быть указаны как имя пользователя или пароль (соответственно) URL-адреса s3 или путем установки свойств fs.s3.awsAccessKeyId или fs.s3.awsSecretAccessKey ( соответственно).


person user2322784    schedule 22.02.2017    source источник
comment
Ты нашел свой ответ ?   -  person Romain    schedule 28.08.2017
comment
у вас установлен инструмент командной строки AWS?   -  person nate    schedule 11.09.2017


Ответы (1)


Передача ваших учетных данных непосредственно в запрошенный URL-адрес не вызывает ошибку.

s3n://XXXX:XXXX@bucket/file/whateveryouwant где XXXX:XXXX – это ваш aws_access_key_id:aws_secret_access_key

person Romain    schedule 28.08.2017