Я пытаюсь создать поток spring xd для чтения файла с s3, это http-ссылка с amazon s3. Как это сделать весной xd для чтения файла http txt в s3. в настоящее время я отбрасываю файл в /tmp/filetest, он работает с потоком ниже. Я хочу получить файл по ссылке http в s3
stream create --name filetest --definition "file --outputType=text/plain | rabbit" --deploy
Намасте @constantlearner,
Это интересная задача, которую мы сейчас решаем и для клиента. Я наткнулся на ваш вопрос в поисках ответов.
Для меня это похоже на S3FS (https://github.com/s3fs-fuse/s3fs-fuse) на данный момент является наиболее простым решением: смонтируйте корзину S3 на одну или несколько клиентских машин и оттуда выполняйте потоковую передачу файлов с помощью Spring XD, Flume, Spark и т. д. В противном случае вам пришлось бы реализовать протокол S3 самостоятельно.
С уважением, Даниил.
