Не могли бы вы предоставить мне шаги по настройке Flume для потоковой передачи данных Facebook.
Мы успешно настроили Flume для извлечения данных из Twitter.
Пожалуйста, взгляните на конфигурацию, которую мы создали для извлечения данных из твиттера.
Конфигурация Flume для Twitter
TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS
# Describing/Configuring the source
TwitterAgent.sources.Twitter.type = org.apache.flume.source.twitter.TwitterSource
TwitterAgent.sources.Twitter.consumerKey = 4ENqf3q23iwdTSDJchv7w
TwitterAgent.sources.Twitter.consumerSecret = bAPTWfbRildBMWsEHo56SmZeXkftvZNCgvjHXbcUfAKoKzQjY0VIUOftTh6c
TwitterAgent.sources.Twitter.accessToken = 736128293661855746- rQIQYZNGCh9lW8XHCkjcnvwZH1BItnGi0XJ0gHM26F
TwitterAgent.sources.Twitter.accessTokenSecret = ehTsqX7GcU1aBqmekDcwPuu1csFOnfgzxc2EPtS0kudXOADeAAI
TwitterAgent.sources.Twitter.keywords = modi, india elections, bjp, congress, tdp,jana sena, pwan kalyan, mohanlal
# Describing/Configuring the sink
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://env11-hadoop- master.trv.flytxt.com:54310/user/Hadoop/twitter_data
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = writable
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1
TwitterAgent.sinks.HDFS.hdfs.rollSize = 1
TwitterAgent.sinks.HDFS.hdfs.rollCount = 1
# Describing/Configuring the channel TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 100
TwitterAgent.channels.MemChannel.type = file
# Binding the source and sink to the channel
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sinks.HDFS.channel = MemChannel
For configuring twitter we need the following configurations
TwitterAgent.sources.Twitter.consumerKey = 4ENqf3q23iwsdfmhadfjafjkemliSYs7w
TwitterAgent.sources.Twitter.consumerSecret = bAPTWfbRildangxvasxvhaxjasbxkjtvUfAKoKzQjY0VIUOftTh6c
TwitterAgent.sources.Twitter.accessToken = 7361282936618557ZNbcvHJxjxbnH1BItnGi0XJ0gHM26F
TwitterAgent.sources.Twitter.accessTokenSecret = ehTsASNMGCxvashgvcxjAHvcSFGcjahgPuu1csFO2EPtS0kudXOADeAAI
Но как получить то же самое для facebook? или предоставьте рабочую конфигурацию для потоковой передачи данных Facebook с использованием Flume.
