amazon firehouse обновляет рекорды красного смещения

Мы используем все наши аналитические каналы через API-Gateway> Kinesis Streams> Lambda> FireHose> Redshift Tables.

AWS Lambda - это наш след преобразования, принимает записи потоков Kinesis, изменяет событие аналитики в зависимости от контекста и передает его в FireHouse, чтобы сохранить в Redshift DB.

В этом путешествии мы хотели обновить записи Redshift при определенных условиях (в основном UPSERT (Insert | Update)). есть ли что-нибудь в пожарном шланге, что можно избежать дублирования записей в красном смещении?


person kadalamittai    schedule 18.11.2016    source источник


Ответы (1)


Из коробки нет.

Если таблица, в которую вы хотите выполнить вставку, является таблицей T1, то вы можете сделать следующее:

  • Пусть Firehose выгружает записи в другую таблицу T2.
  • Запустите задание, используя cron или что-то в этом роде, которое периодически обновляется с T2 до T1. Используйте транзакции, чтобы избежать потери данных при выполнении и этого запроса, и запроса Firehose to Redshift.
person ketan vijayvargiya    schedule 21.11.2016