Используйте команду Redshift Copy для слияния

Вы не можете выполнить слияние непосредственно из COPY.

Однако ваш первоначальный подход может быть заключен в транзакцию с использованием временной таблицы для подготовки данных загрузки для лучшей производительности.

BEGIN
;
CREATE TEMP TABLE event_table_staging (
     event_date  TIMESTAMP  NULL
    ,event_id    BIGINT     NULL
    ,event_cost  INTEGER    NULL )
DISTSTYLE KEY
DISTKEY (event_id)
SORTKEY (event_id)
;
COPY event_table_staging  
FROM <s3 location>
COMPUDATE ON
;
UPDATE event_table  
SET    event_date = new.event_date
      ,event_cost = new.event_cost
FROM        event_table         AS trg
INNER JOIN  event_table_staging AS new
        ON  trg.event_id = new.event_id
WHERE COALESCE(trg.event_date,0) <> COALESCE(new.event_date,0)
  AND COALESCE(trg.event_cost,0) <> COALESCE(new.event_cost,0)
;
INSERT INTO event_table 
SELECT  event_date
       ,event_id  
       ,event_cost
FROM        event_table_staging AS new
LEFT JOIN   event_table         AS trg
       ON   trg.event_id = new.event_id
WHERE trg.event_id IS NULL
;
COMMIT
;

Этот подход на самом деле работает удивительно хорошо, пока вы используете транзакцию, а общий объем обновлений относительно невелик (однозначное число%). Единственный нюанс — вашу цель нужно будет периодически VACUUMовать — нам достаточно одного раза в месяц.

Мы делаем это ежечасно для нескольких таблиц в диапазоне сотен миллионов строк, т. е. сотни миллионов строк объединяются в сотни миллионов строк. Пользовательские запросы к объединенным таблицам по-прежнему выполняются хорошо.

Redshift оптимизирован для обработки огромных объемов данных экономичным способом, и вам необходимо изменить некоторые представления о данных и базе данных, которые у вас есть из других БД.

Основная идея заключается в том, что вы не должны обновлять данные в Redshift. Вы должны рассматривать эти данные в Redshift как «Журнал». Вы можете использовать такие функции, как INSERT или UPDATE, но они резко ограничат объем данных, которые вы можете обработать.

Вы можете обрабатывать дубликаты несколькими способами:

• Вы можете предотвратить создание дубликатов, управляя некоторыми таблицами поиска в памяти (например, в Redis на ElastiCache).) всех идентификаторов, которые вы обрабатываете, и игнорировать запись, если вы уже обработали ее.

• Вы можете хранить дубликаты внутри Redshift и обрабатывать эти записи с помощью функций WINDOW. это займет только одну из записей (LAST_VALUE, например ).

• Вы можете иметь необработанные события в Redshift и выполнять агрегацию в запросах к БД вместо предварительной обработки. Этот режим также дает гибкость в изменении способа агрегирования данных. Redshift может быть очень быстрым с этим агрегированием, и нет необходимости в предварительном агрегировании.

Если вы все еще хотите иметь «чистые» и агрегированные данные в Redshift, вы можете ВЫГРУЗИТЕ эти данные с помощью SQL-запроса с правильным агрегированием или функцией WINDOW, удалите старую таблицу и скопируйте данные обратно в Redshift.