Я хочу знать, как мы можем загрузить данные из DynamoDB в Redshift.
Согласно документации DynamoDB — это NoSQL, а Redshift — это RDBMS.
Итак, как я могу обрабатывать неструктурированные данные нормализованным способом?
Когда мне нужно нормализовать данные?
Я хочу знать, хранит ли Redshift полные данные или преобразованные данные.
Я хочу знать, как лучше всего загружать добавочные данные.
Может ли кто-нибудь предложить шаги для этого процесса?
Загрузка данных из DynamoDB
Команду Amazon Redshift COPY можно использовать для загрузки таблицы DynamoDB в таблицу Redshift. Это загрузит полную таблицу DynamoDB в Redshift.
См. документацию: Загрузка данных из таблицы Amazon DynamoDB< /а>
Имена столбцов сопоставляются, и загружаются только те столбцы, имена которых совпадают.
Загрузка дополнительных данных
Чтобы выполнить инкрементную загрузку (например, только в случае, когда Country='USA'), сначала загрузите полную таблицу во временную таблицу, а затем выполните обычные INSERT SQL-команды в Redshift, чтобы вставить/скопировать нужные данные.
Видеть:
Нормализация, внешние и первичные ключи
DynamoDB — это база данных NoSQL, поэтому между таблицами и внешними ключами нет реляционных концепций.
При создании таблиц в Redshift, которые будут получать ваши данные из DynamoDB, вы можете указать внешние ключи. Они не применяются Redshift, но используются оптимизатор запросов.
После импорта данных в Redshift вы можете выполнять реляционные запросы (например, используя JOIN) между таблицами.
Ваши данные не нуждаются в нормализации. На самом деле хранилища данных, такие как Redshift, часто загружены широкими таблицами и дублированными данными, что упрощает запрос данных с меньшим количеством JOINS.
