Хотите узнать больше об устройстве AWS DMS (Data Migration Service)?

Когда создается задача репликации, при любых изменениях в исходной базе данных она реплицируется в целевой базе данных.

Итак, просто хотели узнать больше о том, как эта служба работает внутри компании?

  • Мое понимание DMS имеет службу прослушивания, которая используется для прослушивания триггеров / событий, когда они запускаются на источнике, и прослушиватель собирает эти события / триггеры и запускает их одновременно на цели, своего рода концепция потоковой передачи имеет был реализован в текущей репликации, а во время загрузки была реализована пакетная обработка.

Не могли бы вы подробнее рассказать мне о внутреннем устройстве или, пожалуйста, поделитесь со мной какой-либо ссылкой на его дизайн высокого уровня.

Мне нужно больше разъяснений по этому поводу


amazon-web-services aws-dms
person Girish    schedule 10.06.2018    source источник
comment
хорошее дополнение к вашему вопросу forum.aws.amazon.com/thread.jspa?threadID = 308451   -  person VB_    schedule 22.04.2021

Ответы (3)


arrow_upward
1
arrow_downward

Этот документ содержит общий обзор как работает DMS:

Чтобы выполнить миграцию базы данных, AWS DMS подключается к исходному хранилищу данных, считывает исходные данные и форматирует данные для использования в целевом хранилище данных. Затем он загружает данные в целевое хранилище данных. Большая часть этой обработки происходит в памяти, хотя для больших транзакций может потребоваться некоторая буферизация на диск. Кэшированные транзакции и файлы журналов также записываются на диск. На высоком уровне при использовании AWS DMS вы делаете следующее:

  • Создайте сервер репликации.

  • Создайте исходную и целевую конечные точки, которые имеют информацию о подключении к вашим хранилищам данных.

  • Создайте одну или несколько задач для переноса данных между исходным и целевым хранилищами данных.

На странице гораздо больше деталей, но это резюме хорошо объясняет, что происходит. Нет триггеров, так как просто чтение указанных вами данных, преобразование по мере необходимости, а затем запись в место назначения.

person Brandon Miller    schedule 10.06.2018
comment
Вы упомянули о начальной загрузке, которую я знаю, но как происходит репликация? - person Girish; 11.06.2018
comment
Он продолжает применять изменения как транзакции, используя сервер репликации для чтения из источника, а затем записи в цель. - person Brandon Miller; 11.06.2018
comment
откуда он знает, что есть изменение в источнике там должно быть что-то на слух слушателя? - person Girish; 12.06.2018
comment
Он использует службу CDC исходной базы данных. - person Anuj Kumar; 27.03.2021

arrow_upward
1
arrow_downward

Как работает DMS CDC, зависит от исходной базы данных и часто требует настройки исходной базы данных и параметров управления в задаче DMS.

Этот процесс работает путем сбора изменений в журналах базы данных с помощью собственного API ядра базы данных.

У каждого исходного механизма есть определенные требования к конфигурации для предоставления доступа к этому потоку изменений данной учетной записи пользователя. Большинству движков требуется некоторая дополнительная настройка, чтобы позволить процессу захвата осмысленно потреблять измененные данные без потери данных. Например, Oracle требует добавления дополнительного ведения журнала, а MySQL требует двоичного журнала на уровне строк (ведение журнала).

Для чтения текущих изменений из исходной базы данных AWS DMS использует специфичные для движка действия API для чтения изменений из журналов транзакций исходного движка. Ниже приведены некоторые примеры того, как это делает AWS DMS:

(Продолжайте читать по адресу: https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Task.CDC.html)

Чтобы найти свою конкретную исходную базу данных, запустите здесь, выберите свой источник , и погрузитесь в детали.

person JimmyL    schedule 27.09.2018

arrow_upward
0
arrow_downward

Для сервера MsSQL:

  • Использование службы репликации sql
  • Использование регистрации изменений данных

Когда вы активируете одну из этих служб, в файле ldf будут созданы более подробные записи.

Работает двух типов:

  1. Предотвращая усечение файла журнала, он постоянно читает файл журнала и передает новые операции целевым объектам.
  2. Читает резервные копии транзакций и передает новые записи в места назначения

Проверьте это: https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.SQLServer.html

person Yunus UYANIK    schedule 12.06.2018