Экземпляру репликации AWS DMS не хватает памяти

Недавно я начал работать с AWS Data Migration Service (DMS) и столкнулся с некоторыми проблемами.

В настоящее время выполняется попытка переноса базы данных Oracle объемом 10 ГБ на AWS RDS Postgres. Работает, но имеет сумасшедшие (?) Требования к памяти. Похоже, что он загружает всю БД в память ... Начал с dms.r4.large (15,5 ГБ), но can not allocate memory через прибл. 98% .... Работает нормально с dms.r4.xlarge (30,5 ГБ)

«потребление

Как вы можете видеть на снимке экрана (свободная память, минимум), экземпляр постоянно работает «полный», прежде чем вся память будет освобождена после завершения задачи (или сбоя).

Есть ли какой-нибудь параметр, чтобы изменить это и почему он так себя ведет? Это делает всю задачу ненужной и дорогой ...


amazon-web-services aws-dms
person gapvision    schedule 12.05.2019    source источник

Ответы (1)


arrow_upward
13
arrow_downward

Как подтвердил AWS, это действительно была ошибка последней версии движка (v3.1.3). AWS предоставила следующие дополнительные сведения для оценки фактических требований к памяти:

Полный режим LOB (с использованием вставки одной строки + обновления, скорости фиксации)

Память: (количество столбцов lob в таблице) x (количество параллельных таблиц, по умолчанию 8) x (размер блока lob) x (скорость фиксации при полной загрузке) = 2 * 8 * 64 (k) * 10000k

Примечание. Вы можете рассмотреть возможность уменьшения значения «Скорость фиксации при полной загрузке», потому что мы выделяем память примерно так, как описано выше.

Ограниченный режим LOB (с использованием массива)

Память: (количество столбцов lob в таблице) x (количество параллельных таблиц, по умолчанию 8) x maxlobSize x bulkArraySize = 2 * 8 * 4096 (k) * 1000

person gapvision    schedule 20.05.2019
comment
что такое bulkArraySize? - person dev_etter; 02.10.2019
comment
Я бы предположил, что это равно скорости фиксации (объемный размер) - person gapvision; 03.10.2019
comment
Я тоже думал, что это так. Спасибо, что поделились этой формулой, на этой неделе она была для меня спасением. - person dev_etter; 03.10.2019