SSIS — Медленно меняющееся измерение — только последние данные

У меня есть таблица с почти 10 миллионами записей. Нам крайне необходимо выполнить таблицу хранилища данных типа 2 и медленно меняющееся измерение для заполнения этой таблицы. Это легкая часть.

Трудная часть заключается в том, что я хочу понять, как я могу ТОЛЬКО заставить пакет SSIS просматривать элементы, в которых дата изменения элементов составляет 72 часа или меньше, чем текущая дата; это приведет к быстрому запуску пакета во второй раз. Я могу запустить медленно меняющееся измерение из представления, в котором есть этот фильтр. НО я не хочу, чтобы истекли записи, которых не было в последней пачке данных.

Надеюсь, есть какие-нибудь учебные пособия, включая снимки экрана, о том, что я могу сделать, чтобы все это произошло гладко? Я искал и искал и ничего не нашел, но я почти уверен, что это очень легко сделать.


person Bill Daugherty    schedule 30.09.2015    source источник
comment
Похоже, вы не захотите использовать компонент SCD для быстрого решения. Вы можете вручную реализовать логику SCD с помощью поиска, условного разбиения, производных столбцов и т. д. Роберт Кейн рассказывает об этом в своем курсе Pluralsight по шаблонам проектирования DW — он называет это шаблоном на основе набора. Если вы хотите сохранить компонент SCD, вам понадобится условное разделение — одно разделение с истечением логики, другое — без. Отнеситесь к этому с долей интернет-соли, так как я изучал SSIS всего около года.   -  person sorrell    schedule 30.09.2015


Ответы (1)


Мастер SCD создаст поток данных «Исторические атрибуты вставляет выходные данные», который пройдет через преобразование «Производный столбец», а затем через преобразование «Команда OLE DB». В этом последнем компоненте будут обновляться записи с истекшим сроком действия.

Вы можете отредактировать код SQL в этом преобразовании или удалить этот компонент и повторно подключить поток данных.

person Mike Honey    schedule 01.10.2015