Публикации по теме 'etl'


var vs let vs const в JavaScript
Итак, дайте угадаю, вы впервые изучали javascript и запутались между этими разными типами объявления переменных, а потом погуглили. Итак, привет, вам повезло, вы находитесь в идеальном месте (мм… или, может быть, на странице) для решения ваших вопросов. Есть три способа объявить переменную в javascript вар позволять константа var был нашим старым добрым другом, а ключевые слова let и const появились в ES6 (ES2015). В этой статье мы обсудим, в чем разница между этими ключевыми..

Область видимости и объявление переменных JavaScript
Область видимости переменных JavaScript — это то, как переменная становится видимой для программы. Область может быть глобальной или локальной. Глобальные переменные видны повсюду в программе. Переменные с локальной областью видимости видны только внутри оператора блока кода, в котором они объявлены. Операторы блока заключаются в скобки «{…}». Переменные JavaScript объявляются с помощью: var , let или const . ВАР var объявляется как переменная области действия или..

Вопросы по теме 'etl'

С чего начать изучение предупреждений или уведомлений SQL Server?
Совсем недавно начались проблемы с заданием агента SQL Server, которое содержит пакет SSIS для извлечения производственных данных и суммирования их в отдельной базе данных отчетов. Я думаю , что некоторые из настроек оповещений/уведомлений, с...
2721 просмотров
schedule 21.09.2023

Можно ли использовать относительные пути для файлов dtsConfig пакетов служб SSIS?
Я пытаюсь сделать наши пакеты SQL Server Integration Services как можно более переносимыми, и единственная вещь, которая мешает этому, заключается в том, что путь к конфигурации всегда является абсолютным путем, что делает тестирование и развертывание...
20908 просмотров
schedule 01.09.2023

Самый простой способ извлечь данные списка SharePoint в отдельную таблицу SQL Server?
Отредактировано: Каков самый простой способ очистить извлечение данных списка SharePoint в отдельную таблицу SQL Server? Одно условие: вы работаете в рабочей среде, где вы не контролируете SQL Server за SharePoint Server, поэтому вы не можете...
55997 просмотров
schedule 17.08.2022

Советы по написанию надежных процессов передачи данных?
У меня есть ежедневный процесс, который основан на плоских файлах, доставляемых в каталог «Drop Box» в файловой системе, это запускает загрузку этих данных с разделителями-запятыми (из excel внешней компании и т. д.) в базу данных, частичное...
286 просмотров
schedule 11.10.2022

Лучшие практики при переносе данных из одной схемы базы данных в другую?
Часто, когда я работаю над проектом, я смотрю на схему базы данных и вынужден экспортировать данные для работы с новой схемой. Много раз существовала база данных, в которой хранились данные, которые были довольно грубыми. Я имею в виду, что он...
1299 просмотров
etl
schedule 30.08.2023

Данные в разном разрешении
У меня есть две таблицы, в эти таблицы постоянно вставляются записи из внешнего источника. Допустим, в этих таблицах хранится статистика взаимодействий пользователей. Когда пользователь нажимает кнопку, подробности этого щелчка (пользователь, время...
697 просмотров

Как лучше всего читать текстовый файл с разделителями табуляции на С#
У нас есть текстовый файл с примерно 100 000 строк, примерно 50 столбцов в строке, большая часть данных довольно мала (от 5 до 10 символов или цифр). Это довольно простая задача, но просто интересно, как лучше всего импортировать эти данные в...
6001 просмотров
schedule 07.06.2022

Службы SQL Server Integration Services — сравнение хэшей добавочной загрузки данных
Использование служб SQL Server Integration Services (SSIS) для загрузки добавочных данных, сравнения хэша импортируемых и существующих данных строки. Я использую это: http://ssismhash.codeplex.com/ чтобы создать хэш SHA512 для сравнения. При...
2604 просмотров
schedule 19.05.2024

Лучшая практика для работы с большими объемами данных
Мне нужно много обработать таблицу, содержащую более 26 миллионов строк: Определите правильный размер каждого столбца на основе данных указанного столбца Определите и удалите повторяющиеся строки. Создайте первичный ключ (автоматически...
499 просмотров
schedule 03.02.2024

Переменные служб SSIS не содержат правильных значений при выполнении в качестве задания
В ssis(2005) я использую задачу выполнения SQL для вызова хранимой процедуры. Хранимая процедура принимает 3 параметра, все 3 являются переменными ssis. Мой пакет выполняется без проблем в dev, но не работает в качестве задания. В журнале...
3002 просмотров
schedule 16.10.2022

Стратегия загрузки набора файлов в Talend
Я хочу знать, какая стратегия лучше всего подходит для решения следующей проблемы в Talend: Мне нужно загрузить данные из набора файлов с разделителями, которые хранятся в каталоге с такими именами, как (SAMPLE1.DAT, SAMPLE2.DAT, ...,...
8305 просмотров
schedule 12.11.2022

Проверка данных при преобразовании данных в Pentaho
Как проверить проверку внешнего ключа при использовании Pentaho для преобразования? Например, я хотел бы перенести одну таблицу с именем сотрудника из исходной базы данных MySQL в другую целевую базу данных MySQL, и если таблица сотрудников в целевой...
526 просмотров
schedule 08.07.2022

Изменение свойств медленно меняющегося преобразования измерения в службах SSIS
У меня проблема с изменением свойств преобразования SCD в SSIS 2005. Я могу определить все свойства и сопоставления в первый раз, когда редактирую преобразование и его работу. Но когда я снова открываю редактор свойств компонента, он забывает...
1562 просмотров
schedule 09.05.2022

Приложение Java Desktop для загрузки файлов CSV в базу данных
Я работаю над настольным приложением (тип приложения «Extract Transform Load»), которое требует загрузки больших файлов CSV (около 6 ГБ) в базу данных с использованием Java в качестве интерфейса и Oracle в качестве сервера, но я открыт для других баз...
2331 просмотров
schedule 20.04.2023

Службам SSIS нужен вывод в виде плоского файла с одинаковыми заголовками 2 столбцов
Я пытаюсь использовать пункт назначения плоского файла SSIS, но не могу найти способ заставить выходной файл иметь два столбца с одинаковыми именами. У меня есть требование, чтобы выходной файл имел заголовки столбцов: first1, last1, email,...
3127 просмотров
schedule 29.04.2022

Какие есть хорошие инструменты для очистки данных?
Я анализирую большое количество сложных файлов (в основном CSV-файлы, но некоторые нет), и мне нужно структурировать/разбирать их в некоторые стандартные форматы. Это включает не только очистку данных по строкам, но и некоторую простую логику на...
3845 просмотров
schedule 05.03.2023

Импортировать файл Excel как ресурс в Talend
Я новичок в Таленде. У меня есть файл Excel со строками заголовков и фильтрами. Моя работа копирует этот файл в рабочий каталог ( tFile_copy ), а затем заполняет файл данными, выбранными из базы данных. Затем он отправляет файл с результатами по...
4360 просмотров
schedule 13.02.2022

каков предлагаемый порядок извлечения данных измерений/фактов?
Насколько я понимаю, сначала должны быть извлечены измерения, а затем должны быть извлечены факты. Таким образом, внешние ключи по-прежнему будут учитываться в промежуточной области. При загрузке следует использовать ту же последовательность по...
762 просмотров
schedule 08.06.2022

Преобразование базы данных SQLite3 в JSON iOS
Я просмотрел Google для учебника, чтобы помочь с этим, но не смог найти ничего всеобъемлющего. Я хочу односторонне синхронизировать базу данных SQLite3 с веб-службой, отправив данные, содержащиеся в базе данных, в формате JSON, но у меня возникли...
6735 просмотров
schedule 19.04.2024

Как добавить сторонние библиотеки в проект Talend?
Как добавить сторонние библиотеки (файлы jar) в проект Talend? Еще такой вопрос, Каждая таленда component использует LogFactory , но в моем случае кидает java.lang.NoClassDefFoundError: org.apache.commons.logging.LogFactory at ... с...
47865 просмотров
schedule 05.09.2023