Вопросы по теме 'dataflow'
Создавать диаграммы потоков данных из источника VB.NET?
Доступен ли какой-либо инструмент, который может генерировать диаграммы потоков данных и диаграммы отношений сущностей непосредственно из исходного кода VB.NET?
2363 просмотров
schedule
08.04.2022
Миграция master-detail в SSIS 2008
У меня есть две базы данных MSSQL 2008 dbA и dbB, dbA содержит пару таблиц master-detail: AMaster, ADetail. Соответствующий ему dbB также содержит BMaster и BDetail. Единственное различие между A и B заключается в типе первичного ключа. В исходной...
412 просмотров
schedule
09.03.2023
Службам SSIS нужен вывод в виде плоского файла с одинаковыми заголовками 2 столбцов
Я пытаюсь использовать пункт назначения плоского файла SSIS, но не могу найти способ заставить выходной файл иметь два столбца с одинаковыми именами.
У меня есть требование, чтобы выходной файл имел заголовки столбцов:
first1, last1, email,...
3127 просмотров
schedule
29.04.2022
поток данных magento: как вызвать действие один раз перед обработкой любой строки
Контекст: версия Magento 1.7.0.0. Мне нужно импортировать данные csv с расширенными профилями magento dataflow. Я сделал адаптер, который реализует Mage_Dataflow_Model_Convert_Adapter_Abstract. Я реализовал метод saveRow() для обработки каждой...
1071 просмотров
schedule
26.08.2023
Данные Hadoop и поток управления
Я пишу приложение Hadoop, но кажется, что я неправильно истолковал, как именно работает Hadoop. Мои входные файлы представляют собой фрагменты карты, названные в соответствии с принципом QuadTile . Мне нужно выполнить подвыборку и сшить их вместе,...
662 просмотров
schedule
19.06.2022
Словарь терминов программирования потока данных
Я разрабатываю библиотеку потоков данных для java, и я хотел бы дать имена классам, как это принято в информатике. Например, у меня есть следующая конструкция потока данных:
он имеет 2 входные очереди, одну для сообщений и одну для акторов...
90 просмотров
schedule
08.12.2023
Программирование потока данных против модели актера
Как можно описать разницу между «программированием потока данных» и «моделью актера»? Насколько я понимаю, они не несвязанные, но все же не одно и то же. Является ли DF более широкой концепцией, суть которой заключается в отличии от модели Control...
3267 просмотров
schedule
27.07.2022
c # Поток данных или задачи, потребляющие сообщения для параллельной обработки
Если я хочу получать сообщения из внешней очереди, скажем, в Redis или подобном. Не лучше ли, чтобы один поток постоянно проверял очередь и отправлял сообщения в соответствующий BroadcastBlock для обработки (например)
if (message.type ==...
469 просмотров
schedule
27.07.2023
TPL Dataflow: дизайн для параллелизма при сохранении порядка
Я никогда раньше не работал с TPL, поэтому мне было интересно, можно ли это сделать с ним: мое приложение создает файл анимации изображения gif из множества кадров. Я начинаю со списка Bitmap, который представляет кадры файла gif, и мне нужно сделать...
1369 просмотров
schedule
08.06.2022
Ошибка отладки служб SSIS (источник Excel, преобразование данных, назначение OLE DB)
У меня возникают проблемы с созданием хорошего потока данных из источника Excel в базу данных SQL в BIDS 2010. Я использую 32-разрядную среду выполнения, у меня есть проверка подлинности Windows на сервере SQL. Я пытаюсь отправить данные в таблицу,...
23539 просмотров
schedule
15.01.2024
Как работает поток данных для импорта текстового файла в таблицу SQL Server в службах SSIS?
Как работает поток данных для импорта текстового файла в таблицу SQL Server в службах SSIS? Существует отдельная задача массовой вставки, поэтому, вероятно, она не используется. Интересует фактическая работа за кулисами.
48 просмотров
schedule
25.05.2023
Когда создавать несколько пакетов или задачу потока данных в SSIS?
Прошу прощения, если это глупый вопрос, так как я не могу найти ответ в Google, возможно, потому, что другие люди думают, что это очевидно, но я немного сбит с толку новичок.
Итак, я практикуюсь в создании небольшого хранилища данных. У меня есть...
2413 просмотров
schedule
31.07.2022
Разница между Pig в локальном режиме и pig-withouthadoop.jar
Я хотел знать, каков прирост или потеря производительности, если я использую свинью в локальном режиме (который внутренне вызывает уменьшение карты) по сравнению с использованием файла PIG-withouthadoop.jar.?
Действительно ли PIG-withouthadoop.jar...
779 просмотров
schedule
26.06.2022
Service Fabric: конвейер Reliable Services с балансировкой нагрузки на разделы
При попытке внедрить конвейер Reliable Services Service Fabric у меня было три подхода на выбор:
И похоже, что C — хороший путь. Подробности здесь.
В этом случае мне нужно реализовать своего рода насос сообщений между рабочими...
456 просмотров
schedule
09.11.2023
Подсчет различных значений в потоковом конвейере
У меня есть конвейер, который выглядит как
pipeline.apply(PubsubIO.read.subscription("some subscription"))
.apply(Window.into(SlidingWindow.of(10 mins).every(20 seconds)...
1184 просмотров
schedule
16.12.2023
Потоковая передача данных с использованием Python SDK: преобразование сообщений PubSub в вывод BigQuery
Я пытаюсь использовать поток данных для чтения сообщения pubsub и записи его в большой запрос. Команда Google предоставила мне альфа-доступ, и предоставленные примеры работают, но теперь мне нужно применить их к моему сценарию.
Полезная нагрузка...
3875 просмотров
schedule
29.12.2023
Как запустить GCP Dataflow в качестве сервисного аккаунта
Прямо сейчас, когда я запускаю поток данных, он запускает его как мое имя пользователя. Есть ли способ запустить поток данных GCP в качестве служебной учетной записи? Если да, можете ли вы предоставить какие-либо образцы?
Очень признателен!
747 просмотров
schedule
09.08.2022
Полевой раздел Apache Beam
Я хотел бы разделить коллекцию PCollection в Apache Beam с помощью Python по определенному полю.
Я нашел следующий код в документации Python SDK, который разбивает коллекцию PCollection на
students = ...
def partition_fn(student,...
686 просмотров
schedule
30.05.2022
Пользовательский источник для чтения файла паркета в облачном потоке данных
У меня есть требование прочитать файл паркета в моем потоке данных, написанном на java, и загрузить его в bigquery. Поскольку готовых функций пока нет, я знаю, что мне нужно написать собственный источник с помощью hadoopFileFormat, но я не могу найти...
479 просмотров
schedule
02.06.2024
Как отфильтровать самую старую ячейку в строке с помощью коннектора Cloud BigTable для DataFlow?
Я пытаюсь получить самую старую ячейку определенной строки в BigTable в моем конвейере DataFlow (используя Beam SDK 2.4.0). Однако я не могу найти какой-либо фильтр, который позволил бы мне это сделать?
Далее по конвейеру значение самой старой...
312 просмотров
schedule
08.10.2023
