Концентратор событий Azure: какие типы данных он может принимать

Что ты пытаешься сделать? Вы могли поддерживать любой формат с помощью настраиваемого gaateway (так была добавлена ​​поддержка MQTT). ASA получит проанализированные данные, поэтому форматы не нужны.   -  person Panagiotis Kanavos    schedule 13.04.2016

Нам нужно загружать 1 файл за 15 секунд. Формат файла настраивается, это не JSON, CSV или Avro. Потребуется собственный синтаксический анализ. Из-за масштабируемости Event Hub мы подумали, что Event Hub будет полезен для этой задачи. Чтобы вы посоветовали?   -  person greypanda    schedule 13.04.2016

Масштабируемость означает использование минимального анализа. В противном случае EventHub завершит синтаксический анализ вместо приема. Один из вариантов - просто изменить формат на стороне клиента (насколько велики файлы и как они создаются?). Другой вариант - создать сайт, который будет выступать в качестве шлюза, получить файл, преобразовать его и передать его в концентратор событий. Это имеет то преимущество, что вы можете группировать несколько таких файлов до предела 256 КБ.   -  person Panagiotis Kanavos    schedule 13.04.2016

Изменение формата файла на стороне клиента для нас не вариант.   -  person greypanda    schedule 13.04.2016

Почему нет? Насколько велик файл? Если он достаточно мал для отправки, он достаточно мал, чтобы изменить прямо перед публикацией. Помните, вы публикуете события, а не отправляете файлы   -  person Panagiotis Kanavos    schedule 13.04.2016

Мы не владеем клиентской стороной, они внешние. В настоящее время файлы помещаются в наш SFTP, и у нас есть сценарии, которые анализируют и загружают эти файлы в базу данных. Размер каждого файла составляет от 1 МБ до 4 МБ. Мы рассматриваем возможность использования Azure, но по умолчанию кажется, что он поддерживает форматы JSON, CSV и Avro.   -  person greypanda    schedule 13.04.2016

Концентратор событий предназначен для событий, а не для ETL. Например, вы можете просто опубликовать файл непосредственно в хранилище BLOB-объектов, не проходя через концентратор событий. Вы смотрите не на тот сервис. Вы даже не можете опубликовать такой большой файл в Event Hub. Вам следует обратиться к DataFactory для ETL. Другие варианты - Функции Azure и Веб-задания.   -  person Panagiotis Kanavos    schedule 13.04.2016

Функции Azure могут запускаться событиями BLOB-объектов, поэтому они могут запускаться автоматически при отправке файла. Вы можете проанализировать файл там и, если вам действительно нужна обработка событий, публиковать отдельные события в Event Hub и ASA. (Вероятно, нужно преобразовать все это в сообщение в блоге, вздох)   -  person Panagiotis Kanavos    schedule 13.04.2016

Представьте, что файлы загружаются в Blob вместо текущего SFTP-сервера. Формат файла будет индивидуальным. Какой процесс в Azure будет анализировать эти файлы?   -  person greypanda    schedule 13.04.2016

Уже выложил это. Подойдет все, что может выполнять собственный код. DataFactory - это специализированный сервис ETL. Функции и веб-задания Azure могут запускать настраиваемый код, если вам не нужна полная среда ETL.   -  person Panagiotis Kanavos    schedule 13.04.2016

Тот, кто вчера изменил заголовок и одобрил изменение: вы изменили вопрос полностью. Кроме того, ASA не использует концентратор событий ниже.   -  person Panagiotis Kanavos    schedule 15.04.2016