Я делаю обзор архитектуры среды и возможностей U-SQL. Я много читал, кодировал и внедрял за последнюю неделю в тестовой среде. Я обеспокоен тем, что мой прием файлов происходит медленно при приеме файлов json. 150 файлов по 100 МБ каждый занимает более 45 минут. Да, json довольно сложный и вложенный, но позвольте мне сравнить его со Spark в HDInsight с двумя рабочими узлами, 22 минуты. У кого-нибудь есть реальный сценарий (помимо MS) с использованием больших объемов данных?
Спасибо!
