Ограничение памяти в Azure Data Lake Analytics

Я реализовал собственный экстрактор для файлов NetCDF и загружаю переменные в массивы в памяти перед их выводом. Некоторые массивы могут быть довольно большими, поэтому мне интересно, каков предел памяти в ADLA. Есть ли какой-то максимальный объем памяти, который вы можете выделить?


azure-data-lake u-sql
person Magnus Johannesson    schedule 15.12.2016    source источник

Ответы (2)


arrow_upward
5
arrow_downward

Для каждой вершины доступно 6 ГБ. Имейте в виду, что эта память совместно используется ОС, средой выполнения U-SQL и пользовательским кодом, работающим в вершине.

person saveenr    schedule 15.12.2016

arrow_upward
2
arrow_downward

В дополнение к ответу Савина: обратите внимание, что строка может содержать не более 4 МБ данных, поэтому ваш SqlArray также будет ограничен максимальным размером строки, как только вы вернете его из своего экстрактора.

person Michael Rys    schedule 16.12.2016