Я продолжаю получать спорадические ошибки от Cloud Functions for Firebase при преобразовании относительно небольшого изображения (2 МБ). В случае успеха функция занимает около 2000 мс или меньше, и, согласно документации Image Magick, я не должен видеть никаких проблем.
Я попытался увеличить размер буфера для команды, что невозможно из Firebase, и попытался найти альтернативы .spawn(), так как это могло быть перегружено мусором и замедлило работу. Ничего не работает.
Вы можете установить это из файла облачной функции в Firebase.
const runtimeOpts = {
timeoutSeconds: 300,
memory: '1GB'
}
exports.myStorageFunction = functions
.runWith(runtimeOpts)
.storage
.object()
.onFinalize((object) = > {
// do some complicated things that take a lot of memory and time
});
Взять из документации здесь: https://firebase.google.com/docs/functions/manage-functions#set_timeout_and_memory_allocation
Не забудьте затем запустить firebase deploy со своего терминала.
VALID_MEMORY_OPTIONS['1GB'] для машинописного текста
- person Ruben; 28.07.2019
Я потерялся в пользовательском интерфейсе, не мог найти никакой возможности изменить память, но наконец нашел его:
[обновление] Как предположил один из комментаторов, это больше не должно быть проблемой, поскольку функции firebase теперь сохраняют свои настройки при повторном развертывании. Спасибо, firebase!
Оказывается, и это не очевидно и не задокументировано, вы можете увеличить выделение памяти для своих функций в консоли функций Google.. Вы также можете увеличить время ожидания для длительно выполняющихся функций. Решил проблему с перегрузкой памяти и теперь все работает отлично.
Изменить: обратите внимание, что Firebase сбросит значения по умолчанию при развертывании, поэтому вы должны не забыть войти в консоль и сразу же обновить их. Я все еще ищу способ обновить эти настройки через CLI, обновлю, когда найду.
Последняя команда развертывания firebase перезаписывает выделенную память до 256 МБ по умолчанию и тайм-аут до 60 секунд.
В качестве альтернативы, чтобы указать желаемое распределение памяти и максимальный тайм-аут, я использую команду gcloud, например:
Развертывание бета-функций gcloud YourFunctionName --memory = 2048MB --timeout = 540s
Другие варианты, пожалуйста, обратитесь к:
https://cloud.google.com/sdk/gcloud/reference/beta/functions/deploy
Вы можете настроить свою память здесь:
Вывод из пользовательского интерфейса немного сложен, поэтому вот несколько снимков экрана с инструкциями:
Перейдите по ссылке https://console.cloud.google.com/functions/list
Обновление: похоже, теперь они сохраняют настройки при повторном развертывании, поэтому вы можете безопасно изменить выделение памяти в облачной консоли!
вы можете добавить конфигурации в определения функций firebase, например:
functions.runWith({memory: '2GB', timeoutSeconds: '360'})
Кажется, что конфигурация ресурса ImageMagick по умолчанию в Firebase Cloud Functions не соответствует фактической памяти, выделенной для функции.
Запуск identify -list resource в контексте облачной функции Firebase дает:
File Area Memory Map Disk Thread Throttle Time
--------------------------------------------------------------------------------
18750 4.295GB 2GiB 4GiB unlimited 8 0 unlimited
Память по умолчанию, выделенная для FCF, составляет 256 МБ - экземпляр ImageMagick по умолчанию считает, что у него 2 ГБ, и поэтому не выделяет буфер с диска и может легко попытаться перераспределить память, что приведет к сбою функции на Error: memory limit exceeded. Function killed.
Один из способов - увеличить требуемую память, как было предложено выше, хотя все еще существует риск, что IM попытается перераспределить в зависимости от вашего варианта использования и выбросов.
Еще безопаснее было бы установить правильный предел памяти для IM как часть процесса обработки изображений с помощью -limit memory [your limit]. Вы можете определить приблизительное использование памяти, запустив свою логику обмена мгновенными сообщениями с помощью «-debug Cache» - он покажет вам все выделенные буферы, их размеры и то, были ли они памятью или диском.
Если IM достигает предела памяти, он начнет выделять буферы на диске (отображаемую память, а затем обычные дисковые буферы. Вам нужно будет учитывать ваш конкретный баланс между производительностью ввода-вывода и стоимостью памяти. Цена каждого дополнительного байта памяти, который вы выделяете ваш FCF умножается на 100 мс использования - так что он может быстро расти.
Другой вариант - вообще отказаться от использования .spawn().
Существует отличный пакет обработки изображений для узла под названием Sharp, который использует библиотеку с малым объемом памяти. libvips. Вы можете проверить образец облачной функции на Github.
В качестве альтернативы существует оболочка узла для ImageMagick (и GraphicsMagick) под названием gm. Он даже поддерживает параметр -limit для сообщения об ограничениях ресурсов в IM.
