Публикации по теме 'aws-batch'


Начало платформы для построения моделей машинного обучения Zendesk с помощью AWS Batch
Когда мы работали над Content Cues , одним из продуктов машинного обучения Zendesk, мы столкнулись с проблемой масштабируемости, связанной с ежедневным построением до 50 000 моделей машинного обучения (ML). Да, 50к моделей. Да это много! Просмотр данных поначалу нервировал. В этой статье основное внимание уделяется новой платформе для построения моделей, которую мы разработали и создали для Content Cues и уже несколько месяцев используют в производственной среде AWS Batch. От концепции..

Вопросы по теме 'aws-batch'

Как контейнер Docker используется в AWS Batch? И какое именно максимальное количество виртуальных ЦП?
Я новичок в AWS Batch, и описание иногда было не совсем ясным, и мне нужно несколько пояснений. Во-первых, для чего точно нужно максимальное количество виртуальных ЦП? Is - максимальное количество процессоров, которое может занять каждое задание....
70 просмотров
schedule 11.07.2022

AWS Step and Batch Dynamic Command
У меня есть пакетное задание с одним определением задания, которое выполняется в зависимости от параметра в параметре команды среды. Исходное значение - "--param2=XXX" , но мне нужно, чтобы оно было динамическим в соответствии с входными...
302 просмотров

Входной параметр AWS Batch из Cloudwatch через Terraform
У меня есть проект terraform, в котором я пытаюсь настроить правило события cloudwatch и цель, чтобы запускать новую отправку пакетного задания aws по расписанию. Проблема, с которой я столкнулся, заключается в передаче статического параметра (т. Е....
574 просмотров

Шлюз API продолжает возвращать запрещенный
Во-первых: да, я уже нашел этот вопрос о стеке по потоку и я Я почти уверен, что сделал все, что описано. Это сказало; В настоящее время я нахожусь в ситуации, когда я пытаюсь запустить и запустить шлюз API AWS, выступающий в качестве fornt-end...
54 просмотров
schedule 28.05.2022

Рекомендация по переносу пакетного приложения Spring на AWS
У меня есть весеннее пакетное приложение, которое запускается один раз в день на сервере Windows (планировщик Windows). Приложение выполняет 6 заданий, которые загружают данные из файлов txt, файлов csv, а также данные из внешних баз данных в мою...
231 просмотров
schedule 13.07.2023

При пакетном извлечении файла tar.gz в /opt/ml/model AWS возникает ошибка OSError: [Errno 30] Файловая система только для чтения
У нас есть код Python, который делает следующее внутри контейнера докеров. import boto3 import tarfile s3 = boto3.client('s3') s3.download_file("dev-bucket", "test/model.tar.gz", "/opt/ml/model/model.tar.gz") tar =...
166 просмотров