Публикации по теме 'aws-batch'
Начало платформы для построения моделей машинного обучения Zendesk с помощью AWS Batch
Когда мы работали над Content Cues , одним из продуктов машинного обучения Zendesk, мы столкнулись с проблемой масштабируемости, связанной с ежедневным построением до 50 000 моделей машинного обучения (ML). Да, 50к моделей. Да это много! Просмотр данных поначалу нервировал.
В этой статье основное внимание уделяется новой платформе для построения моделей, которую мы разработали и создали для Content Cues и уже несколько месяцев используют в производственной среде AWS Batch. От концепции..
Вопросы по теме 'aws-batch'
Как контейнер Docker используется в AWS Batch? И какое именно максимальное количество виртуальных ЦП?
Я новичок в AWS Batch, и описание иногда было не совсем ясным, и мне нужно несколько пояснений.
Во-первых, для чего точно нужно максимальное количество виртуальных ЦП? Is - максимальное количество процессоров, которое может занять каждое задание....
70 просмотров
schedule
11.07.2022
AWS Step and Batch Dynamic Command
У меня есть пакетное задание с одним определением задания, которое выполняется в зависимости от параметра в параметре команды среды.
Исходное значение - "--param2=XXX" , но мне нужно, чтобы оно было динамическим в соответствии с входными...
302 просмотров
schedule
14.06.2023
Входной параметр AWS Batch из Cloudwatch через Terraform
У меня есть проект terraform, в котором я пытаюсь настроить правило события cloudwatch и цель, чтобы запускать новую отправку пакетного задания aws по расписанию. Проблема, с которой я столкнулся, заключается в передаче статического параметра (т. Е....
574 просмотров
schedule
16.09.2022
Шлюз API продолжает возвращать запрещенный
Во-первых: да, я уже нашел этот вопрос о стеке по потоку и я Я почти уверен, что сделал все, что описано.
Это сказало; В настоящее время я нахожусь в ситуации, когда я пытаюсь запустить и запустить шлюз API AWS, выступающий в качестве fornt-end...
54 просмотров
schedule
28.05.2022
Рекомендация по переносу пакетного приложения Spring на AWS
У меня есть весеннее пакетное приложение, которое запускается один раз в день на сервере Windows (планировщик Windows). Приложение выполняет 6 заданий, которые загружают данные из файлов txt, файлов csv, а также данные из внешних баз данных в мою...
231 просмотров
schedule
13.07.2023
При пакетном извлечении файла tar.gz в /opt/ml/model AWS возникает ошибка OSError: [Errno 30] Файловая система только для чтения
У нас есть код Python, который делает следующее внутри контейнера докеров.
import boto3
import tarfile
s3 = boto3.client('s3')
s3.download_file("dev-bucket", "test/model.tar.gz", "/opt/ml/model/model.tar.gz")
tar =...
166 просмотров
schedule
17.04.2024