Публикации по теме 'amazon-sagemaker'
Приключения в воображении — «Куда идут без графического процессора?
В последнее время я много пишу о Стабильной диффузии (и генерации изображений с использованием ИИ). Это потому, что предоставление текстовой подсказки, получение изображения, сгенерированного ИИ, через несколько секунд, а затем улучшение вашей подсказки для получения точного изображения, которое вы хотите, может быть очень захватывающим 🙂
Но у медали есть обратная сторона — те, кто не может запускать системы искусственного интеллекта, такие как Stable Diffusion…
Машинное обучение с AWS SageMaker
Эта статья представляет собой резюме моего выступления на ежегодном мероприятии Webstep Kompetensbio . Каждый год Webstep приглашает всех разработчиков на это бесплатное мероприятие, которое проходит в каком-нибудь хорошем местном кинотеатре, где они могут насладиться интересными техническими беседами и посмотреть какой-нибудь захватывающий фильм. В этом году мероприятие впервые прошло в трех городах: Уппсала, Мальмё и Стокгольм.
Вступление
С детства и по сей день я был большим..
Автоматизация конвейера вывода машинного обучения в реальном времени SageMaker без использования серверов
Позвольте инженерам машинного обучения обучать, развертывать и прогнозировать модели (ML) в облаке AWS простым и экономичным способом.
Введение
Amazon SageMaker - это полностью управляемый сервис, который позволяет специалистам по данным и инженерам машинного обучения быстро создавать, обучать и развертывать модели и конвейеры машинного обучения легко масштабируемым и экономичным способом. SageMaker был запущен примерно в ноябре 2017 года, и у меня была возможность узнать о встроенных..
Вопросы по теме 'amazon-sagemaker'
Пользовательские алгоритмы AWS Sagemaker: как использовать дополнительные инстансы
Это фундаментальный вопрос AWS Sagemaker. Когда я запускаю обучение с помощью одного из встроенных алгоритмов Sagemaker, я могу воспользоваться преимуществом огромного ускорения от распределения задания по множеству экземпляров за счет увеличения...
1272 просмотров
schedule
12.07.2022
Как прочитать файл во время обучения в AWS SageMaker?
Я пытаюсь обучить пользовательскую модель тензорного потока с помощью AWS SageMaker. Таким образом, в методе model_fn , который я должен предоставить, я хочу иметь возможность читать внешний файл. Я загрузил файл на S3 и пытаюсь читать, как...
649 просмотров
schedule
10.06.2022
Используя команду AWS SageMaker create-training-job: введите Error
Я пытаюсь использовать cli AWS sagemaker для запуска команды create-training-job. Вот моя команда:
aws sagemaker create-training-job \
--training-job-name $(DEPLOYMENT_NAME)-$(BUILD_ID) \
--hyper-parameters file://sagemaker/hyperparameters.json...
753 просмотров
schedule
13.02.2022
Как реализовать декодер поиска луча в конечной точке хостинга SageMaker?
Я создал модель SageMaker для нейронной сети Seq2Seq, а затем запустил конечную точку SageMaker:
create_endpoint_config_response = sage.create_endpoint_config(
EndpointConfigName = endpoint_config_name,
ProductionVariants=[{...
126 просмотров
schedule
12.08.2023
Использование типа numpy.ndarray (мультилейбл) для меток в формате Sagemaker RecordIO?
Я пытаюсь написать numpy.ndarray в качестве меток для инструмента преобразования Amazon Sagemaker: write_numpy_to_dense_tensor(). Он преобразует массив функций и меток в RecordIO для лучшего использования алгоритмов Sagemaker.
Однако, если я...
499 просмотров
schedule
15.06.2023
Отслеживание ошибок в Amazon SageMaker
Я пытаюсь создать собственный классификатор изображений в Amazon SageMaker. Это дает мне следующую ошибку:
"ClientError: Data download failed:NoSuchKey (404): The specified key does not exist."
Я предполагаю, что это означает, что одно из...
274 просмотров
schedule
06.05.2023
Использует ли sagemaker nvidia-docker или docker runtime == nvidia по умолчанию или пользователю нужно настроить вручную?
Как указано в вопросе: «Использует ли sagemaker nvidia-docker или docker runtime == nvidia по умолчанию, или пользователю необходимо настроить его вручную?»
Некоторое распространенное сообщение об ошибке отображалось как «CannotStartContainerError....
633 просмотров
schedule
16.10.2022
AWS Sagemaker: AttributeError: модуль pandas не имеет атрибута core
Позвольте мне префикс этого, сказав, что я новичок в тензорном потоке и даже новичок в AWS Sagemaker.
У меня есть код tensorflow / keras, который я написал и протестировал на локальном докерированном ноутбуке Jupyter, и он отлично работает. В нем...
788 просмотров
schedule
05.02.2023
Как программно загрузить файлы в экземпляр записной книжки Sagemaker?
У нас есть экземпляр записной книжки в Sagemaker, который содержит множество скриптов Jupyter Python. Я хотел бы написать программу, которая загружает эти различные сценарии каждый день (т.е. чтобы я мог их резервировать). К сожалению, я не вижу...
5016 просмотров
schedule
30.11.2022
Как загрузить данные из корзины S3 в блокнот Sagemaker jupyter для обучения модели?
У меня есть файлы csv в корзине S3, я хочу использовать их для обучения модели в sagemaker.
используя этот код, но выдает ошибку (файл не найден)
import boto3
import pandas as pd
region = boto3.Session().region_name
train_data_location =...
5424 просмотров
schedule
08.09.2022
PySpark Использование collect_list для сбора массивов различной длины
Я пытаюсь использовать collect_list для сбора массивов (и поддержания порядка) из двух разных фреймов данных.
Test_Data и Train_Data имеют одинаковый формат.
from pyspark.sql import functions as F
from pyspark.sql import Window
w =...
202 просмотров
schedule
06.05.2022
Переключение с Keras на tf.keras спамит мой экран #010
Я построил простую модель Keras для экспериментов в Amazon SageMaker. Я использую Python 3.5 TensorFlow 1.12.0. Недавно я переключил свою модель на использование TensorFlow.keras, но это привело к многократной печати #010 , за которой следует #015...
215 просмотров
schedule
17.02.2023
Существуют ли какие-либо ресурсы SageMaker о том, как выполнять распределенное обучение с помощью пользовательского алгоритма?
Я видел, что встроенные алгоритмы SageMaker поддерживают распределенное обучение. Однако я не нашел никакой документации о том, как структурировать мои данные и/или мое изображение, содержащее пользовательский алгоритм, чтобы обучение можно было...
29 просмотров
schedule
15.04.2023
TensorFlow Serving отправляет данные как b64 вместо массива Numpy
У меня есть контейнер TensorFlow Serving в конечной точке SageMaker. Я могу взять пакет изображений в виде массива Numpy и получить такие прогнозы:
import numpy as np
import sagemaker
from sagemaker.predictor import json_serializer,...
655 просмотров
schedule
28.06.2023
Ошибка настройки гиперпараметров Amazon SageMaker для встроенного алгоритма с использованием Python SDK
При использовании Python SDK для запуска задания настройки гиперпараметров SageMaker с использованием одного из встроенных алгоритмов (в данном случае классификатора изображений) со следующим кодом:
# [...] Some lines elided for brevity
from...
331 просмотров
schedule
24.01.2024
aws sagemaker для обнаружения текста в изображении
Я знаю, что для этого лучше использовать aws Rekognition. Однако, похоже, это не работает, когда я пробовал это с имеющимися у меня изображениями (которые похожи на небольшие контейнеры с этикетками на них). Текст выходит с ошибками и...
1552 просмотров
schedule
05.04.2022
Задание SageMaker Train не создает каталог / opt / ml / input / data / training
Я пытаюсь создать собственный алгоритм, следуя инструкциям, приведенным в это руководство .
Когда я запускаю поезд, он выдает ошибку. Нет такого файла или каталога: '/ opt / ml / input / data / training'.
Согласно документации, SageMaker должен...
2227 просмотров
schedule
15.11.2022
Автоматизировать выполнение файла .ipynb в SageMaker
Я хочу автоматизировать работу Jupyter.
Я создал в AWS Lambda функцию, которая, когда корзина S3 получает файл .csv, открывает определенный экземпляр Jupyter и работает нормально.
Теперь я хочу запустить файл .ipynb, который выполняет всю...
4159 просмотров
schedule
24.02.2022
SageMaker создает PyTorchModel без развертывания
Если я создам экземпляр объекта SageMaker PyTorchModel следующим образом:
from sagemaker.pytorch import PyTorchModel
model = PyTorchModel(name=name_from_base('model-name'),
model_data=model_data,...
274 просмотров
schedule
15.07.2022
Загрузка фрейма данных в AWS S3 Bucket из SageMaker
Я новичок в среде AWS и пытаюсь понять, как работает поток данных. После успешной загрузки файлов CSV из S3 в экземпляр записной книжки SageMaker я застрял в обратном.
У меня есть фрейм данных, и я хочу загрузить его в S3 Bucket как CSV или JSON....
8276 просмотров
schedule
15.03.2022
