Черный пояс AWS в области машинного обучения

Или как мы выполнили пилотную программу этой расширенной программы сертификации

Автор с моими коллегами из DoiT International, Гад Бенрам и Даррен Брайен

Вступление

Недавно мы втроем присоединились к пилотному запуску программы AWS Partner Black Belt по машинному обучению и искусственному интеллекту и получили сертификаты. В этом посте мы опишем программу, включая учебные занятия и финальный проект.

В прошлом мы получали сертификаты от поставщиков облачных услуг, в том числе по специальности AWS Certified Machine Learning Specialty. Черный пояс - это более высокий уровень сертификации, который представляет собой глубокий опыт, а не потенциально насыщенные знания. Вместо экзамена с несколькими вариантами ответов он оценивается с помощью заключительного дипломного проекта, примерно на уровне сложности университетского семестрового проекта.

Участники были практиками машинного обучения, работающими в облаке AWS. Инструкторами и оценщиками выступали архитекторы AWS и менеджеры по продуктам, специализирующиеся в данной области.

Наши специализации в DoiT International различаются от облачной инфраструктуры до машинного обучения, и наши обязанности варьируются от консультирования клиентов до разработки систем машинного обучения. И все же программа подходила каждому из нас, а может быть, и вам.

Лекции и лабораторные работы

Ниже мы опишем некоторые из основных элементов AWS ML, которые мы рассмотрели. Если вы уже все это знаете - отлично! Прохождение будет без проблем! Но более вероятно, что даже если у вас есть многолетний опыт, вы не работали с полным спектром предложений AWS в рамках рабочего процесса машинного обучения, и это ваш шанс научиться.

Программа начинается с онлайн-обучения, около 10 часов в неделю в течение четырех недель. Сюда входят лекции, структурированные пошаговые инструкции по технологиям и живые лабораторные работы. Вторая половина программы - это кульминационный проект, на который уходит примерно столько же времени.

Дайте мне некоторые данные

Первый шаг к проектам машинного обучения - спросить: «Где ваши данные?»

AWS предлагает несколько решений для приема, обнаружения и преобразования данных, чтобы сделать их доступными и удобными для проектов машинного обучения.

Наборы сервисов Kinesis и Glue образуют мощную комбинацию для бессерверного приема и преобразования данных, поступающих в режиме реального времени. Еще одно решение для трансформации - это EMR, управляемая экосистема Hadoop. Все они обычно помещают свои результаты в S3, вариант хранения данных в машинном обучении.

Следующим шагом в управлении данными является создание массивной коллекции данных, которая может быть проанализирована для получения бизнес-идей и шаблонов, полезных при обучении машинному обучению. Каталог данных Glue фиксирует расположение и схему ваших данных, а Lake Formation задает пути для ваших данных вместе с детализированными наборами разрешений.

Затем вы можете анализировать данные с помощью SQL, используя мощные механизмы Athena поверх S3 . В качестве альтернативы i вместо озера неструктурированных данных в S3 вы можете использовать Redshift в качестве хранилища структурированных данных.

Позвольте автопилоту летать за вас

Sagemaker Autopilot может позволить вам пропустить несколько шагов. Этот инструмент выбирает алгоритм, который, вероятно, будет работать, и пробует его с множеством различных значений параметров. Это полезно для быстрого первого запуска, но вы получите более точные и менее затратные ответы, если сначала изучите и подготовите данные, настроив их таким образом, чтобы ваш алгоритм мог вникнуть в себя.

Исследуй раньше

Вы должны понять, что вы собираетесь делать, прежде чем это делать, и этот шаг называется исследовательским анализом данных.

Визуализацию полных наборов данных можно выполнить с помощью инструмента бизнес-аналитики QuickSight, но большая часть EDA выполняется в Sagemaker Notebook, интерактивной среде разработки для Python, ориентированной на машинное обучение. Вы можете предварительно обрабатывать, анализировать, исследовать данные и даже запускать моделирование и оценку с помощью быстрых итераций, чтобы подготовиться к использованию масштабируемых распределенных сервисов AWS.

Можем мы наконец заняться машинным обучением, пожалуйста?

Наконец, пора выбрать и запустить алгоритм машинного обучения. Amazon Sagemaker предлагает ряд готовых алгоритмов: DeepAR, XGBoost и еще около десятка, каждый со своими вариантами использования. Для лучшей настройки оптимизация гиперпараметров Sagemaker позволяет автоматически экспериментировать со значениями в нескольких измерениях. Если вы разработали свои собственные алгоритмы, вы можете объединить их в контейнер ML и интегрировать в полную мощь системы Sagemaker.

Machine Learning Ops на AWS

Последняя часть программы Черный пояс была посвящена запуску моделей в производство: ML Ops. Подход Amazon к этой быстро развивающейся области - это ориентированные на машинное обучение пять столпов AWS с хорошей архитектурой, основанные на практиках, ставших стандартом в разработке программного обеспечения.

Модель меняется

По мере поступления новых данных выводы должны отражать изменения. Sagemaker Pipelines автоматизирует этот процесс обучения и развертывания, создавая управление версиями для API и моделей. Версии можно запускать параллельно друг с другом для сквозного A / B-тестирования. Мониторинг производительности модели позволяет увидеть, снизилась ли точность настолько, что требуется переобучение.

Безопасность - это работа ноль

Для управления доступом на уровне сети в вашем VPC могут быть развернуты записные книжки Sagemaker, учебные задания и конечные точки вывода. Вы также можете управлять доступом к каждому из них на уровне пользователя с помощью IAM .

Продолжай

Конечные точки с логическим выводом Sagemaker доступны для обслуживания по запросу или пакетного обслуживания. Sagemaker поддерживает их высокую доступность с помощью автомасштабирования и автоматического переключения на другой ресурс по мере необходимости.

Завершающий проект

Внедрение решения - лучший способ кристаллизовать ваше обучение; это также лучший способ продемонстрировать свои навыки. Мы были взволнованы, обнаружив, что программа «Черный пояс» включала не только лабораторные работы, но и четырехнедельный проект Capstone. Каждый участник выбрал один из проектов машинного обучения в таких областях, как обнаружение аномалий и профилактическое обслуживание. Команда AWS дала нам продуманное руководство, приложив все усилия, чтобы сделать себя доступными для нас в Slack.

Наши проекты были оценены по комплексной рубрике, в руководстве по оценке, в котором перечислены технологии и решения, которые должны использоваться во всех аспектах доставки системы машинного обучения, от внедрения до трансформации, обучения, оценки и до операций по машинному обучению.

Заключение

Мы благодарны команде AWS за поддержку и руководство: разработка программы, проведение обучения и проверка завершающих проектов были непростой задачей.

Черный пояс AWS AI / ML - это одновременно эксклюзивная сертификация и новый способ обучения. Мы рекомендуем его всем, кто хочет сделать шаг вперед в ML и продемонстрировать это миру.

Спасибо за внимание! Чтобы оставаться на связи, подписывайтесь на нас в Инженерном блоге DoiT, Канале DoiT Linkedin и Канале DoiT Twitter. Чтобы изучить возможности карьерного роста, посетите https://careers.doit-intl.com.