«ИИ — это новое электричество». — Эндрю Нг, основатель AI Fund и сторонник FourthBrain.

Автор Милана Макгроу

Для начала, это не техническая статья, а короткий забавный пост о Программе MLOps от FourthBrain.

В настоящее время я являюсь студентом программы Магистр наук в области искусственного интеллекта Северо-Западного университета. Я записался на Программу машинного обучения FouthBrain, чтобы дополнить свое обучение и заложить основу для работы с отраслевыми инструментами и навыками для развертывания, тестирования и мониторинга конвейеров и моделей машинного обучения в производственных средах.

Кроме того, Мани Нагарадж и Рейчел Мун и я решили создать этот новый блог MLOps, чтобы делиться ценной информацией в области машинного обучения и делиться знаниями, полученными от Fourthbrain.

Что вообще такое MLOps?

Давайте сразу приступим. Операции машинного обучения (MLOps) — это набор лучших практик для успешного запуска ИИ. Поскольку коммерческое использование ИИ является относительно новым, MLOps является относительно новой и растущей областью, аналогичной родственной отрасли и растущей области Data Engineering. MLOps — это сочетание DevOps и инженерных процессов, предназначенных для развертывания моделей машинного обучения в производстве и их обслуживания. По сути, насколько я понимаю, MLOps — это искусство запуска модели в производство, от начала до конца, автоматизация рабочего процесса и поддержка этой модели с течением времени, чтобы убедиться, что модель работает должным образом (при этом тщательно отслеживая потенциальный дрейф модели, который может произойти).

Согласно NVIDIA AI:

  • Системы искусственного интеллекта, используемые на предприятиях, превратились в MLOps, подобно тому, как развертывание программного обеспечения превратилось в DevOps.
  • MLOps — это создание сквозного конвейера машинного обучения.

Согласно AWS re:Invent:

  • MLOps — это процесс переноса экспериментальной модели машинного обучения в производственную систему.

Хорошо, это был забавный вопрос, быстрый опрос, проведенный учащимися в классе во время нашего конкурса Умнее, чем пятиклассник, определил, что #mlops — это… [заполнить пробел]

– Строгое управление версиями и воспроизводимость
– Передовой опыт и инструменты для производства и мониторинга
– Масштабирование до большого числа пользователей и построение сквозных конвейеров
– Применение теории #ml в практика
- Написание #кода, способного принимать решения автоматически
- Способность #автоматизировать и стандартизировать адаптивный код
- Специализация #devops для #машинного обучения

Быстрый поиск на странице MLOps в Google дал приведенное выше изображение, отражающее важность команды MLOps.

Учитывая приведенные выше отзывы других студентов ~ Машинное обучение становится основной возможностью для предоставления ценности и практики MLOPs, мы будем фактически основными сторонниками автоматизации и мониторинга с самого начала, от проектирования инфраструктуры до развертывания.

В классе мы провели несколько часов в углубленном обсуждении следующих тем:

  • Что такое МЛОП
  • Предыстория и история MLOps
  • Ответственный ИИ
  • Изучили множество технологий и инструментов для MLOps.
  • Приглашенный докладчик

Еженедельный приглашенный докладчик

На этой неделе приглашенным отраслевым докладчиком был Мохамед Элисаид, ведущий специалист по данным и инженер по машинному обучению в GroupBy, Inc., GroupBy, Inc., является пионером в области инновационных облачных инструментов, предназначенных для повышения релевантности поиска, рекомендаций, управление контентом, SEO и анализ данных. Презентация Мохамеда и демонстрация в реальном времени касались системы Cloud MLOps в GroupBy и того, как GroupBy использует инструменты MLOps для получения конкурентного преимущества. Кроме того, Мохамед рассказал о полном техническом стеке, используемом в GroupBy:

  • AI/ML Framework(s) — готовая к работе среда AI/ML — TF 2.0
  • Конвейер(ы) AI/ML — готовый конвейер AI/ML для обучения, инженерии данных/моделей обучения — TFX/Kubeflow/Airflow
  • Платформа AI/ML — готовая к работе платформа AI/ML для управления (повторным) обучением, управлением версиями и развертыванием моделей — GCP/AWS/Azure

Задание на неделю: Покажите мне ДЕНЬГИ!!!

Хорошо, не совсем так, нашим первым заданием было построить простую модель машинного обучения и развернуть ее с помощью FastAPI. Набор данных взят из Репозитория машинного обучения UCI для аутентификации банкнот.

Задачи, которые нужно было выполнить:

Задача 1: Знакомство с данными — EDA

Задача 2: Моделирование данных

Задача 3. Создайте класс для тестовых данных и экземпляра Predict on Test, а также создайте приложение с FastAPI для прогнозирования тестовых случаев.

Задача 4: Вывод

После того, как мы выполнили наши оперативные задания, мы должны были обобщить наши выводы для сквозного развертывания. В наших кратких представлениях мы также должны были ответить на следующие вопросы эссе.

  1. Как найти оптимальную модель машинного обучения?
  2. Как вы можете улучшить модель с течением времени?

В общем, это был отличный первый класс. В составе класса есть несколько докторов наук, инженеров данных, специалистов по данным, несколько инженеров-программистов и несколько профессоров из некоторых великих университетов. Кстати, это заставило меня задуматься: недавно я прочитал статью Юджина Яна, ученого-прикладника из Amazon, и согласен с мнением его недавней статьи. Я тоже считаю, что Data Scientist должен быть более сквозным, нам нужно не только выявлять проблемы, но и решать их!!! Data Scientist, который является более комплексным, улучшает свою способность продолжать добавлять ценность и значимое влияние на всю организацию, которую он обслуживает.

Мое видение никогда не было более ясным, специалист по данным, пришло время улучшить свою игру, расширить свой набор инструментов и помочь в развертывании моделей, которые вы создаете. Если ИИ станет новым электричеством, MLOps станет штепсельной вилкой!!!

Краткий обзор курса и инструктора

FourthBrain проводит онлайн-программы в прямом эфире под руководством инструктора, в которых вы участвуете в группе, обучающейся вместе с другими студентами, в отличие от более распространенных курсов, которые записываются и вы учитесь самостоятельно.

Fourthbrain — это программа машинного обучения с двумя направлениями обучения:

  1. Инженер по машинному обучению MLE, 16-недельная программа, применяющая методы машинного и глубокого обучения в масштабируемых, оптимизированных решениях для готовых к производству сред.
  2. MLOps Machine Learning Operations — это 12-недельная программа, в рамках которой изучаются инструменты и навыки для развертывания, тестирования и мониторинга конвейеров и моделей машинного обучения в производственных средах.

Требования к поступающим. Выполните онлайн-вызов Python, который измеряет ваш текущий набор навыков, а не простой. Я настоятельно рекомендую вам иметь солидный опыт программирования на Python перед подачей заявки. Похожим курсом может быть курс Проектирование систем машинного обучения от Стэнфордского университета, который проводится по понедельникам и средам с 15:15 до 16:45 по тихоокеанскому стандартному времени.

Инструктор курса

Нашим преподавателем курса для этой когорты является Greg Loughnane, вы можете посмотреть его последние работы здесь. Должен сказать вам, Грег — особенный, вы не найдете слишком много инструкторов с докторской степенью в области вычислительного дизайна и оптимизации, которые на самом деле хороши в градиентном спуске и способны удерживать внимание студентов в течение всего 6-часового занятия — это не ваш старый профессор лекций из линейной алгебры.

P.S. Вы когда-нибудь пытались нажать кнопку хлопка здесь, на Medium, более одного раза, чтобы посмотреть, что произойдет? ❤️