«ИИ — это новое электричество». — Эндрю Нг, основатель AI Fund и сторонник FourthBrain.
Автор Милана Макгроу
Для начала, это не техническая статья, а короткий забавный пост о Программе MLOps от FourthBrain.
В настоящее время я являюсь студентом программы Магистр наук в области искусственного интеллекта Северо-Западного университета. Я записался на Программу машинного обучения FouthBrain, чтобы дополнить свое обучение и заложить основу для работы с отраслевыми инструментами и навыками для развертывания, тестирования и мониторинга конвейеров и моделей машинного обучения в производственных средах.
Кроме того, Мани Нагарадж и Рейчел Мун и я решили создать этот новый блог MLOps, чтобы делиться ценной информацией в области машинного обучения и делиться знаниями, полученными от Fourthbrain.
Что вообще такое MLOps?
Давайте сразу приступим. Операции машинного обучения (MLOps) — это набор лучших практик для успешного запуска ИИ. Поскольку коммерческое использование ИИ является относительно новым, MLOps является относительно новой и растущей областью, аналогичной родственной отрасли и растущей области Data Engineering. MLOps — это сочетание DevOps и инженерных процессов, предназначенных для развертывания моделей машинного обучения в производстве и их обслуживания. По сути, насколько я понимаю, MLOps — это искусство запуска модели в производство, от начала до конца, автоматизация рабочего процесса и поддержка этой модели с течением времени, чтобы убедиться, что модель работает должным образом (при этом тщательно отслеживая потенциальный дрейф модели, который может произойти).
Согласно NVIDIA AI:
- Системы искусственного интеллекта, используемые на предприятиях, превратились в MLOps, подобно тому, как развертывание программного обеспечения превратилось в DevOps.
- MLOps — это создание сквозного конвейера машинного обучения.
Согласно AWS re:Invent:
- MLOps — это процесс переноса экспериментальной модели машинного обучения в производственную систему.
Хорошо, это был забавный вопрос, быстрый опрос, проведенный учащимися в классе во время нашего конкурса Умнее, чем пятиклассник, определил, что #mlops — это… [заполнить пробел]
– Строгое управление версиями и воспроизводимость
– Передовой опыт и инструменты для производства и мониторинга
– Масштабирование до большого числа пользователей и построение сквозных конвейеров
– Применение теории #ml в практика
- Написание #кода, способного принимать решения автоматически
- Способность #автоматизировать и стандартизировать адаптивный код
- Специализация #devops для #машинного обучения
Быстрый поиск на странице MLOps в Google дал приведенное выше изображение, отражающее важность команды MLOps.
Учитывая приведенные выше отзывы других студентов ~ Машинное обучение становится основной возможностью для предоставления ценности и практики MLOPs, мы будем фактически основными сторонниками автоматизации и мониторинга с самого начала, от проектирования инфраструктуры до развертывания.
В классе мы провели несколько часов в углубленном обсуждении следующих тем:
- Что такое МЛОП
- Предыстория и история MLOps
- Ответственный ИИ
- Изучили множество технологий и инструментов для MLOps.
- Приглашенный докладчик
Еженедельный приглашенный докладчик
На этой неделе приглашенным отраслевым докладчиком был Мохамед Элисаид, ведущий специалист по данным и инженер по машинному обучению в GroupBy, Inc., GroupBy, Inc., является пионером в области инновационных облачных инструментов, предназначенных для повышения релевантности поиска, рекомендаций, управление контентом, SEO и анализ данных. Презентация Мохамеда и демонстрация в реальном времени касались системы Cloud MLOps в GroupBy и того, как GroupBy использует инструменты MLOps для получения конкурентного преимущества. Кроме того, Мохамед рассказал о полном техническом стеке, используемом в GroupBy:
- AI/ML Framework(s) — готовая к работе среда AI/ML — TF 2.0
- Конвейер(ы) AI/ML — готовый конвейер AI/ML для обучения, инженерии данных/моделей обучения — TFX/Kubeflow/Airflow
- Платформа AI/ML — готовая к работе платформа AI/ML для управления (повторным) обучением, управлением версиями и развертыванием моделей — GCP/AWS/Azure
Задание на неделю: Покажите мне ДЕНЬГИ!!!
Хорошо, не совсем так, нашим первым заданием было построить простую модель машинного обучения и развернуть ее с помощью FastAPI. Набор данных взят из Репозитория машинного обучения UCI для аутентификации банкнот.
Задачи, которые нужно было выполнить:
Задача 1: Знакомство с данными — EDA
Задача 2: Моделирование данных
Задача 3. Создайте класс для тестовых данных и экземпляра Predict on Test, а также создайте приложение с FastAPI для прогнозирования тестовых случаев.
Задача 4: Вывод
После того, как мы выполнили наши оперативные задания, мы должны были обобщить наши выводы для сквозного развертывания. В наших кратких представлениях мы также должны были ответить на следующие вопросы эссе.
- Как найти оптимальную модель машинного обучения?
- Как вы можете улучшить модель с течением времени?
В общем, это был отличный первый класс. В составе класса есть несколько докторов наук, инженеров данных, специалистов по данным, несколько инженеров-программистов и несколько профессоров из некоторых великих университетов. Кстати, это заставило меня задуматься: недавно я прочитал статью Юджина Яна, ученого-прикладника из Amazon, и согласен с мнением его недавней статьи. Я тоже считаю, что Data Scientist должен быть более сквозным, нам нужно не только выявлять проблемы, но и решать их!!! Data Scientist, который является более комплексным, улучшает свою способность продолжать добавлять ценность и значимое влияние на всю организацию, которую он обслуживает.
Мое видение никогда не было более ясным, специалист по данным, пришло время улучшить свою игру, расширить свой набор инструментов и помочь в развертывании моделей, которые вы создаете. Если ИИ станет новым электричеством, MLOps станет штепсельной вилкой!!!
Краткий обзор курса и инструктора
FourthBrain проводит онлайн-программы в прямом эфире под руководством инструктора, в которых вы участвуете в группе, обучающейся вместе с другими студентами, в отличие от более распространенных курсов, которые записываются и вы учитесь самостоятельно.
Fourthbrain — это программа машинного обучения с двумя направлениями обучения:
- Инженер по машинному обучению MLE, 16-недельная программа, применяющая методы машинного и глубокого обучения в масштабируемых, оптимизированных решениях для готовых к производству сред.
- MLOps Machine Learning Operations — это 12-недельная программа, в рамках которой изучаются инструменты и навыки для развертывания, тестирования и мониторинга конвейеров и моделей машинного обучения в производственных средах.
Требования к поступающим. Выполните онлайн-вызов Python, который измеряет ваш текущий набор навыков, а не простой. Я настоятельно рекомендую вам иметь солидный опыт программирования на Python перед подачей заявки. Похожим курсом может быть курс Проектирование систем машинного обучения от Стэнфордского университета, который проводится по понедельникам и средам с 15:15 до 16:45 по тихоокеанскому стандартному времени.
Инструктор курса
Нашим преподавателем курса для этой когорты является Greg Loughnane, вы можете посмотреть его последние работы здесь. Должен сказать вам, Грег — особенный, вы не найдете слишком много инструкторов с докторской степенью в области вычислительного дизайна и оптимизации, которые на самом деле хороши в градиентном спуске и способны удерживать внимание студентов в течение всего 6-часового занятия — это не ваш старый профессор лекций из линейной алгебры.
P.S. Вы когда-нибудь пытались нажать кнопку хлопка здесь, на Medium, более одного раза, чтобы посмотреть, что произойдет? ❤️