Краткое содержание
Термин MLOps - для всех, кто занимается искусственным интеллектом, - это волшебное слово, решающее их все. Он сочетает в себе все задачи, относящиеся к машинному обучению, от управления, обработки и визуализации данных, проведения и отслеживания экспериментов до внедрения создаваемых моделей в производство, в идеале в масштабе, согласованно и безопасно. Он определяет процесс внедрения операций машинного обучения для создания приложений и сервисов на основе искусственного интеллекта.
В MLReef мы работаем на этом рынке, но у нас было лишь приблизительное представление о том, какие есть другие инструменты, платформы и сервисы. Чтобы узнать это, мы провели глобальный поиск подходящих поставщиков услуг и нашли более 300 в общей сложности! Мы решили очистить то, что мы нашли, до активных проектов и перечислить только те, которые конкретно указывают на задачи и цели машинного обучения.
В результате появилась первая версия нашего глобального ландшафта платформ MLOps и инструментов ML.
Для получения отзывов, исправлений или дополнений обращайтесь к нам по адресу: [email protected]
Основная статистика
- Было проанализировано более 300 платформ и инструментов, из которых около 220 были активными проектами.
- В Европе только 4 платформы MLOps можно было идентифицировать MLReef, Valohai, Hopsworks и Polyaxon.
- Большинство платформ и инструментов охватывают от 2 до 3 задач машинного обучения.
Провайдеры против жизненного цикла машинного обучения
Первое представление заключалось в том, чтобы увидеть, какие инструменты и платформы предлагают услуги для отдельных приемов и процессов в рамках жизненного цикла машинного обучения. Для лучшего обзора мы разделили жизненный цикл на четыре основных области машинного обучения:
Управление данными: все задачи машинного обучения для исследования, управления и создания данных (наборов).
Моделирование: все задачи, связанные с конвейером, от обработки данных до проверки обученной модели.
Непрерывное развертывание: все задачи, относящиеся к «оперативной» части MLOps - запуск, мониторинг и защита продуктивных моделей.
Управление вычислениями: все действия и функции, связанные с вычислениями и управлением ресурсами.
Примечание: одного поставщика можно найти в нескольких задачах машинного обучения. Мы максимально точно определили их предложения, просмотрев их веб-сайты, демонстрационные видеоролики и проведя практические испытания.
Сравнение платформ MLOps
Мы хотели пойти глубже и проанализировать инструменты, позиционирующие себя как целостные платформы, охватывающие более широкий спектр задач машинного обучения. Эта дифференциация должна проводиться на основе идентифицируемых и конкретных показателей, чтобы попытаться избежать произвольного выбора. На наш взгляд, платформа MLOps должна:
- как минимум покрыть 5 задач из жизненного цикла машинного обучения,
- присутствовать как минимум в 2 основных областях (например, управление данными + моделирование),
- позиционирует себя как платформу MLOps.
Исходя из этого критерия, из +220 идентифицированных платформ и инструментов только 19 были платформами MLOps.
Просмотрите характеристики
Следующим интригующим вопросом было: что отличает эти платформы друг от друга?
Мы решили, что хорошим подходом будет не перечисление конкретных функций и возможностей, а более общий взгляд на их предложения. Мы предлагаем следующие «мягкие» критерии, которые, на наш взгляд, определяют отличную платформу MLOps:
Целостный. Платформа MLOps должна охватывать широкий спектр задач машинного обучения. Получены следующие правила для бруса: один для покрытия одной основной области, два для покрытия двух и три для покрытия трех основных областей.
Совместная работа. Ключевой задачей MLOps является сотрудничество, и она становится все более важной, поскольку решения ML все чаще внедряются в организациях. Мы определяем сотрудничество на основе возможности совместного использования и одновременной работы над конвейером обработки данных, моделирования и управления средами выполнения. Правила: одна планка для покрытия 1 из трех.
Воспроизводимость. Воспроизведение всей цепочки добавленной стоимости в машинном обучении очень важно, так как позволяет понимать прогнозы и повышает уверенность в развернутой модели. Мы определили воспроизводимость как отслеживание и управление версиями данных, исходного кода и гиперпараметров, а также конфигурацию среды. Правило: одна полоса для каждой переменной темы (например, данные, код и гиперпараметры, среда выполнения).
Сообщество. Мы считаем, что доступ к контенту сообщества становится все более актуальным, поскольку доступно все больше и больше наборов данных, функций и библиотек на основе кода. GitHub был хорошим источником кода, как и Kaggle и другие платформы для размещения кода / проектов. Тем не менее, мы хотели бы видеть прямое использование синергии сообщества в платформе MLOps. Правило: одна полоса для каждого разделяемого элемента ML в платформе MLOps (вне команды!).
Хостинг: где можно использовать платформу? Только в облаке, самостоятельно или только локально. Правило: по одному столбцу на каждую из трех основных возможностей.
Возможность подключения к данным: в этом разделе описаны возможности сбора данных на платформах. Мы выделили четыре: на платформе, через источники данных (коннекторы данных), прямые API-интерфейсы к сторонним приложениям и через прямой доступ к базам данных. Правило: по одной полосе для каждого из вышеупомянутых типов подключения данных (ограничено 3 полосами).
Уровень знаний. По мере того, как на рынок машинного обучения выходит все больше новичков, мы считаем, что простота использования платформы в целом становится все более важной. Эту последнюю характеристику труднее оценить, поскольку она относится ко многим различным аспектам (UI / UX, механика рабочего процесса, справочные документы, общие концепции и т. Д.). Эта часть более открыта для обсуждения, но мы постарались быть максимально объективными. Правило: одна панель только для экспертов, две полосы для экспертов и продвинутых пользователей и три полосы для экспертов, продвинутых и начинающих.
Углубленный обзор (платформы MLOps)
В следующем разделе мы более подробно рассмотрим перечисленные выше платформы MLOps. В следующий анализ ландшафта мы также включим разделы для каждого найденного инструмента и платформы (но пока этого было слишком много!).
Описание: MLReef - это платформа MLOps с открытым исходным кодом, которая предоставляет хостинг для проекта машинного обучения. Создавайте повторно используемые модули машинного обучения, созданные вашей командой и сообществом, управляйте параллельными рабочими процессами, чтобы создавать более быстрые, эффективные и лучшие приложения машинного обучения.
Репозиторий с открытым исходным кодом: https://gitlab.com/mlreef/mlreef или https://github.com/MLReef/mlreef
Описание: одна открытая и простая платформа для хранения всех ваших данных и управления ими, а также для поддержки всех ваших аналитических задач и сценариев использования искусственного интеллекта.
Репозиторий с открытым исходным кодом: https://github.com/databricks
Описание: H2O.ai является создателем H2O, ведущей платформы машинного обучения и искусственного интеллекта с открытым исходным кодом, которой доверяют специалисты по данным на 14 тысячах предприятий по всему миру. Наше видение состоит в том, чтобы демократизировать интеллект для всех с помощью нашей отмеченной наградами платформы анализа данных «AI to do AI», Driverless AI.
Репо с открытым исходным кодом: https://github.com/h2oai
Описание. Платформа Iguazio Data Science Platform превращает проекты ИИ в реальные бизнес-результаты. Ускорьте и масштабируйте разработку, развертывание и управление вашими приложениями ИИ с помощью MLOps и сквозной автоматизации конвейеров машинного обучения.
Репо с открытым исходным кодом: https://github.com/iguazio/
Алгоритмия
Описание. Алгоритмия - это программное обеспечение для операций машинного обучения (MLOps), которое управляет всеми этапами жизненного цикла машинного обучения в рамках существующих операционных процессов. Запускайте модели в производство быстро, надежно и экономично.
Репо с открытым исходным кодом: https://github.com/algorithmiaio
Хмель
Описание: Hopsworks 2.0 - это платформа с открытым исходным кодом для разработки и эксплуатации моделей машинного обучения, доступная как локальная платформа (с открытым исходным кодом или версия Enterprise) и как управляемая платформа в AWS и Azure. .
Репо с открытым исходным кодом: https://github.com/logicalclocks/hopsworks
Allegro AI
Описание. Комплексная платформа корпоративного уровня для специалистов по обработке данных, инженеров по обработке данных, DevOps и менеджеров для управления всем жизненным циклом продуктов машинного обучения и глубокого обучения.
Репо с открытым исходным кодом: https://github.com/allegroai
Валохай
Описание: обучение, оценка, развертывание, повторение. Valohai - единственная платформа MLOps, которая автоматизирует все, от извлечения данных до развертывания модели.
Репо с открытым исходным кодом: https://github.com/valohai
Amazon SageMaker
Описание: Amazon SageMaker помогает специалистам по обработке данных и разработчикам быстро подготавливать, создавать, обучать и развертывать высококачественные модели машинного обучения (ML), объединяя широкий набор возможностей, специально созданных для ML.
Репозиторий с открытым исходным кодом: https://github.com/aws/amazon-sagemaker-examples
толстокожее
Описание: размещенный и управляемый Pachyderm для тех, кто хочет все, что может предложить Pachyderm, без необходимости самостоятельно управлять инфраструктурой. С помощью Hub вы можете создавать версии данных, развертывать сквозные конвейеры и многое другое. И все это практически без настройки, и это бесплатно!
Репо с открытым исходным кодом: https://github.com/pachyderm/pachyderm
Датику
Описание: Dataiku - это платформа, демократизирующая доступ к данным и позволяющая предприятиям прокладывать свой собственный путь к ИИ с ориентацией на человека. Примечание: они ограничены только табличными данными.
Репозиторий с открытым исходным кодом: https://github.com/dataiku
Alteryx
Описание: от данных к открытиям и решениям - за считанные минуты. Аналитика, которая автоматизирует и оптимизирует бизнес-результаты.
Репозиторий с открытым исходным кодом: https://github.com/alteryx
Лаборатория данных Domino
Описание. Позвольте вашей команде по анализу данных использовать те инструменты, которые им нравятся. И объедините их на мощной корпоративной платформе, которая позволит им тратить больше времени на решение критических бизнес-проблем.
Репо с открытым исходным кодом: https://github.com/dominodatalab
Google Cloud Platform
Описание: избегайте привязки к поставщику и ускоряйте разработку благодаря приверженности Google Cloud принципам открытого исходного кода, мультиоблака и гибридного облака. Обеспечьте более разумное принятие решений в вашей организации.
Репозиторий с открытым исходным кодом: https://github.com/GoogleCloudPlatform/
OpenML
Описание. Поскольку машинное обучение расширяет нашу способность понимать природу и строить лучшее будущее, очень важно, чтобы мы сделали его прозрачным и легкодоступным для всех, кто занимается исследованием, образованием и промышленностью. Проект Open Machine Learning - это инклюзивное движение по созданию открытой, организованной онлайн-экосистемы для машинного обучения.
Репо с открытым исходным кодом: https://github.com/openml
MLflow
Описание. MLflow - это платформа для оптимизации разработки машинного обучения, включая отслеживание экспериментов, упаковку кода в воспроизводимые прогоны, а также совместное использование и развертывание моделей. MLflow предлагает набор облегченных API-интерфейсов, которые можно использовать с любым существующим приложением или библиотекой машинного обучения (TensorFlow, PyTorch, XGBoost и т. Д.), Где бы вы ни запускали код ML (например, в записных книжках, автономных приложениях или в облаке).
Репо с открытым исходным кодом: https://github.com/mlflow
SAS
Описание: решайте самые сложные аналитические задачи с помощью единого интегрированного решения для совместной работы - теперь с собственным API автоматизированного моделирования.
Репозиторий с открытым исходным кодом: https://github.com/sassoftware
Полиаксон
Описание. Воспроизводите, автоматизируйте и масштабируйте рабочие процессы в области обработки данных с помощью инструментов MLOps производственного уровня.
Репо с открытым исходным кодом: https://github.com/polyaxon
Microsoft Azure
Описание: безграничные возможности данных и аналитики. Да безгранично. Получите непревзойденное время для анализа, масштабирования и экономичности в облаке, созданном для данных и аналитики.
Репо с открытым исходным кодом: https://github.com/Azure
Перечислены все инструменты и платформы
Ниже мы перечисляем все исследованные инструменты и платформы, которые мы нашли в ходе нашего исследования.
Управление данными
Эта основная область жизненного цикла машинного обучения сосредоточена на управлении данными. Мы решили выделить его как отдельную область, так как в ней есть много аспектов, лежащих за пределами области «Моделирование».
Исследование и управление данными
Инструменты и платформы, которые помогут вам управлять, исследовать, хранить и систематизировать ваши данные.
[Алгоритмия] ()
[Alluxio] (https://www.alluxio.io/)
[Amazon Redshift] (https://aws.amazon.com/redshift)
[Амундсен] (https://www.amundsen.io/)
[Cohesity] (https://www.cohesity.com/)
[Апарави] (https://www.aparavi.com/)
[AtScale] (https://www.atscale.com/)
[Cazena] (https://cazena.com/)
[Cloudera] (https://www.cloudera.com/)
[Clearsky] (https://stratsolutions.com/clearsky-data/)
[Databricks] (https://databricks.com/)
[Датагрок] (https://datagrok.ai/)
[Dataiku] (https://www.dataiku.com/)
[Delta Lake] (https://delta.io/)
[Datera] (https://datera.io/)
[Дремио] (https://www.dremio.com/)
[Друид] (https://druid.apache.org/)
[Elastifile] (https://www.elastifile.com/)
[Эрвин] (https://erwin.com/)
[Excelero] (https://www.excelero.com/)
[Fluree] (https://flur.ee/)
[Близнецы] (https://www.geminidata.com/)
[Hammerspace] (https://hammerspace.com/)
[Худи] (https://hudi.apache.org/)
[HYCU] (https://www.hycu.com/)
[Imply] (https://imply.io/)
[Komprise] (https://www.komprise.com/)
[Kyvos] (https://www.kyvosinsights.com/)
[MLReef] (https://about.mlreef.com/)
[Microsoft Azure] (https://azure.microsoft.com/)
[Милвус] (https://www.milvus.io/)
[Octopai] (https://www.octopai.com/)
[Openml] (https://www.openml.org/)
[Паркет] (https://parquet.apache.org/)
[Pilosa] (https://www.pilosa.com/)
[Presto] (https://prestodb.io/)
[Qri] (https://qri.io/)
[Рубрик] (https://www.rubrik.com)
[Spark] (http://spark.apache.org/)
[Тамр] (https://www.tamr.com/)
[Данные по ватерлинии] (https://www.water linearata.com/)
[Vearch] (https://vearch.github.io/)
[Vexata] (https://www.vexata.com/)
[Yellowbrick] (https://www.yellowbrick.com/)
Маркировка данных
Инструменты, которые поддержат ваши усилия по маркировке данных для создания наборов данных для обучения.
[Amazon Sage Maker - маркировка данных] (https://aws.amazon.com/sagemaker/groundtruth/what-is-data-labeling/)
[Приложение] (https://appen.com/)
[Dataturks] (http://dataturks.com/)
[Определенные рабочие процессы] (https://www.definedcrowd.com/)
[Doccano] (http://doccano.herokuapp.com/)
[Рисунок восемь] (https://f8-federal.com/)
[iMerit] (https://imerit.net/)
[Labelbox] (https://labelbox.com/)
[Prodigy] (https://prodi.gy/)
[Платеж] (https://playment.io/)
[Масштаб] (https://scale.com/)
[Сегменты] (https://segments.ai/)
[Трубка] (https://www.snorkel.org/)
[Под контролем] (https://docs.supervise.ly/)
Потоковая передача данных
Сервисы и инструменты потоковой передачи данных для загрузки больших объемов данных непосредственно в конвейеры данных.
[Amazon Kinesis] (https://aws.amazon.com/kinesis)
[Alluxio] (https://www.alluxio.io/)
[Арес БД] (https://github.com/uber/aresdb)
[Confluent] (https://www.confluent.io/)
[Flink] (https://flink.apache.org/)
[Google Cloud Dataflow] (https://cloud.google.com/dataflow/)
[Худи] (https://hudi.apache.org/)
[Кафка] (http://kafka.apache.org/)
[Microsoft Azure Stream Analytics] (https://azure.microsoft.com/services/stream-analytics/)
[Буря] (http://storm.apache.org/)
[Стриим] (https://www.striim.com/)
[Валохай] (https://valohai.com/)
Контроль версий данных
Инструменты и платформы, предлагающие контроль версий для данных. Это особенно актуально, поскольку данные являются неотъемлемой частью работы модели. Анализ изменений данных и управление данными необходимы для полной воспроизводимости.
[Dagshub] (https://dagshub.com)
[Databricks] (https://databricks.com/)
[Dataiku] (https://www.dataiku.com/)
[Dolt] (https://www.dolthub.com/)
[DVC] (https://dvc.org/)
[Floydhub] (https://www.floydhub.com/)
[MLReef] (https://about.mlreef.com/)
[Толстокожий] (https://pachyderm.com/)
[Qri] (https://qri.io/)
[Данные по ватерлинии] (https://www.water linearata.com/)
Конфиденциальность данных
Конфиденциальность данных включает анонимность, шифрование, надежное хранение данных и другие механизмы, позволяющие сохранить конфиденциальность данных.
[Амнезия] (https://amnesia.openaire.eu/)
[AirCloak] (https://aircloak.com/)
[Анон данных] (https://dataanon.github.io/data-anon/)
[Celantur] (https://www.celantur.com/)
[В основном AI] (https://www.mostly.ai/)
[PySyft] (https://github.com/OpenMined/PySyft)
[Tumult] (https://www.tmlt.io/)
Проверка качества данных
Механизмы обеспечения надежных данных.
[Аризе] (https://arize.com/)
[Большие надежды] (https://greatexpectations.io/)
[Naveego] (https://www.naveego.com/)
Моделирование
Эта основная область жизненного цикла машинного обучения сосредоточена на создании моделей машинного обучения. Сюда входят все этапы, непосредственно связанные с созданием моделей, такие как подготовка данных, разработка функций, отслеживание экспериментов и управление моделями. Можно сказать, что на этой фазе происходит все волшебство.
Управление кодом Notebook / ML
Инструменты и платформы, которые помогут вам управлять, исследовать, хранить и систематизировать ваши записные книжки или операции машинного обучения. Мы явно не включали платформы SCM, такие как GitHub или Gitlab, так как они не ориентированы специально на ML (хотя вполне способны размещать эти функции).
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Dagshub] (https://dagshub.com)
[Databricks] (https://databricks.com/)
[Dataiku] (https://www.dataiku.com/)
[Deepnote] (https://deepnote.com/)
[Лаборатории данных Domino] (https://www.dominodatalab.com/)
[Floydhub] (https://www.floydhub.com/)
[Google Colab] (https://colab.research.google.com/)
[H2O] (https://www.h2o.ai/)
[Kaggle] (https://kaggle.com/)
[MLReef] (https://about.mlreef.com/)
[Openml] (https://www.openml.org/)
[Polyaxon] (https://polyaxon.com)
[Толстокожий] (https://pachyderm.com/)
[Валохай] (https://valohai.com/)
[Веса и предубеждения] (https://wandb.ai/site)
Обработка и визуализация данных
Специальная обработка данных (например, очистка, форматирование, предварительная обработка и т. Д.) И конвейеры визуализации, которые нацелены на анализ больших объемов данных. Мы явно исключили простые представления данных, например, чтобы показать распределение данных в табличных данных (есть много инструментов, которые это делают).
[Alteryx] (https://alteryx.com/)
[Ascend IO] (https://www.ascend.io/)
[Google Colab] (https://colab.research.google.com/)
[Dask] (https://dask.org/)
[Dataiku] (https://www.dataiku.com/)
[Databricks] (https://databricks.com/)
[Dotdata] (https://dotdata.com/)
[Flyte] (https://flyte.org/)
[Gluent] (https://gluent.com/)
[Коалы] (https://koalas.readthedocs.io/)
[Игуазио] (https://iguazio.com/)
[Imply] (https://imply.io/)
[Incorta] (https://www.incorta.com/)
[Mlflow] (https://www.mlflow.org/)
[Kyvos] (https://www.kyvosinsights.com/)
[MLReef] (https://about.mlreef.com/)
[Modin] (https://ml2analytics.wordpress.com/modin/)
[Naveego] (https://www.naveego.com/)
[Openml] (https://www.openml.org/)
[Толстокожий] (https://pachyderm.com/)
[Pilosa] (https://www.pilosa.com/)
[Presto] (https://prestodb.io/)
[SAS] (https://www.sas.com/en_us/home.html)
[Трубка] (https://www.snorkel.org/)
[SQLflow] (https://sqlflow.gudusoft.com/#/)
[Starburst] (https://www.starburstdata.com/)
[Turi Create] (https://github.com/apple/turicreate)
[Vaex] (https://vaex.io/)
[Валохай] (https://valohai.com/)
[Веса и предубеждения] (https://wandb.ai/site)
Разработка функций
Платформы и инструменты для специальной разработки и хранения функций.
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Dotdata] (https://dotdata.com/)
[Пир] (https://feast.dev/)
[Featuretools] (https://www.featuretools.com/)
[Толстокожий] (https://pachyderm.com/)
[ScribbleData] (https://www.scribbledata.io/)
[Тектон] (https://www.tecton.ai/)
[TSfresh] (https://tsfresh.com/)
[MLReef] (https://about.mlreef.com/)
[Игуазио] (https://iguazio.com/)
Обучение модели
Эти инструменты и платформы имеют специальный конвейер и функции для обучения моделей машинного обучения.
[Alteryx] (https://alteryx.com/)
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Игуазио] (https://iguazio.com/)
[Microsoft Azure] (https://azure.microsoft.com/)
[Google Cloud Platform] (https://cloud.google.com/)
[Google Colab] (https://colab.research.google.com/)
[Databricks] (https://databricks.com/)
[Dataiku] (https://www.dataiku.com/)
[Лаборатории данных Domino] (https://www.dominodatalab.com/)
[Dotscience] (https://dotscience.com/)
[Floydhub] (https://www.floydhub.com/)
[Flyte] (https://flyte.org/)
[Хоровод] (https://horovod.ai/)
[IBM Watson] (https://www.ibm.com/watson)
[Людвиг] (https://eng.uber.com/introduction-ludwig/)
[Kaggle] (https://kaggle.com/)
[MLReef] (https://about.mlreef.com/)
[H2O] (https://www.h2o.ai/)
[Metaflow] (https://metaflow.org/)
[Mlflow] (https://www.mlflow.org/)
[Paperspace] (https://www.paperspace.com/)
[PerceptiLabs] (https://www.perceptilabs.com/)
[Трубка] (https://www.snorkel.org/)
[Turi Create] (https://github.com/apple/turicreate)
[Валохай] (https://valohai.com/)
[SAS] (https://www.sas.com/en_us/home.html)
[Anyscale] (https://www.anyscale.com/)
[Толстокожий] (https://pachyderm.com/)
Отслеживание эксперимента
Инструменты и платформы, которые предлагают способы отслеживать, сравнивать и записывать метрики, полученные в ходе обучения модели.
[Allegro AI] (https://www.allegro.ai/)
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Комета ML] (https://www.comet.ml/)
[Dagshub] (https://dagshub.com)
[Dataiku] (https://www.dataiku.com/)
[Датаробот] (https://www.datarobot.com/)
[Datmo] (https://www.datmo.com/)
[Лаборатории данных Domino] (https://www.dominodatalab.com/)
[Floydhub] (https://www.floydhub.com/)
[Google Cloud Platform] (https://cloud.google.com/)
[H2O] (https://www.h2o.ai/)
[Людвиг] (https://eng.uber.com/introduction-ludwig/)
[Игуазио] (https://iguazio.com/)
[Mlflow] (https://www.mlflow.org/)
[MLReef] (https://about.mlreef.com/)
[Neptune AI] (https://neptune.ai/)
[Openml] (https://www.openml.org/)
[Polyaxon] (https://polyaxon.com)
[Заклинание] (https://spell.ml/)
[Валохай] (https://valohai.com/)
[Веса и предубеждения] (https://wandb.ai/site)
Оптимизация модели / гиперпараметров
Инструменты и платформы, которые позволяют вам искать идеальную конфигурацию гиперпараметра для вашей модели (например, включая байесовский поиск или поиск по сетке, оптимизацию производительности и т. Д.)
[Alteryx] (https://alteryx.com/)
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Ангел] (https://github.com/Angel-ML/angel)
[Комета ML] (https://www.comet.ml/)
[Датаробот] (https://www.datarobot.com/)
[Hyperopt] (https://github.com/hyperopt/hyperopt)
[Polyaxon] (https://polyaxon.com)
[Сигопт] (https://sigopt.com/)
[Заклинание] (https://spell.ml/)
[Настроить] (https://docs.ray.io/en/latest/tune/index.html)
[Optuna] (https://optuna.org/)
[Талос] (https://github.com/autonomio/talos)
Авто ML
Автоматическое машинное обучение, также называемое автоматизированным машинным обучением или AutoML, представляет собой процесс автоматизации идеальной конфигурации модели на основе архитектуры, данных и гиперпараметров. AutoML - это более продвинутый метод оптимизации модели, но он не всегда применим.
[Датаробот] (https://www.datarobot.com/)
[DeterminedAI] (https://determined.ai/)
[Dotdata] (https://dotdata.com/)
[Google Cloud Platform] (https://cloud.google.com/)
[H2O] (https://www.h2o.ai/)
[Игуазио] (https://iguazio.com/)
[Тази] (https://www.tazi.ai/)
[Трансмогрификация] (https://transmogrif.ai/)
Управление моделью
Управление моделью включает хранение модели, управление артефактами и управление версиями модели.
[Алгоритмия] (https://algorithmia.com/)
[Allegro AI] (https://www.allegro.ai/)
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Databricks] (https://databricks.com/)
[Dataiku] (https://www.dataiku.com/)
[DeterminedAI] (https://determined.ai/)
[Докшип] (https://dockship.io/)
[Лаборатории данных Domino] (https://www.dominodatalab.com/)
[Dotdata] (https://dotdata.com/)
[Floydhub] (https://www.floydhub.com/)
[Глюон] (https://github.com/gluon-api/gluon-api/)
[Google Cloud Platform] (https://cloud.google.com/)
[H2O] (https://www.h2o.ai/)
[Huggingface] (https://huggingface.co/)
[IBM Watson] (https://www.ibm.com/watson)
[Игуазио] (https://iguazio.com/)
[Mlflow] (https://www.mlflow.org/)
[Modzy] (https://www.modzy.com/)
[Perceptilabs] (https://www.perceptilabs.com/home)
[SAS] (https://www.sas.com/en_us/home.html)
[Turi Create] (https://github.com/apple/turicreate)
[Валохай] (https://valohai.com/)
[Verta] (https://verta.ai/)
Оценка модели
Этот прием включает в себя измерение прогностической эффективности модели. Он также включает измерение необходимых вычислительных ресурсов, проверку задержек и уязвимости.
[Аризе] (https://arize.com/)
[Dawnbench] (https://dawn.cs.stanford.edu/benchmark/)
[MLperf] (https://mlperf.org/)
[Streamlit] (https://www.streamlit.io/)
[Тензорная доска] (https://www.tensorflow.org/tensorboard/)
Объясняемость модели
Устранение синдрома черного ящика (особенно) моделей глубокого обучения путем анализа их архитектуры, распределения весов в сочетании с тестовыми данными, тепловыми картами и т. Д. Эти инструменты предлагают специальные функции для объяснения модели.
[Amazon Sagemaker Clarify] (https://aws.amazon.com/sagemaker/clarify/)
[Fiddler] (https://www.fiddler.ai/)
[InterpretML] (https://interpret.ml/)
[Lucid] (https://lucid.wisc.edu/)
[Perceptilabs] (https://www.perceptilabs.com/home)
[Шап] (https://github.com/slundberg/shap)
[Тензорная доска] (https://www.tensorflow.org/tensorboard/)
Непрерывное развертывание
Эта основная область жизненного цикла машинного обучения направлена на запуск обученной модели в производство.
Управление потоком данных
Эти инструменты позволяют управлять и автоматизировать процессы потока данных во время логического вывода (что происходит с новыми поступающими данными?), Измерять производительность и проблемы безопасности.
[Alluxio] (https://www.alluxio.io/)
[Spark] (http://spark.apache.org/)
[Ascend IO] (https://www.ascend.io/)
[Кафка] (http://kafka.apache.org/)
[Dataiku] (https://www.dataiku.com/)
[Dotdata] (https://dotdata.com/)
[HYCU] (https://www.hycu.com/)
[Префект] (https://www.prefect.io/)
Преобразование функций
Аналогично процессу обучения модели, но теперь во время задач вывода. По мере поступления новых данных их необходимо преобразовать, чтобы они соответствовали входным данным, которым была обучена модель. Эти инструменты позволяют создавать преобразования элементов, применяемые к продуктивным моделям.
[Пир] (https://feast.dev/)
[Featuretools] (https://www.featuretools.com/)
[ScribbleData] (https://www.scribbledata.io/)
[Тектон] (https://www.tecton.ai/)
[Игуазио] (https://iguazio.com/)
Мониторинг
Мониторинг производительности модели чрезвычайно важен, поскольку отклонения в распределении данных или производительности вычислений могут иметь прямые последствия для бизнес-логики и процессов.
[Алгоритмия] (https://algorithmia.com/)
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Аризе] (https://arize.com/)
[Dataiku] (https://www.dataiku.com/)
[Datadog] (https://www.datadoghq.com/)
[Datatron] (https://www.datatron.com/)
[Датаробот] (https://www.datarobot.com/)
[Лаборатории данных Domino] (https://www.dominodatalab.com/)
[Dotscience] (https://dotscience.com/)
[H2O] (https://www.h2o.ai/)
[Игуазио] (https://iguazio.com/)
[Losswise] (https://losswise.com/)
[Трубка] (https://www.snorkel.org/)
[Unravel] (https://unraveldata.com/platform/)
[Валохай] (https://valohai.com/)
[Verta] (https://verta.ai/)
Соответствие модели и аудит
Эта задача включает обеспечение прозрачности происхождения модели.
[Алгоритмия] (https://algorithmia.com/)
[SAS] (https://www.sas.com/en_us/home.html)
[H2O] (https://www.h2o.ai/)
Развертывание и обслуживание модели
Инструменты и платформы, которые объединяют возможности развертывания модели.
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Aible] (https://www.aible.com/)
[Алгоритмия] (https://algorithmia.com/)
[Allegro AI] (https://www.allegro.ai/)
[Клипер] (http://clipper.ai/)
[Core ML] (https://developer.apple.com/documentation/coreml)
[Cortex] (https://www.cortex.dev/)
[Dataiku] (https://www.dataiku.com/)
[Datatron] (https://www.datatron.com/)
[Datmo] (https://www.datmo.com/)
[Лаборатории данных Domino] (https://www.dominodatalab.com/)
[Dotdata] (https://dotdata.com/)
[Dotscience] (https://dotscience.com/)
[Floydhub] (https://www.floydhub.com/)
[Fritz AI] (https://www.fritz.ai/)
[Google Cloud Platform] (https://cloud.google.com/)
[IBM Watson] (https://www.ibm.com/watson)
[Игуазио] (https://iguazio.com/)
[Kubeflow] (https://www.kubeflow.org/)
[Mlflow] (https://www.mlflow.org/)
[Modzy] (https://www.modzy.com/)
[OctoML] (https://octoml.ai/)
[Paperspace] (https://www.paperspace.com/)
[Прогнозирование IO] (http://prediction.io/)
[SAS] (https://www.sas.com/en_us/home.html)
[Селдон] (https://www.seldon.io/)
[Заклинание] (https://spell.ml/)
[Streamlit] (https://www.streamlit.io/)
[H2O] (https://www.h2o.ai/)
[Валохай] (https://valohai.com/)
[Verta] (https://verta.ai/)
Проверка модели
[Аризе] (https://arize.com/)
[Datatron] (https://www.datatron.com/)
[Fiddler] (https://www.fiddler.ai/)
[Lucid] (https://lucid.wisc.edu/)
[MLperf] (https://mlperf.org/)
[SAS] (https://www.sas.com/en_us/home.html)
[Streamlit] (https://www.streamlit.io/)
Проверка модели
Адаптация модели для совместимости с другими фреймворками, библиотеками или языками.
[MMdnn] (https://github.com/Microsoft/MMdnn)
[ONNX] (https://onnx.ai/)
[Plaidml] (https://plaidml.github.io/plaidml/)
Управление вычислениями
Эта основная область жизненного цикла машинного обучения включает управление вычислительной инфраструктурой. Это особенно актуально, поскольку для машинного обучения иногда требуются большие объемы хранения и вычислительных ресурсов.
Вычислительная и информационная инфраструктура (серверы)
Эти организации предоставляют необходимую мощность для ваших проектов машинного обучения (с точки зрения оборудования).
[Google Cloud Platform] (https://cloud.google.com/)
[IBM Watson] (https://www.ibm.com/watson)
[Amazon AWS] (https://aws.amazon.com/)
[Microsoft Azure] (https://azure.microsoft.com/)
[Cloudera] (https://www.cloudera.com/)
[Paperspace] (https://www.paperspace.com/)
[Каматера] (https://www.kamatera.com/)
[Linode] (https://www.linode.com/)
[Cloudways] (https://www.cloudways.com/)
[Liquidweb] (https://www.liquidweb.com/)
[Digitalocean] (https://www.digitalocean.com/)
[Vultr] (https://www.vultr.com/)
Управление окружающей средой
Для пользовательских сценариев требуются пакеты, библиотеки и среда выполнения. Следующие инструменты и платформы помогут вам управлять базовыми средами.
[Conda] (https://conda.io/)
[Databricks] (https://databricks.com/)
[Datmo] (https://www.datmo.com/)
[Mahout] (https://mahout.apache.org/)
[MLReef] (https://about.mlreef.com/)
Распределение ресурсов
Следующие инструменты и платформы поддерживают управление различными ресурсами (такими как вычислительные экземпляры, тома хранения и т. Д.). Кроме того, некоторые включают составление бюджета и командную приоритизацию для контроля расходов.
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Алгоритмия] (https://algorithmia.com/)
[Google Cloud Platform] (https://cloud.google.com/)
[MLReef] (https://about.mlreef.com/)
[Databricks] (https://databricks.com/)
[Microsoft Azure] (https://azure.microsoft.com/)
[Dataiku] (https://www.dataiku.com/)
[DeterminedAI] (https://determined.ai/)
[Floydhub] (https://www.floydhub.com/)
[IBM Watson] (https://www.ibm.com/watson)
[Polyaxon] (https://polyaxon.com)
[Заклинание] (https://spell.ml/)
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Валохай] (https://valohai.com)
[Allegro AI] (https://www.allegro.ai/)
Масштабирование
Эти инструменты предлагают эластичное масштабирование развернутой модели и вычислительных задач.
[Amazon Sagemaker] (https://aws.amazon.com/sagemaker/)
[Арго] (https://argoproj.github.io/)
[Microsoft Azure] (https://azure.microsoft.com/)
[Datadog] (https://www.datadoghq.com/)
[Datatron] (https://www.datatron.com/)
[Datmo] (https://www.datmo.com/)
[Google Cloud Platform] (https://cloud.google.com/)
[TensorRT] (https://developer.nvidia.com/tensorrt)
[Селдон] (https://www.seldon.io/)
[TVM] (http://tvm.apache.org/)
Безопасность и конфиденциальность
Эти инструменты позволят вам управлять вопросами конфиденциальности (такими как соответствие GDPR) и повысить стандарты безопасности при развертывании ваших моделей в производстве.
[Алгоритмия] (https://algorithmia.com/)
[Умный Ганс] (https://github.com/cleverhans-lab/cleverhans)
[Datadog] (https://www.datadoghq.com/)
[Modzy] (https://www.modzy.com/)
[PySyft] (https://github.com/OpenMined/PySyft)
[Tumult] (https://www.tmlt.io/)
