Одним из основных элементов каждого проекта машинного обучения и искусственного интеллекта, а также инкубатора машинного обучения является возможность эффективного масштабирования сценариев использования машинного обучения и искусственного интеллекта. Подходящая модель управления позволяет эффективно внедрять различные сценарии использования машинного обучения и искусственного интеллекта в производство. Этот процесс начинается с управления воронкой вариантов использования и обеспечивает совместную работу от идеи до продукта. Успешное масштабирование — для достижения большего количества реализованных вариантов использования — требует, чтобы организация имела дело не только с ограничивающими технологическими факторами, но и с проблемами управления данными. Кроме того, процессы юридического утверждения должны быть в значительной степени автоматизированы, а внутренние процессы должны быть адаптированы к повторяющимся циклам разработки. Модель совместной работы, уже рассмотренная в предыдущих статьях, должна быть расширена, чтобы включить в нее комплексную концепцию прав и ролей, а также каталог данных, позволяющий реализовывать проекты машинного обучения и искусственного интеллекта в разных отделах с соблюдением требований по защите данных.
Со стратегической точки зрения в целях контроля создаются новые ворота для утверждения и контроля качества, чтобы создать единые требования к машинному обучению и искусственному интеллекту и структуру реализации. Кроме того, определяются конкретные показатели успеха в качестве критериев приемлемости для новых проектов машинного обучения и искусственного интеллекта, а в организации внедряются гибкие методы работы. На этом этапе инкубатор машинного обучения фокусируется на поддержке всех инициатив посредством выборочного коучинга, расширения синергии между различными командами и отделами, а также обеспечения полной прозрачности затрат. Кроме того, важно, чтобы ROI и совокупная стоимость владения инициатив ML & AI были интегрированы в существующие структуры отчетности, создавая прозрачную коммуникацию, которая поощряет дальнейшую поддержку со стороны руководства в отношении будущих инициатив ML & AI.
Дополнительные рекомендации по снижению сложности и улучшению прослеживаемости и ясности включают разработку централизованного управления метаданными на основе базы данных для проектов машинного обучения и искусственного интеллекта.
Эта система хранит информацию о требованиях к проекту и статусе разработки и развертывания проектов, источниках данных, конвейерах подготовки данных и используемых типах моделей, а также о людях, участвующих в разработке. Таким образом, он формирует важную основу для эффективного сотрудничества внутри компании и успешного использования общих конвейеров данных, а также позволяет избежать множественных реализаций одной и той же логики. Метаданные из этой системы также можно использовать для создания частей конвейера данных или для автоматической параметризации общих маршрутов загрузки. С помощью подходящих визуализаций (например, «Обзор потока данных», «Происхождение данных», «Анализ воздействия») упрощается общий обзор и сокращается время адаптации нового персонала проекта. Кроме того, конкретные проекты машинного обучения и искусственного интеллекта объединены общим управлением метаданными и кодами, что позволяет использовать синергию.
Технически управление метаданными может быть распределено между несколькими взаимосвязанными системами, например. JIRA для управления требованиями (на уровне эпоса и истории), поддерживаемая вручную реляционная база данных для управления проектами, источниками данных и этапами подготовки данных, системы с открытым исходным кодом, такие как MLFlow, для управления моделями и процессами обучения, а также для например, Seldon для автоматического развертывания в продуктивной среде на основе Kubernetes. Для повышения удобства работы мониторинг процессов ETL, серверных ресурсов, качества этикеток и т. д. будет стандартизирован для всех проектов, что сократит усилия по разработке и обслуживанию для конкретных проектов.
После внедрения мер по масштабированию обеспечивается значительное сокращение времени разработки новых проектов ML & AI. Кроме того, чтобы обеспечить полную прозрачность затрат между отделами, наши семинары-инкубаторы и наши проекты включают расчет рентабельности инвестиций и совокупной стоимости владения для инициатив ML и AI. Включение этих расчетов в общее экономическое обоснование и их интеграция в существующие структуры отчетности через программу поощряет поддержку со стороны руководства для дальнейших инициатив в области машинного обучения и искусственного интеллекта. Инкубатор машинного обучения поддерживает наших клиентов посредством выборочного коучинга для расширения синергии между отделами и командами.
