Примечание редактора. Ниже приведена совместная статья с блогом партнерской сети AWS (APN). Просмотрите этот пост и изучите соответствующий контент на их странице.

Использование данных для принятия более эффективных решений имеет решающее значение для достижения оптимальных бизнес-результатов. Palantir позволяет организациям быстро извлекать максимальную выгоду из одного из самых ценных активов - данных.

Сегодня, как никогда ранее, организации в различных отраслях ищут решения в области искусственного интеллекта (AI) и машинного обучения (ML) как способ еще больше ускорить и улучшить процесс принятия решений. Однако в реальности внедрение ИИ может быть сложным и дорогостоящим.

Фактически, Gartner по-прежнему прогнозирует, что 85% традиционных проектов AI и ML, разработанных в организациях, дадут ошибочные результаты. Даже после того, как модель успешно разработана, она часто остается экспериментом, а не операционным инструментом, который создает постоянную долгосрочную ценность для бизнеса.

Это могло быть по любой из причин:

  • Сквозной процесс разработки модели существует изолированно, вдали от экспертов в предметной области.
  • Модели, поддерживаемые статическими одноразовыми запросами данных, быстро устаревают и становятся неточными.
  • Передача модели происходит между командами без документации, процесса и структуры.
  • Модели развертываются по частям в устаревших системах и пользовательских интерфейсах.
  • Разработка модели была в основном разовым процессом для понимания или экспериментом, не связанным с реальными бизнес-результатами.

Palantir Foundry решает задачи реального применения ИИ, а не того, как он работает в лаборатории. Эффективный ИИ невозможен без надежной базы данных, представления решений учреждения и инфраструктуры, позволяющей извлекать уроки из каждого принятого решения.

Foundry предоставляет комплексную модульную платформу с возможностью взаимодействия, которая отвечает этим требованиям. Именно этот модульный и совместимый подход лежит в основе последней интеграции Foundry с инструментами искусственного интеллекта и машинного обучения Amazon Web Services (AWS).

В этом посте мы объясняем процесс принятия более эффективных решений на основе искусственного интеллекта с помощью Palantir Foundry и Amazon SageMaker.

О компании Palantir Foundry

Foundry, развернутая на AWS, использует множество внутренних сервисов, таких как Amazon Simple Storage Service (Amazon S3), Amazon Elastic Compute Cloud (Amazon EC2) и AWS Key Management Service (AWS KMS).

Сотрудничество между Palantir и AWS помогает обеспечить выполнение критически важных операций в ведущих мировых организациях - от ускорения клинических исследований и обеспечения цепочки поставок вакцин до повышения безопасности и надежности электросетей.

Вот несколько примеров инновационной работы, которую Palantir Foundry поддерживает AWS:

  • Санофи, одна из ведущих мировых фармацевтических компаний, использовала Foundry для предоставления базовой инфраструктуры данных и аналитической платформы в рамках своей платформы для исследований в области реальных данных (RWE), получив награду Gartner Healthcare and Life Sciences Eye за инновации 2020 года. для этой работы.
  • Национальные институты здравоохранения США используют Foundry для объединения общедоступных и внутренних данных исследований в одном защищенном интерфейсе. Высокопроизводительный скрининг, геномика и другие биологические данные интегрированы в платформу, чтобы продвигать исследования групп из Национального института рака и Национального центра развития трансляционных наук.
  • Bp и Palantir расширили свое партнерство, чтобы поддержать bp, стремящуюся к достижению цели стать компанией с нулевым уровнем чистой прибыли к 2050 году или раньше и помочь миру достичь нулевого уровня. Приложения цифровых двойников bp на базе Palantir уже принесли значительную пользу. Теперь есть возможности применить эти приложения для ускорения реализации новых амбиций bp, оптимизации ветряных электростанций, электрических зарядных сетей, солнечной генерации и поддержки достижения других аспектов нулевой цели bp.

По мере развития Foundry команда продолжает изучать, как клиенты используют услуги на каждой платформе, и нашла много возможностей для более тесной интеграции, продвигающейся вверх по стеку технологий.

В последние месяцы команды разработчиков программного обеспечения Palantir тесно сотрудничали с AWS, чтобы вывести на рынок эти более тесные интеграции, обеспечивая глубокую интеграцию с инструментами анализа данных AWS на всех уровнях жизненного цикла приложения. Основное внимание уделялось интеграции набора сервисов искусственного интеллекта и машинного обучения Amazon SageMaker вместе с модулями интеграции данных и принятия решений Foundry.

Обзор решения

Давайте рассмотрим новейшие интеграции между Foundry и AWS и покажем, как их могут использовать организации для решения общих проблем с данными и ИИ на всех этапах жизненного цикла ИИ - от подготовки данных до ввода в действие модели.

  1. Подготовка данных. Быстро подготовьте данные с помощью подключения к данным Foundry, извлечения, преобразования, загрузки (ETL) и разветвления данных, а затем используйте эти данные в Записных книжках Amazon SageMaker Studio через Amazon Athena, чтобы анализировать данные и разрабатывать модели.
  2. Разработка моделей. Предоставьте техническим и нетехническим пользователям возможность разрабатывать значимые модели машинного обучения с помощью Amazon SageMaker Studio Notebooks и Amazon SageMaker Autopilot для разработки моделей без кода.
  3. Интеграция моделей: интегрируйте модели из Amazon SageMaker Endpoints, Amazon SageMaker Autopilot и AWS AI services в среду машинного обучения Foundry. Это дает преимущества обширной инфраструктуры развертывания, мониторинга, проверки работоспособности и интеграции онтологий Foundry.
  4. Ввод в действие модели: используйте модели Amazon SageMaker в Foundry Application Builder и Foundry Simulation Engine для поддержки рабочих приложений и рабочих процессов, которые извлекают выгоду из петель обратной связи и переобучения моделей и создают долгосрочную ценность для организации.

На следующей диаграмме показаны различные точки интеграции решения.

Подготовка данных

Прежде чем вы сможете обучать новую модель, вы должны подключиться к соответствующим базовым источникам данных и подготовить данные для использования.

На сбор и подготовку данных уходит значительная часть времени специалиста по данным, оставляя небольшую полосу пропускания для важных действий, таких как разработка алгоритмов, тестирование алгоритмов и машинное обучение.

Технология Foundry и готовые двунаправленные коннекторы данных (которые включают сервисы AWS, такие как Amazon S3, Amazon SQS и Amazon RDS) радикально сокращают время, затрачиваемое на подготовку высококачественной основы данных, с которой можно начать. строительные модели.

Возможности интеграции данных Foundry помогают организациям преобразовывать исходные данные в цифрового двойника своего предприятия, представленного уникальной семантической моделью Palantir, «онтологией».

Онтология представляет все базовые данные как объекты, которые отражают реальные компоненты вашего бизнеса, такие как фабрики, продукты и клиенты. Выступая в качестве тщательно подобранной, проверенной, подключаемой и многократно используемой структуры для моделей, это значительно ускоряет жизненный цикл искусственного интеллекта для новых моделей.

Онтология будет использоваться для поддержки операционных приложений, а интегрированные таблицы, поддерживающие эти объекты данных, будут использоваться для обучения нашей модели машинного обучения.

Разработка модели

Foundry использует открытый и совместимый подход к разработке моделей, что позволяет пользователям реализовывать свои модели изначально в рабочих книгах кода Foundry или в любом стороннем приложении по своему выбору.

Один из основных принципов Foundry - это возможность как исследователям данных, так и бизнес-пользователям (или другим специалистам, не занимающимся наукой о данных) совместно использовать данные и модели для принятия более эффективных решений.

Менее технические пользователи, которые часто являются экспертами в данной области, получают возможность с помощью наборов инструментов машинного обучения, приложений для разработки моделей без кода и готовых сервисов искусственного интеллекта, которые дополняют и ускоряют полный набор сквозного моделирования искусственного интеллекта Foundry. инструменты для специалистов по данным.

Благодаря AWS пользователи, желающие использовать данные из Foundry в ноутбуках Amazon SageMaker Studio, могут сделать это с помощью новой интеграции между Foundry и Amazon Athena, которая использует Amazon Athena Federated Query.

Используя встроенную интеграцию с Amazon SageMaker Athena SQL, пользователи могут эффективно запрашивать выбранный актив данных из Foundry прямо в свои записные книжки, где он может быть впоследствии преобразован и использован для разработки модели. Amazon Athena обеспечивает федеративное подключение к ряду дополнительных приложений и сервисов AWS.

Эта архитектура особенно полезна для наборов данных, которые используются для рабочих процессов обработки данных со специальными или интерактивными запросами, поскольку соединение может быть быстро настроено и не требует дополнительной синхронизации или управления.

Для пользователей, которым нужен более автоматизированный подход, Amazon SageMaker Autopilot избавляет от тяжелой работы по созданию моделей машинного обучения и помогает автоматически создавать, обучать и настраивать лучшую модель машинного обучения на основе ваших данных.

Интеграция между Foundry и Autopilot позволяет пользователям запускать задания автопилота через пользовательский интерфейс в Foundry непосредственно из данных в онтологии. Это дает пользователям возможность обучать, оценивать и внедрять модель в производство за несколько щелчков мышью, без необходимости кода.

Интеграция модели

Модели, развернутые через конечные точки Amazon SageMaker (плюс предварительно обученные сервисы AWS AI, такие как Amazon Textract, Amazon Translate и Amazon Lookout for Equipment), теперь могут быть подключены к Foundry ML и связаны с объектами онтологии Palantir в том же режиме. кстати как родные литейные модели.

Пользователи просто просматривают существующие конечные точки Amazon SageMaker и выбирают свою модель. Это создаст новую модель в Foundry, которая представляет подключение к этой конечной точке Amazon SageMaker.

Ваши модели Amazon SageMaker и сервисы AWS AI теперь являются первоклассными гражданами в Foundry, и они могут получать выгоду от той же инфраструктуры развертывания, мониторинга и проверки работоспособности, что и собственные модели Foundry.

Последний шаг перед тем, как сделать эту модель работоспособной, - это интегрировать ее в онтологию. Входные и выходные параметры модели просто привязываются к свойствам данных в онтологии. Это создает связанную сеть моделей, которые связаны между собой посредством этих отношений собственности.

Встроенная интеграция онтологий гарантирует, что ваши модели Amazon SageMaker могут использоваться совместно для более широких организационных рабочих процессов, моделирования или приложений, предназначенных для конечных пользователей, повышая их удобство использования и влияние на организацию.

Реализация модели

Отсюда модели Amazon SageMaker можно интегрировать в операционные приложения Palantir и использовать для поддержки рабочих процессов конечных пользователей в Foundry.

Это момент, когда многие проекты AI и ML могут потерпеть неудачу по причинам, которые мы указали в начале этого поста. Однако в Foundry после того, как модели интегрированы в онтологию, любой пользователь может включить их в рабочие приложения и рабочие процессы, просто потребляя выходные данные модели.

Эти пользователи, вероятно, хорошо знакомы с предметом, в котором работает модель, но не должны быть экспертами в том, как была разработана модель. Им также не нужно быть экспертами в том, как вызывать модель.

Foundry Simulation Engine обрабатывает всю загрузку данных и согласование модели. Интеграция с Amazon SageMaker прозрачно управляет передачей данных между двумя платформами и вызовом модели.

Foundry Simulation Engine позволяет пользователям запускать моделирование «что, если» над этими моделями с предполагаемыми входными и выходными данными, чтобы информировать о правильном порядке действий. Любое решение и контекст, в котором оно было принято, будут записаны обратно в онтологию и, если применимо, в исходный источник данных.

Этот цикл обратной связи позволяет переобучать модель и позволяет платформе постоянно улучшать решения и рекомендации.

Например, bp использует передовые механизмы моделирования Foundry для автоматического определения возможностей увеличения производства. Инженеры задают вопросы типа «что, если», например, какая конфигурация скважин, оборудования и маршрутов позволит обеспечить максимальную добычу нефти. Это приносит сотни миллионов (долларов США) дополнительных доходов в год за счет 30 000 баррелей дополнительной добычи в день.

Заключение

Новые точки интеграции между Palantir Foundry и Amazon SageMaker позволяют пользователям разрабатывать, интегрировать и вводить в действие искусственный интеллект, который может влиять на принятие решений в современном подключенном предприятии.

Чтобы помочь вашей организации создавать и развертывать приложения для принятия решений на базе искусственного интеллекта, свяжитесь с Palantir.

Если вам интересно узнать о других проектах Palantir и AWS, узнайте, как Foundry ERP Suite помогает клиентам AWS сократить расходы.

Авторы

Эндрю Хиггинс, передовой инженер - Palantir
Томас Пауэлл, передовой инженер - Palantir
Мехмет Баккалоглу, старший архитектор решений - AWS
Зак Грин, архитектор решений - AWS