Как автоматизировать прогнозы с помощью обученной модели в облаке Google

У меня есть данные от веб-пользователей в Firestore.

Я вставил некоторые из этих данных в Google BigQuery, чтобы запустить модель машинного обучения.

У меня есть опыт обучения моделей машинного обучения, но у меня нет опыта в получении прогнозов для новых данных после обучения этой модели.

Я прочитал, что могу загрузить эту обученную модель в облачное хранилище Google, а затем поместить ее в платформу AI, но я не знаю, какой процесс мне нужно выполнить, потому что новые данные будут вставлены в BigQuery с помощью этого нового data Я хочу сделать прогнозы, а затем выбрать эти прогнозы и снова поместить их в Firstore.

Я думаю, что это можно сделать с помощью Dataflow (Apache Beam) или Data composer (Airflow), где я могу автоматизировать этот процесс и запланировать его для запуска всего процесса каждую неделю, но у меня нет опыта использования этих технологий, может кто-нибудь порекомендуйте мне, какая технология будет лучше для этого конкретного случая, чтобы найти информацию о том, как ее использовать?

Одна из возможностей - сохранить модель на платформе AI или в облачном хранилище Google, а с помощью облачных функций вызвать эту сохраненную модель и сделать прогнозы, чтобы сохранить их в firestore?


google-cloud-platform google-bigquery google-cloud-dataflow google-cloud-composer
person J.C Guzman    schedule 18.10.2019    source источник
comment
Это НЕ должно быть закрыто. Хороший вопрос.   -  person Pentium10    schedule 18.10.2019

Ответы (3)


arrow_upward
2
arrow_downward

Bigquery ML поддерживает внешние модели Tensorflow.

Импорт модели TensorFlow. Эта функция позволяет создавать модели BigQuery ML из предварительно обученных моделей TensorFlow, а затем выполнять прогнозирование в BigQuery ML. См. инструкцию CREATE MODEL для импорта моделей TensorFlow для получения дополнительной информации.

Итак, чего вы хотите достичь, это

  • Получить таблицу в BigQuery
  • Создайте набор функций для своей модели (выберите операторы)
  • СОЗДАТЬ МОДЕЛЬ в BigQuery (перезапустите, чтобы заново обучить)
  • Запустите ML.PREDICT (или аналогичный), чтобы получить прогнозы для новых данных.

По мере поступления новых данных в BigQuery вы можете:
- переобучить модель (внешне или внутренне, в зависимости от типа используемого алгоритма)
- использовать новую строку в прогнозах

https://cloud.google.com/bigquery-ml/docs/bigqueryml-intro

person Pentium10    schedule 18.10.2019

arrow_upward
1
arrow_downward

Для этого вам понадобятся 2 услуги:

  1. Один для прогноза, который служит вашей модели
  2. Один для получения прогноза и сохранения результата в хранилище огня.

Лично я не рекомендую вам сегодня хранить свою модель в AI-Platform (новый релиз должен выйти к концу месяца, а сегодня - нет!). Я написал статью о размещении модели Tensorflow в Cloud Run. Он должен работать в другом фреймворке, но я построил только модель тензорного потока и использовал ее для своих тестов.

Лучшее решение, если ваши новые данные находятся в BigQuery, а ваша модель - в тензорном потоке, - загрузить модель в BigQuery. Прогноз бесплатный, вы платите только за данные в своем запросе (я тоже пишу об этом статью, но жду выхода новой версии AI-платформы, чтобы обеспечить правильное сравнение обоих решений).

После получения прогноза (результат вызова BigQuery + в Cloud Run ИЛИ Результат BigQuery с предложением прогнозирования) необходимо выполнить итерацию результатов, чтобы сохранить их в хранилище данных. Я рекомендую вам пакетную запись в firestore

person guillaume blaquiere    schedule 18.10.2019

arrow_upward
-1
arrow_downward

Я прочитал, что могу загрузить эту обученную модель в облачное хранилище Google.

Если вы хотите сделать это, вы можете использовать Dataflow. Вы можете написать конвейер, который считывает данные из BigQuery и записывает их в GCS.

(Я не уверен, что понимаю, как вы хотите, чтобы ваша работа взаимодействовала с платформой AI и Firestore)

person Yueyang Qiu    schedule 18.10.2019
comment
Поскольку то, что мне нужно написать из bigquery в firestore, - это прогнозы на основе обученной модели машинного обучения, я спрашивал, как это сделать. - person J.C Guzman; 21.10.2019