Как сохранить / загрузить модуль концентратора тензорного потока в / из настраиваемого пути?

Сопровождающие библиотеки tensorflow_hub упростили для пользователей загрузку и использование предварительно обученных модулей тензорного потока, например:

import tensorflow_hub as hub

embed = hub.Module("https://tfhub.dev/google/universal-sentence-encoder/1")

Но из sys.stderr казалось, что он сохранял модуль локально во временный каталог, т.е.

После перезагрузки компьютера модуль удаляется, и повторный запуск кода hub.Module('...') приведет к повторной загрузке модуля.

Можно ли сохранить модуль в настраиваемый каталог, а затем загрузить из настраиваемого каталога?

Если возможно, как сохранить / загрузить модуль концентратора тензорного потока в / из настраиваемого пути?

Действительно, можно указать / использовать собственный каталог :) Инструкции см. В разделе «Модули кэширования» по адресу https://www.tensorflow.org/hub/basics


python tensorflow deep-learning pre-trained-model tensorflow-hub
person alvas    schedule 14.05.2018    source источник

Ответы (6)


arrow_upward
-3
arrow_downward

Вы можете скачать нужную модель по адресу url + '? Tf-hub-format = compressed'

person svsgoogle    schedule 14.05.2018
comment
ссылка тоже битая! :( - person Chicodelarose; 17.07.2018
comment
Как использовать эту загруженную модель? - person Jacob Philpott; 20.01.2021

arrow_upward
19
arrow_downward

Я попробовал скачать Элмо, и это сработало

url = https://tfhub.dev/google/elmo/2 + '? tf-hub -format = сжатый '

например: https://tfhub.dev/google/elmo/2?tf-hub-format=compressed

модель будет загружена на ваш компьютер в виде tar-файла.

после распаковки файла он будет иметь tfhub_module.pb

https: // tfhub.dev / google / универсальный-кодировщик-предложений / 1

person harikris    schedule 14.09.2018
comment
Sundeep: stackoverflow.com/q/60578801/854477 - person Sundeep Pidugu; 04.06.2019
comment
Добавление ссылки на ответ: tensorflow.org/hub/caching - person int_ua; 17.06.2020

arrow_upward
6
arrow_downward

  • Загрузите с помощью Curl или браузера.

https: // storage.googleapis.com/tfhub-modules / google / universal-offer-encoder / 1. tar.gz

To:

Возьмите URL-адрес и измените его:

  • Распакуйте в желаемое место (например, / home / admin / embed /)
  • Измените свой код на:
  • Для тех, кто все еще ищет ответ, особенно для ELMO, как сказал @harikris, вы можете использовать

.

import tensorflow_hub as hub 
embed = hub.load('/home/admin/embed/')
person Alon Lavian    schedule 07.11.2019

arrow_upward
4
arrow_downward

url = https://tfhub.dev/google/elmo/2 + '? tf- hub-format = сжатый '

формат для загрузки модуля, например эту ссылку

После загрузки извлеките содержимое в папку, а затем в хаб. Код модуля просто замените URL-адрес на путь к каталогу, как указано в

https://www.tensorflow.org/hub/basics

1) Найдите свою модель: например, https://tfhub.dev/google/imagenet/inception_v1/feature_vector/1

person Atif Hassan    schedule 07.06.2019

arrow_upward
4
arrow_downward

2) Получите реальный путь загрузки:

замените tfhub.dev на storage.googleapis.com/tfhub-modules и добавьте .tar.gz в качестве суффикса.

3) Подготовить кеш:

На некоторых платформах TF-концентратор регистрирует каталог кеша, но на некоторых нет. Указать расположение кеша в коде намного надежнее. Просто вставьте следующий код в свой файл, прежде чем вызывать tfhub для этого.

ссылка: Как запустить TF-концентратор локально без подключения к Интернету

os.environ["TFHUB_CACHE_DIR"] = '/tmp/tfhub'

Если вы не установили значение переменной среды 

os.environ["TFHUB_CACHE_DIR"] = '/tmp/tfhub'
, каталог кеша по умолчанию:

person user_007    schedule 10.01.2020

arrow_upward
1
arrow_downward

И скачанный хаб внутри него.

cache_dir = os.path.join(tempfile.gettempdir(), "tfhub_modules")

Этот ответ должен быть более конкретным, по крайней мере, с одним примером.

person Jackie Ai    schedule 18.10.2019
comment
ИНФОРМАЦИЯ: tenorflow: использование / var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules для кэширования модулей. ИНФОРМАЦИЯ: tensorflow: инициализировать модуль переменных / Embeddings_en / sharded_0: 0 из контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e721ae переменные / переменные sharded_index_index_index_index_index_index/ sharded_1: 0 из контрольной точки b '/ var / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменная sharded_en_index_en_bf21a2d3 / переменная / переменная_bf21a2d3: начальная / переменная_bf21a_en_en папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_10 INFO: tensorflow: модуль переменной Initialize / Embeddings_en / sharded_11: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / variables / variables 'с Embeddings_en / sharded_11 ИНФОРМАЦИЯ: тензорный поток: Инициализировать переменный модуль / Embeddings_en / sharded_12: 0 из контрольной точки b '/ var / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d переменные: переменные sharded_12: переменные_INF2e604e740e8838bf21a2d: переменные_INF2e604e740e8838bf21a2d контрольная точка b '/ var / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с вложениями сегментов Embeddings_14 / переменных / файлов / переменных 'из вложений sharded_en / sharded_13 / из папок с расширениями / модулями / переменными / из вложений / файлов / файлов / файлов из / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_14 INFO: tensorflow: модуль переменной Initialize / Embeddings_en / sharded_15: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные 'с помощью Embeddings_en / sharded_15 INFO: tensorflow: Initialize v ariable module / Embeddings_en / sharded_16: 0 из контрольной точки b '/ var / files / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d переменных: переменные sharded_inf2e604e740e8838bf21a2d: переменные_INF2e604e740e8838bf21a2d: переменные_Sharded_Sharded_Mode2 б '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с Embeddings_en / sharded_2 INFO: tensorflow: модуль переменной Initialize / Embeddings_en / sharded_3: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_3 INFO: tensorflow: модуль переменной Initialize / Embeddings_en / sharded_4: 0 из контрольной точки б '/ вар / папки / J6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные 'with Embeddings_en / sharded_4 INFO: tensorflow: инициализировать переменный модуль / E mbeddings_en / sharded_5: 0 из контрольной точки b '/ var / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d6 / переменные ShardedO: исходные переменные / переменные ShardedO: переменные / переменные_ShardedO: вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_6 INFO: tensorflow: модуль переменной Initialize / Embeddings_en / sharded_7: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_7 INFO: tensorflow: Инициализировать модуль переменной / Embeddings_en / sharded_8: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с Embeddings_en / sharded_8 INFO: tensorflow: инициализировать модуль переменных / Embeddings_en / sharded _9: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' / sharded_9 INFO с Embeddings_en: tensorflow: модуль инициализации переменной / Encoder_en / DNN / ResidualHidden_0 / вес: 0 из контрольной точки Ь '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / variables / variables' из модуля Encoder_en / DNN / ResidualHext / WeidualHext / переменная Encoder_en / DNN / WeidualHext var / files / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / variables / variables папки / j6 / xczfl75n3sbfw - person Kaushik Acharya; 03.08.2020