Как использовать текстсумму?

Я перешел по этой ссылке, чтобы использовать textsum. Я обучил модель с помощью предоставленной команды. Но я не вижу папки «train» в каталоге «textsum/log_root/». Поскольку обучение производится на образце файла, сможет ли модель работать с тестовыми данными в реальном времени? Если нет, как я могу сделать данные для обучения и обучить модель? И самое главное, как я могу протестировать/использовать модель, чтобы увидеть суммирование результатов?


person Selva Saravana Er    schedule 29.08.2016    source источник


Ответы (1)


Честно говоря, я не могу ответить, почему вы не увидите папку train в каталоге log_root, если вы правильно передали все свои параметры. Еще одна вещь, на которую следует обратить внимание, - это убедиться, что вы ждете достаточно долго. Итак, когда вы выполняете свой тренировочный прогон с помощью Textsum, вы видите какие-либо подробные журналы, в которых указывается, что есть какая-то ошибка, например, нет списка файлов или что-то в этом роде. Если это так, то ваш путь, передаваемый одному из параметров, вероятно, отключен. Это относительно пути, из которого вы его вызываете, поэтому вам нужно убедиться, что вы находитесь в корневом пути, где находится ваш файл рабочей области.

Другое дело, вы используете CPU или GPU? Если вы используете ЦП... модели требуется некоторое время, чтобы добраться до точки, когда она даже может записывать данные. Теперь, если вы используете графический процессор, то это намного быстрее, но вам нужно подождать, пока вы не увидите, что журналы «average_loss» начнут печататься на вашем экране. Как только вы их заметите, есть большая вероятность, что вы увидите папку «поезд» с данными.

Что касается тестовых данных «в реальном времени», я все еще изучаю это сам, и теперь, когда мои текущие данные обучаются в модели, я также собираюсь начать с этого. Направление, которое я понимаю до сих пор, заключается в том, что после того, как вы обучили свою модель и получили файл рассола или что-то еще, вы можете «обслуживать» его, используя информацию здесь: https://tensorflow.github.io/serving/

В этот момент ваша модель обучена, и вы можете запрашивать ее и вводить новый ответ, чтобы со временем ваша модель становилась умнее. Опять же, я еще не доказал это на примере, но это подход, который я собираюсь начать здесь в ближайшее время.

Что касается «тестирования модели», вы в значительной степени можете следовать инструкциям, приведенным в textsum git, повторно генерировать файл vocab, а затем тренироваться. Затем, после того как вы доведете свои средние потери до достаточно небольшой доли, вы сможете запустить декодирование данных. Затем в папке декодирования log_root вы увидите сгенерированные заголовки и связанные с ними справочные файлы (каким был фактический заголовок). Надеюсь, что это помогает и удачи!

person xtr33me    schedule 14.10.2016
comment
Привет, xtreeme, я обучил свою модель более чем 1 миллиону записей, но она не генерирует декодированную сводку с эталонным файлом. - person Wazy; 20.12.2017
comment
Эй, @Wazzy... качество во многом зависит от чистоты данных, которые вы использовали для обучения. Поскольку это абстрактная модель, вы также не получите точного совпадения, поскольку модель буквально генерирует что-то самостоятельно на основе данных, на которых она была обучена, поэтому вам нужен такой большой набор данных. Тем не менее, результаты должны быть близки. Если это не так, вы можете просмотреть данные, которые вы ввели, и попытаться их очистить. Вы можете легко сказать, насколько хороши ваши данные, взглянув на файл vocab и увидев, что там есть. - person xtr33me; 15.02.2018