Я обучил модель seq2seq с образцами 1M и сохранил последнюю контрольную точку. Теперь у меня есть дополнительные обучающие данные из 50 тысяч пар предложений, которых не было в предыдущих обучающих данных. Как я могу адаптировать текущую модель к этим новым данным, не начиная обучение с нуля?
Обучение обученной модели seq2seq на дополнительных данных обучения
Ответы (1)
Нет необходимости повторно запускать инициализацию всей сети. Вы можете запустить инкрементное обучение.
Обучение по предварительно заданным параметрам
Другой вариант использования - использовать базовую модель и обучать ее с помощью новых вариантов обучения (в частности, метода оптимизации и скорости обучения). Использование
-train_fromбез-continueзапустит новое обучение с параметрами, инициализированными из предварительно обученной модели.
Не забудьте токенизировать свой 50-тысячный корпус так же, как и предыдущий.
Кроме того, вам не обязательно использовать тот же словарь, начиная с OpenNMT 0.9. См. Раздел Обновление словарей и используйте соответствующее значение с -update_vocab вариант.
person
Wiktor Stribiżew
schedule
17.11.2017
Кроме того, проблема с инкрементным / внутридоменным Тема форума training может быть интересной, только учтите, что словарный запас теперь немного устарел, так как у вас есть способ использовать новый словарь с постепенным обучением.
- person Wiktor Stribiżew; 17.11.2017
