Объединение нескольких моделей классификаторов документов в OpenNLP

Я делал это раньше, и мой подход заключался в том, чтобы каждый редуктор не создавал модель, а создавал только правильно отформатированные данные. Вместо того, чтобы использовать категорию в качестве ключа, который разделяет все категории. Просто используйте один ключ и сделайте значение в правильном формате (пример новой строки cat), затем в одном редукторе вы можете прочитать эти данные как (строку) bytearrayinputstream и обучить модель. Конечно, это не единственный способ. Вам вообще не нужно было бы модифицировать opennlp, чтобы сделать это.

Проще говоря, я рекомендую использовать одно задание, которое ведет себя следующим образом:

Карта: прочитайте свои данные, создайте метку категории и пару образцов. Используйте ключ под названием «ALL» и context.write каждую пару с этим ключом.

Сокращение: используйте построитель строк, чтобы объединить все пары cat: sample в правильный формат обучения. Преобразуйте строку в bytearrayinputstream и передайте обучающему API. Напишите куда-нибудь модель.

Может возникнуть проблема, что данные ваших образцов слишком велики для отправки на один узел. Если это так, вы можете записать значения в A nosql db и прочитать их с более крупного учебного узла. Или вы можете использовать рандомизацию в вашем картографе, чтобы создать много ключей и построить много моделей, а затем во время классификации написать z-оболочку, которая проверяет данные по всем им, и Getz выбирает лучшее из каждого... Множество вариантов. ХТН