Как добавить распознавание фонем с помощью pocketsphinx на Android

Я работаю над проектом о Cued Speech (это визуальная система общения, используемая с глухими или слабослышащими людьми). Это система на основе фонем, которая делает традиционно разговорные языки доступными за счет использования небольшого количества форм рук, известных как реплики, (представляющих согласные) в разных местах возле рта (представляющих гласные) в качестве дополнения к чтению речи.

Я уже следил за учебником по распознаванию фонем (pocketsphinx_continuous), pocketsphinx на android, и он работает. Сейчас я работаю над Android, но конечная цель этого проекта - заставить его работать на Google Glass. Лучше всего записать на устройстве речь (ближе в реальном времени) и аватар в 3D, который будет воспроизводить правильную конфигурацию руки и движения губ в соответствии с идентифицированной фонемой. (Вот почему мне нужно работать с фонемами, а не с самим словом)

Я прочитал http://cmusphinx.sourceforge.net/wiki/phonemerecognition, но я совершенно запутался о том, как создавать свои собственные "файлы" для французских фонем, чтобы они работали на Android.

Какие шаги? Какой файл я должен создать?

Другими словами, возможно ли получить тот же результат pocketsphinx_continuous с фонемами на Android с голосовым вводом?

Я надеюсь, ты сможешь направить меня!

Гийом


android java speech-recognition pocketsphinx
person Guillaume LEFEVRE    schedule 28.11.2014    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Последняя демоверсия pocketsphinx включает режим фонетического распознавания, активируемый поиском по телефону, подробности см. В источнике:

https://github.com/cmusphinx/pocketsphinx-android-demo

Чтобы использовать его с французским языком, вам необходимо обновить его французской акустической моделью:

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20F0%20Broadcast%20News%20Acoustic%20Model/lium_french_f0.tar.gz/download

И с французской фонетической языковой моделью:

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20Language%20Model/fr-phone.lm.dmp/download

Нравится:

    recognizer = defaultSetup()
            .setAcousticModel(new File(modelsDir, "hmm/french");
            .setBoolean("-allphone_ci", true)
            .getRecognizer();
    // Phonetic search
    File phoneticModel = new File(modelsDir, "phone/fr-phone.lm.dmp");
    recognizer.addAllphoneSearch(PHONE_SEARCH, phoneticModel);

Я сомневаюсь, что он будет хорошо работать на Glass, хотя это не кажется очень мощным устройством.

person Nikolay Shmyrev    schedule 30.11.2014
comment
Большое спасибо за этот ответ. Стекло будет лишь опорой для отображения того, что мы хотим. Мы думали использовать ВЧ микрофон, и мобильное устройство будет обрабатывать голос. Такого рода проекты никогда раньше не реализовывались, так что работы предстоит много =) - person Guillaume LEFEVRE; 30.11.2014