Распознавание мимики на Android Java с помощью Tensorflow Lite

Я работаю над распознаванием выражения лица с использованием алгоритма глубокого обучения, то есть CNN, для определения эмоций пользователя, таких как счастье, грусть, гнев и т.д. images, Чтобы ускорить процесс обучения, я использовал Tensorflow. Точность теста 62%. Я сохранил архитектуру и вес моей модели в файле train_model.h5.

Теперь мне нужно реализовать это на телефоне Android. Для этого я использовал Tensorflow-Lite, так как он подходит для телефонов Android. Итак, я преобразовал свой файл .h5 в файл .tflite, используя метод конвертера Tensorflow lite.

Вот что я сделал для конвертации:

from tensorflow.contrib import lite
converter=lite.TFLiteConverter.from_keras_model_file
            ("train_model.h5")
tflite_model = converter.convert()
open ("model.tflite" , "wb") .write(tflite_model)

Я успешно получил файл tflite.

Переходя к части Android, я выбрал язык Java для загрузки файла tflite и предсказания эмоций нового изображения. Я рассмотрел пример «классификации изображений», приведенный на веб-сайте Tensorflow-lite, но не понимаю, как его использовать. Я не знаю, как читать tflite и использовать его для прогнозирования вывода нового изображения и отображения результата в приложении для Android. Пожалуйста, помогите мне с некоторыми хорошими ресурсами с объяснением


person Zainab    schedule 15.05.2019    source источник


Ответы (1)


Вот хороший пост в блоге о том, как использовать модель TFLite для классификации изображений на Android: https://medium.com/tensorflow/using-tensorflow-lite-on-android-9bbc9cb7d69d

То, как вы будете выполнять выводы, во многом зависит от того, как была построена модель и какие входные данные она ожидает. Если подход, описанный в сообщении в блоге выше, не работает, вам придется вручную составить тензор для подачи в модель. код в этом codelab делает именно это.

Еще один вариант, который следует рассмотреть, - это API обнаружения лиц в ML Kit. Он делает кое-что из того, что вы ищете (но не все), обнаруживая кривизну улыбки.

person Sachin K    schedule 15.05.2019
comment
Я немного поняла. Спасибо - person Zainab; 16.05.2019
comment
Есть ли улучшение? - person Zainab; 07.08.2020