Я заинтересован в машинном переводе и, более конкретно, я хотел бы изучить сходство между двумя строками. Я хотел бы знать, существуют ли методы глубокого обучения для извлечения текстовых признаков. Я уже пробовал знаменитые статистические методы, такие как косинусное сходство, расстояние Левенштейна, частота слов и другие.
Спасибо
Чтобы найти сходство между двумя строками, попробуйте обучить сиамские сети на своем наборе данных.
Сиамские сети — это особый тип архитектуры нейронной сети. Вместо того, чтобы модель училась классифицировать свои входные данные, нейронные сети учатся различать два входных данных. Он узнает сходство между ними.
https://medium.com/@gautam.karmakar/manhattan-lstm-model-for-text-similarity-2351f80d72f1
Ниже приведена ссылка на конкурс kaggle, они использовали сиамские сети для сходства текста.
Надеюсь, это развеет ваши сомнения
