Я ищу способы повысить точность схемы взвешивания TF-IDF при сопоставлении строк (сходстве). Основная проблема заключается в том, что TF-IDF чувствителен к типографским ошибкам в сообщениях, а большинство больших наборов данных, как правило, содержат опечатки. Я понял, что варианты расстояния редактирования (метрики сходства на основе символов --- левиенштейн, аффинный газ, Яро и Яро-винклер) подходят для вычисления сходства между строками, где есть опечатки, но не подходят, когда слова не по порядку в струны.
Следовательно, я хотел бы использовать возможность коррекции расстояния редактирования для повышения точности TF-IDF.
Любые идеи о том, как решить эту проблему, будут высоко оценены.
Заранее спасибо.
