Я хочу выполнить иерархическую агломеративную кластеризацию текстов в MATLAB. Скажем, у меня есть четыре предложения,
I have a pen.
I have a paper.
I have a pencil.
I have a cat.
Я хочу сгруппировать приведенные выше четыре предложения, чтобы увидеть, какие из них более похожи. Я знаю, что в наборе инструментов Statistic есть такая команда, как pdist для измерения попарных расстояний, linkage для вычисления сходства кластеров и т. д. Простой код, например:
X=[1 2; 2 3; 1 4];
Y=pdist(X, 'euclidean');
Z=linkage(Y, 'single');
H=dendrogram(Z)
отлично работает и возвращает дендрограмму.
Интересно, могу ли я использовать эту команду для текстов, как я упоминал выше. Есть предположения ?
ОБНОВЛЕНИЯ:
Спасибо Амро. Читать Понял и вычислил расстояние между строками. Код следует:
clc
S1='I have a pen'; % first String
f_id=fopen('events.txt','r'); %saved strings to compare with
events=textscan(f_id, '%s', 'Delimiter', '\n');
fclose(f_id); %close file.
events=events{1}; % saving the text read.
ii=numel(events); % selects one text randomly.
% store the texts in a cell array
for kk=1:ii
S2=events(kk);
S2=cell2mat(S2);
Z=levenshtein_distance(S1,S2);
X(kk)=Z;
end
Я ввел строку, и у меня было 4 сохраненных строки. Теперь я вычислил попарное расстояние, используя функцию levenshtein_distance. Он возвращает матрицу X=[ 17 0 16 18 16].
** Думаю, это моя парная матрица расстояний. Подобно тому, что делает pdist. Это ?
** Теперь я пытаюсь ввести X, чтобы вычислить связь, например
Z=linkage(X, 'single);
Вывод, который я получаю:
Ошибка при использовании связи ==> в 93. Размер Y несовместим с выходными данными функции PDIST.
Ошибка в ==> Untitled2 в 20 Z=linkage(X,'single') .
Почему так ? Можно ли вообще использовать функцию связи? Помощь приветствуется.
ОБНОВЛЕНИЕ 2
clc
S1='I have a pen';
f_id=fopen('events.txt','r');
events=textscan(f_id, '%s', 'Delimiter', '\n');
fclose(f_id); %close file.
events=events{1}; % saving the text read.
ii=numel(events)+1; % total number of strings in the comparison
D=zeros(ii, ii); % initialized distance matrix;
for kk=1:ii
S2=events(kk);
%S2=cell2mat(S2);
for jk=kk+1:ii
D(kk,jk)= levenshtein_distance(S1{kk},S2{jk});
end
end
D = D + D'; %'# symmetric distance matrix
%# linkage expects the output format to match that of pdist,
%# so we convert D to a row vector (lower/upper part of matrix)
D = squareform(D, 'tovector');
T = linkage(D, 'single');
dendrogram(T).
Ошибка: ??? Ссылка на содержимое ячейки из объекта массива, не являющегося ячейкой. Ошибка в ==> Untitled2 на 22 D(kk,jk)= levenshtein_distance(S1{kk},S2{jk});
Кроме того, почему я читаю событие из файла внутри первого цикла? Не кажется логичным. Немного запутался, могу ли я работать таким образом, или единственное решение - ввести все строки внутри кода. Помощь очень ценится.
ОБНОВЛЕНИЕ
код для сравнения двух предложений:
clc
str1 = 'Fire in NY';
str2= 'Jeff is sick';
D=levenshtein_distance(str1,str2);
D = D + D'; %'# symmetric distance matrix
%# linkage expects the output format to match that of pdist,
%# so we convert D to a row vector (lower/upper part of matrix)
%D = squareform(D, 'tovector');
T = linkage(D, 'complete');
[H,P] = dendrogram(T,'colorthreshold','default');
Выход D=18.
С разными строками:
clc
str1 = 'Fire in NY';
str2= 'NY catches fire';
D=levenshtein_distance(str1,str2);
D = D + D'; %'# symmetric distance matrix
%# linkage expects the output format to match that of pdist,
%# so we convert D to a row vector (lower/upper part of matrix)
%D = squareform(D, 'tovector');
T = linkage(D, 'complete');
[H,P] = dendrogram(T,'colorthreshold','default');
D=28.
В зависимости от расстояния абсолютно разные предложения выглядят одинаково. Что я пытаюсь сделать? Если я сохранил Fire в Нью-Йорке, я не буду хранить NY catches fire. Однако для первого случая я бы сохранил, поскольку информация новая.
Достаточно ли LD для этого? Помощь приветствуется.
