python: как рассчитать косинусное сходство двух списков слов?

Сначала создайте словарь (это технический термин для списка всех отдельных слов в наборе или корпусе).

vocab = {}
i = 0

# loop through each list, find distinct words and map them to a
# unique number starting at zero

for word in A:
    if word not in vocab:
        vocab[word] = i
        i += 1


for word in B:
    if word not in vocab:
        vocab[word] = i
        i += 1

Словарь vocab теперь сопоставляет каждому слову уникальный номер, начинающийся с нуля. Мы будем использовать эти числа в качестве индексов в массиве (или векторе).

На следующем шаге мы создадим нечто, называемое вектором частот терминов, для каждого входного списка. Здесь мы будем использовать библиотеку под названием numpy. Это очень популярный способ выполнения такого рода научных вычислений. Если вас интересует косинусное сходство (или другие методы машинного обучения), это стоит вашего времени.

import numpy as np

# create a numpy array (vector) for each input, filled with zeros
a = np.zeros(len(vocab))
b = np.zeros(len(vocab))

# loop through each input and create a corresponding vector for it
# this vector counts occurrences of each word in the dictionary

for word in A:
    index = vocab[word] # get index from dictionary
    a[index] += 1 # increment count for that index

for word in B:
    index = vocab[word]
    b[index] += 1

Последним шагом является фактическое вычисление косинусного подобия.

# use numpy's dot product to calculate the cosine similarity
sim = np.dot(a, b) / np.sqrt(np.dot(a, a) * np.dot(b, b))

Переменная sim теперь содержит ваш ответ. Вы можете извлечь каждое из этих подвыражений и убедиться, что они соответствуют исходной формуле.

С небольшим рефакторингом этот метод довольно масштабируем (относительно большое количество входных списков с относительно большим количеством отдельных слов). Для действительно больших корпусов (например, википедии) вам следует проверить библиотеки обработки естественного языка, созданные для такого рода вещей. Вот несколько хороших.

1. nltk
2. gensim
3. spaCy