Функция N-грамм в vb.net - ›создавать граммы для слов вместо символов

n -грамма для слов - это просто список длиной n, в котором хранятся эти слова. В этом случае список n -грамм представляет собой просто список слов. Если вы хотите сохранить частоту, вам понадобится словарь, который индексируется этими n -граммами. Для вашего особого случая с 2 граммами вы можете представить себе что-то вроде этого:

Dim frequencies As New Dictionary(Of String(), Integer)(New ArrayComparer(Of String)())
Const separators as String = "!@#$%^&*()_+-={}|\:""'?¿/.,<>’¡º×÷‘;«»[] " & _
                             ControlChars.CrLf & ControlChars.Tab
Dim words = text.Split(separators.ToCharArray(), StringSplitOptions.RemoveEmptyEntries)

For i As Integer = 0 To words.Length - 2
    Dim ngram = New String() { words(i), words(i + 1) }
    Dim oldValue As Integer = 0
    frequencies.TryGetValue(ngram, oldValue)
    frequencies(ngram) = oldValue + 1
Next

frequencies теперь должен содержать словарь со всеми двумя последовательными парами слов, содержащимися в тексте, и частотой, с которой они появляются (как последовательная пара).

Для этого кода требуется класс ArrayComparer:

Public Class ArrayComparer(Of T)
    Implements IEqualityComparer(Of T())

    Private ReadOnly comparer As IEqualityComparer(Of T)

    Public Sub New()
        Me.New(EqualityComparer(Of T).Default)
    End Sub

    Public Sub New(ByVal comparer As IEqualityComparer(Of T))
        Me.comparer = comparer
    End Sub

    Public Overloads Function Equals(ByVal a As T(), ByVal b As T()) As Boolean _
            Implements IEqualityComparer(Of T()).Equals
        System.Diagnostics.Debug.Assert(a.Length = b.Length)
        For i As Integer = 0 to a.Length - 1
            If Not comparer.Equals(a(i), b(i)) Then Return False
        Next

        Return True
    End Function

    Public Overloads Function GetHashCode(ByVal arr As T()) As Integer _
            Implements IEqualityComparer(Of T()).GetHashCode
        Dim hashCode As Integer = 17
        For Each obj As T In arr
            hashCode = ((hashCode << 5) - 1) Xor comparer.GetHashCode(obj)
        Next

        Return hashCode
    End Function
End Class

К сожалению, этот код не компилируется в Mono, потому что компилятор VB не может найти общий класс EqualityComparer. Поэтому я не могу проверить, работает ли GetHashCode реализацияw должным образом, но все должно быть в порядке.

Большое спасибо Конраду за начало решения!

Я попробовал ваш код и получил следующий результат:

Text = "Hello I am a test Also I am a test"
(I also included whitespace as a separator)

frequencies now has 9 items:
---------------------
Keys: "Hello", "I"
Value: 1
---------------------
Keys: "I", "am"
Value: 1
---------------------
Keys: "am", "a"
Value: 1
---------------------
Keys: "a", "test"
Value: 1
---------------------
Keys: "test", "Also"
Value: 1
---------------------
Keys: "Also", "I"
Value: 1
---------------------
Keys: "I", "am"
Value: 1
---------------------
Keys: "am", "a"
Value: 1
---------------------
Keys: "a", "test"
Value: 1
---------------------

Мой первый вопрос: разве 3 последние пары ключей не должны иметь значение 2, поскольку они встречаются в тексте два раза?

Во-вторых: причина, по которой я выбрал подход n-граммов, заключается в том, что я не хочу ограничивать количество слов (n) определенной длиной. Есть ли способ применить динамический подход, который пытается сначала найти самое длинное совпадение фразы, а затем перейти к последнему количеству слов, равному 2?

Мой целевой результат для приведенного выше примера запроса:

---------------------
Match: "I am a test"
Frequency: 2
---------------------
Match: "I am a"
Frequency: 2
---------------------
Match: "am a test"
Frequency: 2
---------------------
Match: "I am"
Frequency: 2
---------------------
Match: "am a"
Frequency: 2
---------------------
Match: "a test"
Frequency: 2
---------------------

Для этого существует аналогичный подход C ++, написанный Хатемом Мостафой на codeproject.com: N- грамма и алгоритм быстрого извлечения паттернов

К сожалению, я не специалист по C ++ и понятия не имею, как преобразовать этот фрагмент кода, поскольку он включает в себя много операций с памятью, которых нет в .NET. Единственная проблема с этим примером заключается в том, что вам нужно указать минимальную длину шаблона слова, и я хочу, чтобы она была динамической от 2 до максимального найденного.