В рамках упражнения, чтобы лучше понять F#, который я сейчас изучаю, я написал функцию для разделения заданной строки на n-граммы.
1) Я хотел бы получить отзыв о моей функции: можно ли ее написать проще или эффективнее?
2) Моя общая цель - написать функцию, которая возвращает сходство строк (в масштабе 0,0..1,0) на основе сходства n-грамм; Подходит ли этот подход для сравнения коротких строк или этот метод можно надежно использовать для сравнения больших строк (например, статей).
3) Я знаю, что сравнения n-грамм игнорируют контекст двух строк. Какой метод вы бы предложили для достижения моей цели?
//s:string - target string to split into n-grams
//n:int - n-gram size to split string into
let ngram_split (s:string, n:int) =
let ngram_count = s.Length - (s.Length % n)
let ngram_list = List.init ngram_count (fun i ->
if( i + n >= s.Length ) then
s.Substring(i,s.Length - i) + String.init ((i + n) - s.Length)
(fun i -> "#")
else
s.Substring(i,n)
)
let ngram_array_unique = ngram_list
|> Seq.ofList
|> Seq.distinct
|> Array.ofSeq
//produce tuples of ngrams (ngram string,how much occurrences in original string)
Seq.init ngram_array_unique.Length (fun i -> (ngram_array_unique.[i],
ngram_list |> List.filter(fun item -> item = ngram_array_unique.[i])
|> List.length)
)
