Алгоритм расчета важности страницы на основе ее просмотров / комментариев

Вы упомянули, что делаете это в SQL-запросе, поэтому я приведу в нем примеры.

Если у вас есть таблица / представление Pages, примерно так

Pages
-----
page_id:int
views:int  - indexed
comments:int - indexed

Тогда вы можете заказать их, написав

SELECT * FROM Pages
ORDER BY 
    (0.3+LOG10(10+views)/LOG10(10+(SELECT MAX(views) FROM Pages))) +       
    (0.7+LOG10(10+comments)/LOG10(10+(SELECT MAX(comments) FROM Pages)))

Я сознательно выбрал неравный вес между просмотрами и комментариями. Проблема, которая может возникнуть при сохранении равного веса просмотров / комментариев, заключается в том, что рейтинг становится самореализующимся пророчеством - страница возвращается вверху списка, поэтому ее посещают чаще и, следовательно, получают больше баллов, поэтому она отображается в конце списка, и его посещают чаще, и он получает больше очков .... Повышение веса комментариев означает, что они требуют реальных усилий и проявляют реальный интерес.

Приведенная выше формула даст вам рейтинг на основе статистики за все время. Таким образом, статье, которая набрала такое же количество просмотров / комментариев за последнюю неделю, как и другая статья, собранная в прошлом году, получит такой же приоритет. Возможно, имеет смысл повторять формулу, каждый раз указывая диапазон дат и отдавая предпочтение страницам с более высокой активностью, например

  0.3*(score for views/comments today) - live data
  0.3*(score for views/comments in the last week)
  0.25*(score for views/comments in the last month)
  0.15*(score for all views/comments, all time)

Это гарантирует, что «горячим» страницам будет отдан более высокий приоритет, чем страницам с аналогичной оценкой, которые в последнее время не претерпевают особых действий. Все значения, кроме сегодняшних оценок, могут быть сохранены в таблицах с помощью запланированных хранимых процедур, чтобы базе данных не приходилось собирать много комментариев / статистики просмотра. Только сегодняшняя статистика вычисляется "вживую". Сделав еще один шаг вперед, сама формула ранжирования может быть вычислена и сохранена для исторических данных с помощью хранимой процедуры, запускаемой ежедневно.

РЕДАКТИРОВАТЬ: Чтобы получить строгий диапазон от 0,1 до 1,0, вы должны мотивировать формулу следующим образом. Но я подчеркиваю - это только добавит накладных расходов и необязательно - абсолютные значения приоритета не важны - только их относительные значения по отношению к другим URL-адресам. Поисковая система использует их, чтобы ответить на вопрос, является ли URL-адрес A более важным / релевантным, чем URL-адрес B? Он делает это путем сравнения их приоритетов - какой из них является наибольшим, а не их абсолютных значений.

// ненормализовано - x - это некоторый идентификатор страницы un (x) = 0,3 * журнал (просмотры (x) +10) / журнал (10 + maxViews ()) + 0,7 * журнал (комментарии (x) +10) / журнал (10 + maxComments ()) // исходная формула (теперь в псевдокоде)

Максимальное значение будет 1.0, минимальное будет начинаться с 1.0 и будет уменьшаться по мере появления большего количества просмотров / комментариев.

мы определяем un (0) как минимальное значение, т.е. (где просмотры (x) и комментарии (x) равны 0 в приведенной выше формуле)

Чтобы получить нормализованную формулу от 0,1 до 1,0, вы затем вычисляете n (x), нормализованный приоритет для страницы x.

                  (1.0-un(x)) * (un(0)-0.1)
  n(x) = un(x) -  -------------------------    when un(0) != 1.0
                          1.0-un(0)

       = 0.1 otherwise.

Priority = W1 * views / maxViewsOfAllArticles + W2 * comments / maxCommentsOfAllArticles с W1 + W2 = 1

Хотя ИМХО, просто используйте 0.5*log_10(10+views)/log_10(10+maxViews) + 0.5*log_10(10+comments)/log_10(10+maxComments)

Здесь вы ищете не алгоритм, а формулу.

К сожалению, вы на самом деле не указали детали того, что вы хотите, поэтому мы не можем предоставить вам формулу.

Вместо этого давайте попробуем вместе разобраться в проблеме.

У вас есть два входящих параметра: viewCount и commentCount. Вы хотите вернуть одно число, Priority. Все идет нормально.

Вы говорите, что приоритет должен находиться в диапазоне от 0 до 1, но это не очень важно. Если бы мы придумали формулу, которая нам понравилась, но в результате получили значения от 0 до N, мы могли бы просто разделить результаты на N, так что это ограничение не имеет особого значения.

Теперь первое, что нам нужно решить, - это относительный вес комментариев и просмотров.

Если на странице A 100 комментариев и 10 просмотров, а на странице B 10 комментариев и 100 просмотров, что должно иметь более высокий приоритет? Или должен быть такой же приоритет? Вам нужно решить, что подходит для вашего определения приоритета.

Если вы решите, например, что комментарии в 5 раз более ценны, чем просмотры, то мы можем начать с такой формулы, как

 Priority = 5 * Comments + Views

Очевидно, это можно обобщить на

Priority = A * Comments + B * Views

Где A и B - относительные веса.

Но иногда мы хотим, чтобы наши веса были экспоненциальными, а не линейными, например

 Priority = Comment ^ A + Views ^ B

что даст очень иную кривую, чем предыдущая формула.

Так же,

 Priority = Comment ^ A * Views ^ B

даст более высокую ценность странице с 20 комментариями и 20 просмотрами, чем страница с 1 комментарием и 40 просмотрами, если веса равны.

Итак, подведем итог:

Вам действительно следует создать электронную таблицу с примерами значений для представлений и комментариев, а затем поиграть с различными формулами, пока не получите ту, которая имеет распределение, на которое вы надеетесь.

Мы не можем сделать это за вас, потому что не знаем, как вы хотите ценить вещи.

Я знаю, что с тех пор, как об этом спрашивали, прошло некоторое время, но я столкнулся с аналогичной проблемой и нашел другое решение.

Когда вы хотите иметь способ ранжировать что-либо, и есть несколько факторов, которые вы используете для выполнения этого ранжирования, вы делаете что-то, что называется анализом решений по нескольким критериям. (MCDA). См. http://en.wikipedia.org/wiki/Multi-criteria_decision_analysis

Есть несколько способов справиться с этим. В вашем случае у ваших критериев разные «единицы». Один - в единицах комментариев, другой - в единицах просмотра. Более того, вы можете придать этим критериям разный вес в зависимости от того, какие бизнес-правила вы придумаете.

В этом случае лучшее решение - это так называемая взвешенная модель продукта. См .: http://en.wikipedia.org/wiki/Weighted_product_model

Суть в том, что вы берете каждый из ваших критериев и превращаете его в процент (как предлагалось ранее), затем вы берете этот процент и возводите его в степень X, где X - число от 0 до 1. Это число представляет твой вес. Ваш общий вес должен составлять единицу.

Наконец, вы складываете каждый результат вместе, чтобы получить рейтинг. Если рейтинг больше 1, то страница в числителе имеет более высокий рейтинг, чем страница в знаменателе.

Каждая страница будет сравниваться с любой другой страницей, выполнив что-то вроде:

• p1C = комментарии на странице 1
• p1V = просмотр страницы 1
• p2C = комментарии на странице 2
• p2V = просмотр страницы 2
• wC = вес комментария
• wV = посмотреть вес

ранг = (p1C / p2C) ^ (wC) * (p1V / p2V) ^ (wV)

Конечным результатом является отсортированный список страниц в соответствии с их рейтингом.

Я реализовал это на C #, выполнив сортировку коллекции объектов, реализующих IComparable.

Некоторые плакаты, по сути, отстаивают без концептуального пояснения то, что вы используете линейную регрессию для определения весовой функции просмотра веб-страницы и количества комментариев для установления приоритета.

Этот метод довольно легко реализовать для вашей проблемы, и основная концепция хорошо описана в этой статье Википедии о linear регрессионные модели.

Краткое описание того, как применить его к вашей проблеме:

1. Определите параметры строки, которая лучше всего соответствует данным количества просмотров и комментариев для всех веб-страниц вашего сайта, т. Е. Используйте линейную регрессию.
2. Используйте параметры строки, чтобы получить функцию приоритета для параметров просмотра / подсчета.

Примеры кода для базовой линейной регрессии не составит труда найти, если вы не хотите реализовывать ее с нуля на основе базовых математических формул (используйте Интернет, Числовые рецепты и т. Д.). Кроме того, любой программный пакет общей математики, такой как Matlab, R и т. Д., Имеет функции линейной регрессии.

Самый наивный подход был бы следующий:

Пусть v[i] просмотры страницы i, c[i] количество комментариев для страницы i, а затем определим относительный вес просмотра для страницы i.

r_v(i) = v[i]/(sum_j v[j])

где sum_j v[j] - это сумма v[.] по всем страницам. Аналогичным образом определите относительный вес комментария для страницы i.

r_c(i) = c[i]/(sum_j c[j]).

Теперь вам нужен некоторый постоянный параметр p: 0 ‹p‹ 1, который указывает на важность просмотров над комментариями: p = 0 означает, что значимы только комментарии, p = 1 означает, что значимы только просмотры, а p = 0,5 дает равный вес.

Затем установите приоритет

p*r_v(i) + (1-p)*r_c(i)

Это может показаться чрезмерным упрощением, но, вероятно, это лучшая отправная точка.