Я хочу использовать наивный байесовский подход для классификации документов по относительно большому количеству классов. Я хочу подтвердить, действительно ли упоминание имени объекта в статье является этим объектом, исходя из того, похожа ли эта статья на статьи, в которых этот объект был правильно проверен.
Скажем, находим в статье текст «Дженерал Моторс». У нас есть набор данных, который содержит статьи и правильные объекты, упомянутые в них. Таким образом, если мы нашли «Дженерал Моторс», упомянутую в новой статье, должна ли она попасть в тот класс статей в предыдущих данных, которые содержали известные подлинные упоминать «Дженерал Моторс» по сравнению с классом статей, в которых эта организация не упоминается?
(Я не создаю класс для каждой сущности и не пытаюсь классифицировать каждую новую статью по каждому возможному классу. У меня уже есть эвристический метод для поиска правдоподобных упоминаний имен сущностей, и я просто хочу проверить правдоподобие ограниченного числа имя объекта упоминается в статье, которую метод уже обнаруживает.)
Учитывая, что количество потенциальных классов и статей было довольно большим, а наивный байес относительно простым, я хотел сделать все это в sql, но у меня возникли проблемы с запросом оценки...
Вот что у меня есть до сих пор:
CREATE TABLE `each_entity_word` (
`word` varchar(20) NOT NULL,
`entity_id` int(10) unsigned NOT NULL,
`word_count` mediumint(8) unsigned NOT NULL,
PRIMARY KEY (`word`, `entity_id`)
);
CREATE TABLE `each_entity_sum` (
`entity_id` int(10) unsigned NOT NULL DEFAULT '0',
`word_count_sum` int(10) unsigned DEFAULT NULL,
`doc_count` mediumint(8) unsigned NOT NULL,
PRIMARY KEY (`entity_id`)
);
CREATE TABLE `total_entity_word` (
`word` varchar(20) NOT NULL,
`word_count` int(10) unsigned NOT NULL,
PRIMARY KEY (`word`)
);
CREATE TABLE `total_entity_sum` (
`word_count_sum` bigint(20) unsigned NOT NULL,
`doc_count` int(10) unsigned NOT NULL,
`pkey` enum('singleton') NOT NULL DEFAULT 'singleton',
PRIMARY KEY (`pkey`)
);
Каждая статья в отмеченных данных разбивается на отдельные слова, и для каждой статьи для каждого объекта каждое слово добавляется к each_entity_word и/или его word_count увеличивается, а doc_count увеличивается на entity_word_sum, оба относительно entity_id. Это повторяется для каждого известного объекта, упомянутого в этой статье.
Для каждой статьи, независимо от объектов, содержащихся внутри, для каждого слова total_entity_word total_entity_word_sum увеличиваются аналогичным образом.
- P(слово|любой документ) должен равняться
word_countвtotal_entity_wordдля этого слова большеdoc_countвtotal_entity_sum - P(слово|в документе упоминается сущность x) должно равняться
word_countвeach_entity_wordдля этого слова дляentity_idx большеdoc_countвeach_entity_sumдляentity_idx - P(word|document не упоминает объект x) должен быть равен (
word_countвtotal_entity_wordминус егоword_countвeach_entity_wordдля этого слова для этого объекта) больше (doc_countвtotal_entity_sumминусdoc_countдля этой сущности вeach_entity_sum) - P(в документе упоминается объект x) должен равняться
doc_countвeach_entity_sumдля этого идентификатора объекта большеdoc_countвtotal_entity_word - P(в документе не упоминается объект x) должен равняться 1 минус (
doc_countвeach_entity_sumдля идентификатора объекта x большеdoc_countвtotal_entity_word).
Для поступающей новой статьи разделите ее на слова и просто выберите, где слово («я», «хочу», «чтобы», «использовать»...) напротив each_entity_word или total_entity_word. В платформе db, с которой я работаю (mysql), предложения IN относительно хорошо оптимизированы.
Также в sql нет агрегатной функции product(), поэтому, конечно, вы можете просто выполнить команду sum(log(x)) или exp(sum(log(x))), чтобы получить эквивалент продукта(x).
Итак, если я получаю новую статью, разбиваю ее на отдельные слова и помещаю эти слова в большое предложение IN() и потенциальный идентификатор объекта для проверки, как я могу получить наивную байесовскую вероятность того, что статья попадает в этот объект? класс id в sql?
РЕДАКТИРОВАТЬ:
Попробуйте №1:
set @entity_id = 1;
select @entity_doc_count = doc_count from each_entity_sum where entity_id=@entity_id;
select @total_doc_count = doc_count from total_entity_sum;
select
exp(
log(@entity_doc_count / @total_doc_count) +
(
sum(log((ifnull(ew.word_count,0) + 1) / @entity_doc_count)) /
sum(log(((aew.word_count + 1) - ifnull(ew.word_count, 0)) / (@total_doc_count - @entity_doc_count)))
)
) as likelihood,
from total_entity_word aew
left outer join each_entity_word ew on ew.word=aew.word and ew.entity_id=@entity_id
where aew.word in ('I', 'want', 'to', 'use'...);
