Запрос на присоединение MarkLogic

Это более простой / короткий и полностью совместимый XQuery, не содержащий каких-либо расширений реализации, которые позволяют ему работать с любым совместимым процессором XQuery 1.0:

let $content := doc('file:///c:/temp/delete/A.xml')/*/*,
      $lookup := doc('file:///c:/temp/delete/B.xml')/*,
      $words := tokenize($content, '\W+')[.]
         return
           <root>
            {$content}
             <updatedElement>
               <companies>
                  {for $c in $lookup/companies/*,
                       $occurs in count(index-of($words, $c))
                     return
                       if($occurs)
                          then
                            <company count="{$occurs}">
                              {$c/text()}
                            </company>
                          else ()
                  }
               </companies>
               <mood>
                  {
                   sum($lookup/moods/*[false or index-of($words, data(.))]/@number)
                  }
               </mood>
               <topics>
                 {for $t in $lookup/topics/*,
                      $occurs in count(index-of($words, $t))
                    return
                      if($occurs)
                         then
                           <topic count="{$occurs}">
                             {data($t/@group)}
                           </topic>
                         else ()
                  }
               </topics>
               <word-count>{count($words)}</word-count>
              </updatedElement>
          </root>

При применении к предоставленным файлам A.xml и B.XML (содержащимся в локальном каталоге c:/temp/delete) будет получен желаемый правильный результат:

<root>
   <content> The state passed its first ban on using a handheld cellphone while driving in 2004 Nokia Vodafone Nokia Growth Recession Cricket HBO</content>
   <updatedElement>
      <companies>
         <company count="1">Vodafone</company>
         <company count="2">Nokia</company>
      </companies>
      <mood>1</mood>
      <topics>
         <topic count="1">Sports</topic>
         <topic count="1">Entertainment</topic>
      </topics>
      <word-count>22</word-count>
   </updatedElement>
</root>

Это было весело, и я узнал несколько вещей в процессе. Спасибо!

Примечание: чтобы получить желаемый результат, я исправил опечатку в A.xml («Creicket» -> «Cricket»).

В следующем решении используются две специфичные для MarkLogic функции:

• cts:highlight (для замены совпадающего текста узлами, которые затем можно подсчитать)
• cts:tokenize (для разбиения заданной строки на части слова, пробелы и знаки препинания)

Он также включает в себя некоторую мощную магию, специфичную для этих двух функций, соответственно:

• динамическое связывание специальной переменной $cts:text (которая на самом деле не нужна для этого конкретного варианта использования, но я отвлекся) и
• the data model extension which adds these subtypes of xs:string:
  • cts:word,
  • cts:space и
  • cts:punctuation.

Наслаждаться!

xquery version "1.0-ml";

(: Generic function using MarkLogic's ability to find query matches within a single node :)
declare function local:find-matches($content, $search-text) {
  cts:highlight($content, $search-text, <MATCH>{$cts:text}</MATCH>)
  //MATCH
};

(: Generic function using MarkLogic's ability to tokenize text into words, punctuation, and spaces :)
declare function local:get-words($text) {
  cts:tokenize($text)[. instance of cts:word]
};

(: The rest of this is pure XQuery :)
let $content := doc("A.xml")/root/content,
    $lookup  := doc("B.xml")/WordLookUp
return
  <root>
    {$content}
    <updatedElement>

      <companies>{
        for $company in $lookup/companies/company
        let $results := local:find-matches($content, string($company))
        where exists($results)
        return
          <company count="{count($results)}">{string($company/@name)}</company>
      }</companies>

      <mood>{
        sum(
          for $mood in $lookup/moods/mood
          let $results := local:find-matches($content, string($mood))
          return count($results) * $mood/@number
        )
      }</mood>

      <topics>{
        for $topic in $lookup/topics/topic
        let $results := local:find-matches($content, string($topic))
        where exists($results)
        return
          <topic count="{count($results)}">{string($topic/@group)}</topic>
      }</topics>

      <word-count>{
        count(local:get-words($content))
      }</word-count>

    </updatedElement>
  </root>

Дайте мне знать, если у вас возникнут дополнительные вопросы о том, как все вышеперечисленное работает. Сначала я был склонен использовать cts:search или cts:contains, которые являются хлебом с маслом для поиска в MarkLogic. Но я понял, что в этом примере речь идет не столько о поиске (поиске документов), сколько о поиске совпадающего текста в уже заданном документе. Если вам нужно как-то расширить это, чтобы агрегировать по большому количеству документов, вам следует изучить возможность дополнительного использования cts:search или cts:contains.

И последнее предостережение: если вы думаете, что ваш контент уже может содержать <MATCH> элементов, вы захотите использовать другое имя элемента при вызове cts:highlight (имя, которое, как вы можете гарантировать, не будет конфликтовать с существующими именами элементов вашего контента). В противном случае вы потенциально можете получить неправильное количество результатов (превышающее точное количество).

ДОБАВЛЕНИЕ:

Мне было любопытно, можно ли это сделать без cts:highlight, учитывая, что cts:tokenize уже разбивает текст на все слова для вас. Тот же результат получается при использовании этой альтернативной реализации local:find-matches (при условии, что вы поменяете порядок объявлений функций, потому что одно зависит от другого):

(: Find word matches by comparing them one-by-one :)
declare function local:find-matches($content, $search-text) {
  local:get-words($content)[cts:stem(.) = cts:stem($search-text)]
};

Он использует cts:stem для нормализации данного слова к его основе, поэтому, например, поиск «пройден» будет соответствовать «пройденному» и т. Д. Однако это все равно не будет работать для поиска по нескольким словам (фразам). Чтобы быть в безопасности, я бы придерживался использования cts:highlight, который, как и cts:search и cts:contains, может обрабатывать любой запрос cts:, который вы ему задаете (включая простой поиск слов / фраз, как мы делаем выше).

Возможно, имеет смысл отступить и спросить, может ли вам лучше моделировать ваши данные и / или документы для использования с документно-ориентированной базой данных вместо rdbms.