SOLR — настройка schema.xml для данных xml

Я пытаюсь проиндексировать данные wikitravels, используя solr, установленный в моей ОС Windows. Ниже приведены примерные входные данные:

<?xml version="1.0" encoding="UTF-8"?>

<add> 
  <page> 
    <title>3Days 2Night Chiang Mai to Chiang Rai</title>  
    <id>83509</id>  
    <revision> 
      <id>1305791</id>  
      <timestamp>2009-11-27T10:35:53Z</timestamp>  
      <contributor> 
        <username>Texugo</username>  
        <id>7666</id>  
        <realname/> 
      </contributor>  
      <comment>[[3Days 2Night Chiang Mai to Chiang Rai]] moved to [[Chiang Mai to Chiang Rai in 3 days]]</comment>  
      <text xml:space="preserve">#REDIRECT [[Chiang Mai to Chiang Rai in 3 days]]</text> 
    </revision> 
  </page> 
</add>

В моем schema.xml я добавил следующие изменения:

<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
<field name="title" type="text_general" indexed="true" stored="true" multiValued="true"/>
<field name="comments" type="text_general" indexed="true" stored="true"/>
<field name="text" type="text_general" indexed="true" stored="true" multiValued="true"/>

<uniqueKey>id</uniqueKey>

Upon Posting, it doesn't show any error; however in SOLR web it doesnt show the data. Nor, i can see any error in the logs.

$ java -jar post.jar wiki.xml
SimplePostTool version 1.5
Posting files to base url http://localhost:8983/solr/update using content-type application/xml..
POSTing file wiki.xml
1 files indexed.
COMMITting Solr index changes to http://localhost:8983/solr/update..
Time spent: 0:00:00.342

solr lucene solrcloud
person Saurabh    schedule 26.12.2014    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Как сказал @notdang, входной XML Solr имеет особую форму. Ты сможешь:

  1. Отправлять данные в формате XML, ожидаемом Solr< /а>
  2. Используйте DataImportHandler который может анализировать XML
  3. Предварительно обработайте XML с помощью XSLT. in, чтобы он выглядел так, как ожидает XML Solr.
  4. Используйте JSON и предварительно обработайте это

Я подозреваю, что вариант 2 (DataImportHandler) может быть самым простым, если вы используете сторонние файлы XML. Кроме того, DIH может импортировать очень большие XML-файлы по мере их чтения. Публикация больших файлов в Solr может привести к ограничению размера.

person Alexandre Rafalovitch    schedule 27.12.2014

arrow_upward
0
arrow_downward

согласно документации, xml должен иметь следующий формат:

<add>
  <doc>
    <field name="employeeId">05991</field>
    <field name="office">Bridgewater</field>
    <field name="skills">Perl</field>
    <field name="skills">Java</field>
  </doc>
  [<doc> ... </doc>[<doc> ... </doc>]]
</add>

Итак, ваш xml должен быть таким

<?xml version="1.0" encoding="UTF-8"?>

<add> 
  <doc> 
    <field name="title">3Days 2Night Chiang Mai to Chiang Rai</field>  
    <field name="id">83509</field>  
    <field name="revision_id"> 1305791</field>
    <field name="revision_timestamp">2009-11-27T10:35:53Z</field>
    ....
  </doc> 
</add>
person notdang    schedule 27.12.2014