это кажется распространенной проблемой, за исключением того, что раньше у меня не было проблем с этим, и обычное исправление не работает. Наверное, это что-то глупое, но я не могу найти.
Я хочу проиндексировать сайт yammer, так как API yammer недостаточно быстр для моей цели, проблема в том, что когда я пытаюсь обновить свой индекс с помощью функции updateDocument, старые не удаляются. Но у меня есть сохраненный уникальный ключ, который не анализируется.
Вот соответствующий код:
Document newdoc = new Document();
newdoc.add(new Field(YammerMessageFields.URL, resultUrl, Field.Store.YES, Field.Index.NOT_ANALYZED));
newdoc.add(new Field(YammerMessageFields.THREAD_ID, threadID.toString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
newdoc.add(new Field(YammerMessageFields.AUTHOR, senderName, Field.Store.YES, Field.Index.ANALYZED));
newdoc.add(new Field(YammerMessageFields.CONTENTS, resultText, Field.Store.YES, Field.Index.ANALYZED));
Term key = new Term(YammerMessageFields.THREAD_ID, newdoc.getFieldable(YammerMessageFields.THREAD_ID).toString());
logger.debug("updating document with key: " + key);
try {
IndexWriter writer = getIndexWriter();
writer.updateDocument(key, newdoc);
writer.close();
} catch (IOException e) {
}
Что я вижу в своем журнале:
2012-05-11 12:02:29,816 DEBUG [http-8088-2] LuceneIndex - https://www.yammer.com/api/v1/messages/?newer_than=0
2012-05-11 12:02:38,594 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173285202>
2012-05-11 12:02:45,167 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173033239>
2012-05-11 12:02:51,686 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173014568>
2012-05-11 12:02:51,871 DEBUG [http-8088-2] LuceneIndex - new items:3
2012-05-11 12:03:27,393 DEBUG [http-8088-2] YammerResource - return all documents
2012-05-11 12:03:27,405 DEBUG [http-8088-2] YammerResource - nr docs:3
2012-05-11 12:03:27,405 DEBUG [http-8088-2] YammerResource - nr dels:0
...
next update
...
2012-05-11 12:03:35,802 DEBUG [http-8088-2] LuceneIndex - https://www.yammer.com/api/v1/messages/?newer_than=0
2012-05-11 12:03:43,933 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173322760>
2012-05-11 12:03:50,467 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173285202>
2012-05-11 12:03:56,982 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173056406>
2012-05-11 12:04:03,533 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173033239>
2012-05-11 12:04:10,097 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173030769>
2012-05-11 12:04:16,629 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173014568>
2012-05-11 12:04:23,169 DEBUG [http-8088-2] LuceneIndex - updating document with key: threadid:stored,indexed<threadid:173003570>
2012-05-11 12:04:23,341 DEBUG [http-8088-2] LuceneIndex - new items:7
2012-05-11 12:05:09,694 DEBUG [http-8088-1] YammerResource - return all documents
2012-05-11 12:05:09,696 DEBUG [http-8088-1] YammerResource - nr docs:10
2012-05-11 12:05:09,696 DEBUG [http-8088-1] YammerResource - nr dels:0
Таким образом, ключи повторяются (и 4 новых), но при этом в моем хранилище остается 10 документов вместо 7 (и 3 удаленных).
редактировать: вот как я нахожу предметы, но на самом деле я показываю их и осматриваю с Люком.
IndexReader r = IndexReader.open(searchIndex.getIndex());
List<Document> docList = new ArrayList<Document>();
List<Document> delList = new ArrayList<Document>();
int num = r.numDocs();
num += r.numDeletedDocs();
for ( int i = 0; i < num && i < max; i++)
{
if ( ! r.isDeleted( i))
docList.add(r.document(i));
else
delList.add(r.document(i));
}
r.close();
logger.debug("nr docs:" + docList.size());
logger.debug("nr dels:" + delList.size());
maxDoc
удаленные документы не учитываются. Я говорю о вызове Lucene API, конечно. Ничего выше этого. - person Marko Topolnik   schedule 11.05.2012