org.apache.solr.common.SolrException: TransactionLog не знает, как сериализовать класс org.bson.types.ObjectId; попробовать реализовать ObjectResolver?

Я столкнулся с этой проблемой при попытке импортировать данные из нескольких коллекций в mongoDB.

Предполагая, что вы не используете mongo-connector, я использовал следующее для импорта данных.

• Солр-6.6.0
• solr-dataimporthandler-6.6.0
• mongo-java-driver-3.5.0
• импортер Solr Mongo

Поскольку возвращаемый '_id' имеет тип ObjectId, мое обходное решение состояло в том, чтобы преобразовать '_id' в String перед его индексированием в solr, а при запросе относительно '_id' преобразовать его в тип ObjectId перед выполнением запроса.

Загрузите средство импорта solr mongo и внесите следующие изменения.

MongoMapperTransformer.java

public class MongoMapperTransformer extends Transformer {

@Override
public Object transformRow(Map<String, Object> row, Context context) {

    for (Map<String, String> map : context.getAllEntityFields()) {
        String mongoFieldName = map.get(MONGO_FIELD);
        String mongoId = map.get(MONGO_ID);
        if (mongoFieldName == null)
            continue;

        String columnFieldName = map.get(DataImporter.COLUMN);

        //If the field is ObjectId convert it into String
        if (mongoId != null && Boolean.parseBoolean(mongoId)) {
            Object srcId = row.get(columnFieldName);
            row.put(columnFieldName, srcId.toString());
        }
        else{
            row.put(columnFieldName, row.get(mongoFieldName));
        }
    }

    return row;
}


public static final String MONGO_FIELD = "mongoField";

//To identify the _id field
public static final String MONGO_ID = "objectIdToString";

}

Далее замените функцию

public Iterator <Map<String, Object>> getData(String query){...} 

в MongoDataSource.java со следующим:

@Override
public Iterator<Map<String, Object>> getData(String query) {

    DBObject queryObject = new BasicDBObject();

    /* If querying by _id, since the id is a string now, 
     * it has to be converted back to type ObjectId() using the 
     * constructor 
     */ 
    if(query.contains("_id")){
        @SuppressWarnings("unchecked")
        Map<String, String> queryWithId = (Map<String, String>) JSON.parse(query);
        String id = queryWithId.get("_id");
        queryObject = new BasicDBObject("_id", new ObjectId(id));
    }
    else{
        queryObject = (DBObject) JSON.parse(query);
    }

    LOG.debug("Executing MongoQuery: " + query.toString());

    long start = System.currentTimeMillis();
    mongoCursor = this.mongoCollection.find(queryObject);
    LOG.trace("Time taken for mongo :"
            + (System.currentTimeMillis() - start));

    ResultSetIterator resultSet = new ResultSetIterator(mongoCursor);
    return resultSet.getIterator();
}

После этих изменений вы можете собрать банку с помощью ant.

Скопируйте jar-файлы (импортер mongo solr и драйвер mongo-java) в каталог lib. Я скопировал их в ${solr-install-dir}/contrib/dataimport-handler/lib

Добавьте директивы lib в solr-config.xml для указанных выше банок:

<lib dir="${solr.install.dir:../../../..}/contrib/dataimporthandler/lib" regex=".*\.jar" />

Наконец, вот пример коллекций mongo и data-config.xml.

User collection
{
    "_id" : ObjectId("56e9c892e4b0355017b2fa0f"),
    "name" : "User1",
    "phone" : "123456789"
}

Address collection
{
    "_id" : ObjectId("56e9c892e4b0355017b2fa0f"),
    "address" : "#666, Maiden street"
}

данные-config.xml

Не забудьте указать objectIdToString="true" для поля _id, чтобы MongoMapperTransformer мог преобразовать идентификатор в строку.

<dataConfig>
   <dataSource name="MyMongo"
           type="MongoDataSource"
           database="test"
            />
   <document name="UserDetails">
   <!-- if query="" then it imports everything -->
      <entity name="users"
          processor="MongoEntityProcessor"
          query=""
          collection="user"
          datasource="MyMongo"
          transformer="MongoMapperTransformer">
              <field column="_id"  name="id" mongoField="_id" objectIdToString="true" />
              <field column="phone" name="phone" mongoField="phone"/>

          <entity name="address"
                processor="MongoEntityProcessor"
                query="{_id:'${users._id}'}"
                collection="address"
                datasource="MyMongo"
                transformer="MongoMapperTransformer">
                <field column="address" name="adress" mongoField="address"/>
          </entity>
   </entity>
   </document>
</dataConfig>

Управляемая схема будет иметь поле идентификатора в виде строки. Кроме того, если у вас есть вложенные объекты в mongodb, вам придется использовать преобразователи сценариев для их индексации в solr.

Надеюсь это поможет. Удачи !

Согласно сообщению об ошибке,

Вам необходимо реализовать JavaBinCodec.ObjectResolver для типа org.bson.types.ObjectId, чтобы Solr знал, как сериализовать экземпляры этого класса.

Документация по JavaBinCodec.ObjectResolver

общедоступный статический интерфейс JavaBinCodec.ObjectResolver Позволяет расширению JavaBinCodec поддерживать сериализацию произвольных типов данных. Разработчики этого интерфейса пишут метод для сериализации данного объекта с использованием существующего кода JavaBinCodec.

После написания реализации JavaBinCodec.ObjectResolver ее необходимо зарегистрировать с помощью JavaBinCodec.

Документация по JavaBinCodec

открытый класс JavaBinCodec extends Object Определяет компактный формат сериализации/десериализации для передачи данных. JavaBinCodec имеет встроенную поддержку многих часто используемых типов. Сюда входят примитивные типы (boolean, byte, short, double, int, long, float), распространенные контейнеры/утилиты Java (Date, Map, Collection, Iterator, String, Object[], byte[]) и часто используемые типы Solr. (ИменованныйСписок, SolrDocument, SolrDocumentList). Каждый из вышеперечисленных типов имеет пару связанных методов, которые читают и записывают этот тип в поток.

Классы, которые изначально не поддерживаются, можно сериализовать/десериализовать, предоставив объект JavaBinCodec.ObjectResolver, который знает, как работать с неподдерживаемым классом. Это позволяет использовать JavaBinCodec для упорядочения/деупорядочения произвольного содержимого.

ПРИМЕЧАНИЕ. Экземпляры JavaBinCodec нельзя повторно использовать более чем для одной операции маршалла или демаршалла.