Можно ли импортировать построчный JSON в OrientDB с помощью их инструмента ETL?

У меня есть куча файлов (~ 10 ГБ каждый), где каждая строка представляет собой один объект JSON. Я хочу импортировать их в потоковом режиме, но, похоже, он сейчас не поддерживается (OrientDB v.2.2.12). Есть ли обходные пути? И какой рекомендуемый способ для этого случая?


orientdb orientdb2.2 orientdb-etl
person Eugene    schedule 10.11.2016    source источник
comment
Что вы имеете в виду под потоковым режимом? Ответ ниже помог вам? Если нет, не могли бы вы предоставить образец данных и файл конфигурации ETL? заранее спасибо   -  person Roberto Franchini    schedule 28.11.2016

Ответы (1)


arrow_upward
0
arrow_downward

Похоже, что JSON можно преобразовать в блок ODocument in CODE:

{
    "code": {
        "language": "Javascript",
        "code": "(new com.orientechnologies.orient.core.record.impl.ODocument()).fromJSON(input);"
    }
}

Если вы столкнулись с такими ошибками, как:

Ошибка при выполнении конвейера: com.orienttechnologies.orient.core.exception.OSerializationException: найден недопустимый символ } в позиции 112 текста

Затем просто убедитесь, что опция многострочного режима отключена.

"extractor": {
    "row": {
        "multiLine": false
    }
}
person Eugene    schedule 10.11.2016