Обработка повторяющихся записей в Elasticsearch

Думаю, все дело в документе "_id".

Если бы у вас был уникальный «_id» для каждого документа, не было бы проблем, так как вы просто «обновите» документ до того же значения. Вы даже можете настроить сопоставление, чтобы не разрешать обновление, если необходимо.

Ваша проблема в том, что вы не связываете "_id" документа с содержимым документа (что в некоторых случаях нормально).

Я предполагаю, что простым решением было бы создать собственное поле «my_id» и установить для него путь «_id», например здесь.

Тогда проблема заключается в том, как создать это поле «my_id». Я бы использовал хеш для документа.

Примером фрагмента кода Python для этого может быть (я уверен, что вы могли бы найти подходящий плагин Ruby):

import hashlib
hash_object = hashlib.sha1(b"Product2,Language2,Date1,$12")
hex_dig = hash_object.hexdigest()
print(hex_dig)

Я считаю, что первая часть решения будет заключаться в том, чтобы определить набор значений, которые при совместном использовании будут уникальными для документа. В противном случае невозможно отделить дубликаты документов от подлинных. Для обсуждения предположим, что четыре значения (Product1, Language1, Date1, $ 1) определяют документ. Если существует другой документ с такими же заданными значениями, то это копия предыдущего документа, а не новый документ.

Предположим, у вас есть (Product1, Language1, Date1, $ 1), вы можете сначала выполнить запрос, который выполняет поиск, существует ли этот документ уже в ElasticSearch или нет. Что-то типа:

{
"filter": {
    "bool": {
        "must": [
            {
                "term": {
                    "pdtField": "Product1"
                }
            },
            {
                "term": {
                    "langField": "Language1"
                }
            },
            {
                "term": {
                    "dateField": "Date1"
                }
            },
            {
                "term": {
                    "costField": "$1"
                }
            }
        ]
    }
}
}

Позаботьтесь об именах используемых здесь полей в соответствии с тем, что вы на самом деле используете. Если этот результат фильтра имеет doc_count != 0, вам не нужно создавать для этого новый документ. В противном случае создайте новый документ с имеющимися значениями.

В качестве альтернативы вы можете создать идентификатор документа, используя хэш, созданный из (Product1, Language1, Date1, $ 1), а затем использовать этот хеш в качестве _id документа. Сначала проверьте, существует ли какой-либо документ с этим _id. Если он не существует, создайте новый документ со значениями в руке против значения _id, сгенерированного хешем.

В случае, если у вас нет контроля над тем, как создается отдельный документ, тогда, возможно, вы можете попробовать предварительно обработать свой ввод CSV, используя стратегию, рекомендованную выше, оставить только необходимые записи в CSV и избавиться от остальных, а затем продолжить как обычно с полученным CSV.