Как понять часть и раздел ClickHouse?

Части - части таблицы, в которой хранятся строки. Одна часть = одна папка с колонками.

Разделы - это виртуальные сущности. У них нет физического представления. Но можно сказать, что эти части принадлежат одному разделу.

Select не заботится о разделах.

Select не знает о ключах разделения.

ПОТОМУ ЧТО каждая часть имеет специальные файлы minmax_ {PARTITIONING_KEY_COLUMN} .idx Эти файлы содержат минимальные и максимальные значения этих столбцов в этой части. Также значения minmax_ хранятся в памяти в виде списка частей (вектор С ++).

create table X (A Int64, B Date, K Int64,C String) 
Engine=MergeTree partition by (A, toYYYYMM(B)) order by K;

insert into X values (1, today(), 1, '1');

cd /var/lib/clickhouse/data/default/X/1-202002_1_1_0/
ls -1 *.idx
minmax_A.idx   <-----
minmax_B.idx   <-----
primary.idx

SET send_logs_level = 'debug';
select * from X where A = 555;

(SelectExecutor): MinMax index condition: (column 0 in [555, 555])
(SelectExecutor): Selected 0 parts by date

SelectExecutor проверил список частей в памяти и обнаружил 0 частей, потому что minmax_A.idx = (1,1) и этот выбор необходим (555, 555).

CH не хранит значения ключей разделения.

Так, например, toYYYYMM (today ()) = 202002, но этот 202002 не сохраняется ни в части, ни где-либо.

minmax_B.idx магазинов (18302, 18302) (2020-02-10 == select toInt16(today()))

В моем случае я использовал groupArray () и arrayEnumerate () для ранжирования в Populate. Я думал, что Populate может выполнять запрос с новыми данными в разделе (в моем случае: toStartOfDay (Date)), общая сумма новых вставленных данных верна, но функция groupArray () работает некорректно.

Я думаю, это произошло потому, что при вставке одной части CH сразу же groupArray () ранжирует каждую часть, а затем объединяет части в один раздел, поэтому я не получу точно окончательный результат функций groupArray () и arrayEnumerate (). Сводка, слияние

[groupArray (part_1) + groupArray (part_2)] отличается от groupArray (Partition)

с участием

Раздел = часть_1 + часть_2

Решением, которое я пробовал, является вставка новых данных как один размер блока, как при использовании groupArray (), чтобы уменьшить количество новых данных до количества строк, меньшего, чем max_insert_block_size = 1048576. Он сделал правильно, но трудно вставить новые данные за 1 день как одну часть, потому что он будет использовать слишком много памяти для запросов при заполнении данных за 1 день (почти 150–200 млн строк).

Но есть ли у вас другое решение для заполнения с помощью groupArray () для новых вставляемых данных, например, заставить CH использовать POPULATE для каждого раздела, а не для каждой части после объединения всей части в один раздел?