Улучшить производительность mysql LOAD DATA/mysqlimport?

Механизм MySQL/MariaDB мало распараллеливается при массовых вставках. Он может использовать только одно ядро ​​ЦП на оператор LOAD DATA. Вы, вероятно, можете контролировать загрузку ЦП во время загрузки, чтобы увидеть, что одно ядро ​​​​используется полностью, и оно может предоставить только определенный объем выходных данных, таким образом оставляя пропускную способность диска недоиспользованной.

В самой последней версии MySQL появилась новая функция параллельной загрузки: https://dev.mysql.com/doc/mysql-shell/8.0/en/mysql-shell-utilities-parallel-table.html . Это выглядит многообещающе, но, вероятно, еще не получило много отзывов. Я не уверен, что это поможет в вашем случае.

Я видел различные контрольные списки в Интернете, которые рекомендовали иметь более высокие значения в следующих параметрах конфигурации: log_buffer_size, log_file_size, write_io_threads, bulk_insert_buffer_size. Но преимущества были не очень заметны, когда я проводил сравнительные тесты (может быть, на 10-20% быстрее, чем просто innodb_buffer_pool_size, будучи достаточно большим).

Это может быть нормально. Давайте пройдемся по тому, что делается:

• CSV-файл считывается с RAM-диска, поэтому IOP не используются.
• Вы используете InnoDB? Если это так, данные попадают в пул буферов. Когда блоки строятся там, они помечаются как «грязные» для возможного сброса на диск.
• Так как buffer_pool большой, но, вероятно, не такой большой, как таблица, некоторые блоки должны быть сброшены, прежде чем он закончит чтение всех данных.
• После чтения всех данных и завершения работы с таблицей грязные блоки будут постепенно сбрасываться на диск.
• Если бы у вас были неуникальные индексы, они аналогичным образом записывались бы на диск с задержкой (см. «Изменить буферизацию»). Change_buffer по умолчанию занимает 25% пула буферов.

Насколько велика результирующая таблица? Он может быть значительно больше или даже меньше, чем 15 ГБ CSV-файла.

Сколько времени ушло на перенос csv-файла на рам-диск? Я предполагаю, что это было потрачено впустую, и его нужно было прочитать с диска при выполнении LOAD DATA; что ввод-вывод может перекрываться.

Пожалуйста SHOW GLOBAL VARIABLES LIKE 'innodb%';; есть несколько других, которые могут иметь значение.

Еще

Это ужасно:

tmp_table_size=20G
max_heap_table_size=20G

Если у вас сложный запрос, в оперативной памяти может быть выделено 20 ГБ, возможно, несколько раз!. Держите их на уровне менее 1% ОЗУ.

Если копирование csv с жесткого диска на оперативный диск выполняется медленно, я подозреваю, что допустима скорость 150 МБ/с.

Если вы загружаете таблицу раз в 6 часов, а на ее выполнение уходит 1/3 часа, то не вижу острой необходимости делать ее быстрее. OTOH, может быть, есть что-то, на что стоит обратить внимание. Если эти 20 минут простоя из-за блокировки стола, это можно легко устранить:

CREATE TABLE t LIKE real_table;
LOAD DATA INFILE INTO t ...;    -- not blocking anyone
RENAME TABLE real_table TO old, t TO real_table;  -- atomic; fast
DROP TABLE old;