Устранение отслеживания кеша для локальной памяти потока

Большинство современных процессоров используют протокол согласованности каталогов для поддержания согласованности между всеми ядрами в одном узле NUMA и другой протокол согласованности каталогов для поддержания согласованности между всеми узлами NUMA и концентраторами ввода-вывода, которые находятся в одном домене согласованности, где каждый узел NUMA может быть активный сокет, часть активного сокета или контроллер узла. Краткое введение в согласованность в реальных процессорах можно найти по адресу: Когерентность кэша (протокол MESI) между разными уровнями кеширования, а именно L1, L2 и L3.

Протоколы согласованности каталогов значительно снижают потребность в отслеживании широковещательной передачи, поскольку они обеспечивают дополнительное состояние согласованности для каждой строки кэша, чтобы в основном отслеживать, у кого может быть копия строки. Ненужные слежки могут возникать в следующих случаях:

• Линия автоматически удаляется из ядра или узла NUMA без уведомления контроллера каталога.
• Состояние каталога может быть защищено кодом обнаружения ошибок. Если состояние считается поврежденным, требуется широковещательная передача.
• В зависимости от микроархитектуры каталог в памяти может не иметь возможности отслеживания строк кэша для каждого узла NUMA, а скорее на уровне детализации любого другого узла NUMA.

Стоимость ненужного отслеживания заключается не только в дополнительном потреблении энергии, но и в задержке, поскольку запрос нельзя считать завершенным неспекулятивно, если не завершены все транзакции согласования. Это может значительно увеличить время выполнения запроса, что, в свою очередь, ограничивает полосу пропускания, поскольку каждый невыполненный запрос потребляет определенные аппаратные ресурсы.

Вам не нужно беспокоиться о ненужных отслеживании строк, хранящих локальные переменные потока, если они действительно используются как локальные потоки, а поток, которому принадлежат эти переменные, редко мигрирует между физическими ядрами.

Существует базовый протокол, основанный на признании недействительности, MESI, который в некоторой степени является основополагающим. Есть и другие его расширения, но он служит для минимизации количества транзакций шины при чтении или записи. MESI кодирует состояния, в которых может находиться строка кэша: Modified, Exclusive, Shared, Invalid. Базовая схема MESI включает два представления. Штрих (-) означает, что возможно изменение внутреннего состояния, но не требуется никаких внешних операций. От процессора до его кеша:

           M   E  S   I
Read       -   -  -   2
Write      -   -  1   3

куда:

1. Выдать аннулирование шины, изменить состояние на M.
2. Выполните чтение шины, измените состояние на S.
3. Выполнить чтение шины + аннулирование шины, изменить состояние на M.

Кроме того, эти состояния прослушивают внешнюю шину, поэтому от шины до кеша:

           M   E  S  I
Read       4   -  -  -
Write      5   -  -  -

4. Сбросить из кеша, перейти на S.
5. Сбросить из кеша, сменить на I.

Таким образом, автобусные агенты сотрудничают, чтобы генерировать минимально необходимые транзакции.

Многие CPU, особенно встроенные контроллеры, имеют cpu-private-memory, что может быть отличным кандидатом на локальное хранилище потоков; однако для переноса потока из одного ядра в другое потребуется отследить все переменные локального хранилища его потока и скопировать их (каким-то образом) в частную память нового ядра.

В зависимости от рабочей нагрузки это может быть жизнеспособным, но для общей рабочей нагрузки минимизация трафика шины и ослабление привязки - это победа.