Каковы все различные типы параллелизма?

Вопрос:
В чем разница между
параллелизмом на уровне потоков,
параллелизмом на уровне инструкций
и параллелизмом на уровне процессов?

Несмотря на то, что тема действительно очень широка, я бы попытался придерживаться этой точки зрения, даже рискуя заставить многих оппонентов представить свои возражения по поводу упрощения темы (но формат StackOverflow не заменяет другие источники полных ссылок, не так ли?) :

A:
главное различие заключается в том, ЧТО/КТО/КАК
отвечает за то, чтобы все выполнялось в true-[PARALLEL]

• Параллелизм на уровне инструкций — ILP — самый простой случай, архитектура ЦП спроектировала и «запрограммировала» эту конкретную форму аппаратного параллелизма. Имея процессоры с ILP4 (одновременное выполнение 4 инструкций) или процессоры с шириной, основанной на каждой инструкции, для этой формы параллельного выполнения инструкций, будь то ILP2 для одних инструкций и ILP1 для некоторых других, снова кремниевая архитектура решает, что может происходят действительно параллельно на уровне инструкций. Некоторые неловкие сюрпризы могут возникнуть из-за дополнительных деталей, поскольку каналы контроллера памяти могут блокировать режим ILP в случаях, когда операции REG/MEMORY должны будут ждать свободного канала для доступа к указанной ПАМЯТИ.

• аппаратные потоки — это следующий уровень детализации. Учитывая, что процессорное ядро ​​объявлено для поддержки двух аппаратных потоков, это единственные потоки выполнения кода, которые могут выполняться параллельно (если не поступает запрос O/S для создания экземпляра и планирования другого потока для выполнения, сопоставленного с одним потоком). доступных аппаратных потоков процессорного ядра). С точки зрения пользователя, существуют инструменты операционной системы, которые позволяют явно «привязать» привязку PID уровня процесса / PID уровня потока к конкретному процессорному ядру (ядрам) и, таким образом, ограничить или даже устранить любые «помехи», чтобы перейти от потока "just"-[CONCURRENT] выполнения кода ближе к true-[PARALLEL].

Мы намеренно пропустим все скопления потоков, которые являются всего лишь инструментом для маскировки задержки (будь то на SIMT/SMX warp-wide GPU-планировщике, или более спокойной многопоточности, управляемой ядром MIMT O/S).

• Для полноты картины следует упомянуть параллелизм распределенных систем, управляемый программным обеспечением, но он имеет принципиально самые высокие неблагоприятные затраты из-за необходимости изобретать, определять, внедрять и управлять настройкой/координацией в программном обеспечении (все это приводит к заметному росту накладных расходов) в смысле переформулированного закона Амдала. strong> из-за необходимости каким-то образом спроектировать и поддерживать в рабочем состоянии неродную оркестровку как выполнения распределенного процесса, так и всего потока данных, от которого он зависит.

• аппаратные системы true-[PARALLEL] находятся на самом высоком уровне оркестровки, где оба кремний (например, сеть ячеистых транспьютеров InMOS), а также язык программирования (например, occam или occam-pi InMOS) обеспечивают тщательно спроектированный, концептуально созданный true-[PARALLEL] выполнение кода.

 <sub>– MIMT: Несколько потоков инструкций, неограниченная структура/политика выполнения потоков, где любой поток может и действительно выдает процессору другую инструкцию для выполнения, в отличие от SIMT< br> - SIMT: одна инструкция, несколько потоков, обычно многопроцессорная архитектура выполнения кода с потоковой передачей на графическом процессоре
- SMX: модуль выполнения потокового многопроцессорного выполнения, обычно структурный блок SIMT на графическом процессоре. , на которые могут быть направлены (адресованы) кодовые единицы ядра графического процессора для планирования с помощью TaskQueeue и последующего выполнения в соответствии с координируемым планировщиком SIMT-кода в рамках WARP</sub>

в чем разница между параллелизмом на уровне потоков, параллелизмом на уровне инструкций и параллелизмом на уровне процессов?

В 1 разные ядра ЦП выполняют разные потоки инструкций.

В 2 одно ядро ​​​​ЦП выполняет разные инструкции из одного потока инструкций параллельно (эти инструкции либо являются последовательными инструкциями в потоке, либо иным образом очень близки друг к другу).

3 такой же, как 1, разница косметическая. Это просто настройки по умолчанию, определяющие, какие страницы памяти совместно используются потоками, а какие нет. Но эти настройки настраиваются пользователем с помощью флагов создания процесса, разделов разделяемой памяти, динамических библиотек и других системных API, поэтому на нижнем уровне разница между процессом и потоком не имеет большого значения.

и любой другой параллелизм x-уровня

Другим важным является параллелизм на уровне SIMD. Для этого ЦП применяет одну и ту же инструкцию к нескольким операндам, хранящимся в специальных широких регистрах. С SSE у нас есть регистры шириной 128 бит, и мы можем, например. умножьте вектор из 4 чисел с плавающей запятой одинарной точности в одном регистре на 4 других значения в другом регистре, получив 4 произведения параллельно, с помощью одной инструкции mulps. ARM NEON аналогичен, также 128-битные регистры, инструкция умножения 4 чисел с плавающей запятой на 4 числа с плавающей запятой — vmul.f32. AVX работает с 256-битными регистрами, поэтому он может одновременно умножать 8 чисел с плавающей запятой с помощью одной инструкции vmulps.

может ли параллелизм происходить в пределах одного ядра?

да.

Это и есть Hyper-Threading?

Да, это и есть параллелизм на уровне инструкций, а также SIMD-параллелизм.

требуется ли для этого одно ядро, имеющее, например, два ALU, которые можно использовать параллельно?

Современные ЦП имеют более двух на ядро, но HT был представлен в P4, и это не является обязательным требованием. Преимущество HT заключается не только в загрузке нескольких ALU, но и в использовании ядра, пока поток ожидает поступления данных из кэшей или из системной оперативной памяти. А также использование ядра, пока оно зависает из-за зависимости данных между соседними инструкциями. HT позволяет ядру ЦП выполнять какие-то другие вычисления в другом аппаратном потоке во время ожидания, тем самым улучшая использование ALU. Без HT ядро, скорее всего, просто сидело бы и ждало сотни циклов в случае задержки оперативной памяти или десятки циклов в случае задержки зависимости данных.

есть ли разница между аппаратным и программным параллелизмом

Когда у вас есть один аппаратный поток и несколько потоков ОС, которые выполняют вычисления, в любой момент времени будет работать только один поток. Остальные темы будут ждать. ОС будет периодически (часто ~ 50-100 Гц) переключаться на то, какой из них запущен, с целью предоставить всем потокам справедливую долю процессорного времени. Вы можете назвать это программным параллелизмом, если хотите, но я бы вообще не назвал это параллельным.