Связать ядра вместе

Да, ты можешь.

Ключевым моментом является использование раздельной компиляции со связыванием кода устройства, что доступно с nvcc. Поскольку это уже требуется для использования динамического параллелизм, здесь действительно нет ничего нового.

Вот простой пример:

ch_kernel.cu:

#include <stdio.h>

__global__ void ch_kernel(){

  printf("hello from child kernel\n");
}

main.cu:

#include <stdio.h>

extern __global__ void ch_kernel();

__global__ void kernel(){

  ch_kernel<<<1,1>>>();
}

int main(){

  kernel<<<1,1>>>();
  cudaDeviceSynchronize();
}

скомпилировать с:

nvcc -arch=sm_35 -rdc=true -o test ch_kernel.cu main.cu -lcudadevrt