Разделите версии библиотеки на стороне хоста и на стороне устройства CUDA.

Вот как вы можете создать две библиотеки, одна из которых содержит только функции CUDA-устройства, а другая — только функции хоста. Вы можете опустить «сложный» #if и #ifndef охранник. Но тогда в вашей библиотеке my_lib-cuda.a будет и "не-CUDA-код".

По другим вопросам смотрите вики-ответ сообщества @talonmies или ссылайтесь на ссылку, которую я уже разместил в комментариях: https://devblogs.nvidia.com/separate-compilation-linking-cuda-device-code/ — раздел «Расширенное использование: использование другого компоновщика».

my_lib.cu

#include "my_lib.hpp"

#ifdef __CUDA_ARCH__
__device__
#endif
#if (defined __CUDA_ARCH__) || (not defined __CUDACC__)
void foo(int*x, int* y)  { *x = *y; }
#endif

#ifndef __CUDACC__
int bar() { return 5; }
#endif

Процесс сборки библиотек остается прежним: (только изменены ar qc на ar rc для замены существующих файлов, чтобы вы не получили ошибку при перестроении без предварительного удаления библиотеки)

c++ -c -x c++ -o my_lib-noncuda.o my_lib.cu
ar rc my_lib-noncuda.a my_lib-noncuda.o
ranlib my_lib-noncuda.a
nvcc -dc -o my_lib-cuda.o my_lib.cu
ar rc my_lib-cuda.a my_lib-cuda.o 
ranlib my_lib-cuda.a 

Создание программы CUDA: (упрощено за счет использования только nvcc, а не c++, в качестве альтернативы посмотрите вики-ответ сообщества @talonmies)

nvcc -dc main.cu -o main.o
nvcc main.o my_lib-cuda.a my_lib-noncuda.a -o main

Ссылку на my_lib-noncuda.a можно опустить, если вы также опустите #if и #ifndef в my_lib.cu, как описано выше.

Создание программы на C++: (учитывая, что вокруг кода CUDA в main.cu имеется #ifdef __CUDACC__ охранников)

c++ -x c++ -c main.cu -o main.o
c++ main.o my_lib-noncuda.a -o main

Давайте изменим ваш пример так, как я думаю, будет ваш фактический вариант использования. Модификация помещает main() в файл .cpp для компиляции g++, а код CUDA в отдельный файл .cu для компиляции nvcc. Это важно для того, чтобы ваша установка с двумя библиотеками работала; и оправдано, потому что «main содержит ядра CUDA, требующие отдельной компиляции и компоновки» — это особый крайний случай для модели компиляции nvcc.

Реструктурированный код:

main.cu:

include "my_lib.hpp"

__global__ void my_kernel() {
  int z { 78 };
  int w { 90 };
  foo(&z,&w);
}

int cudamain()
{
  my_kernel<<<1,1>>>();
  return 0;
}

main.cpp:

#include <cuda_runtime_api.h>
#include "my_lib.hpp"

extern int cudamain();

int main() {
  int z { 123 };
  int w { 456 };
  foo(&z,&w);
  cudamain();
  cudaDeviceSynchronize();
  cudaDeviceReset();
}

все остальные файлы остаются как в вопросе.

Команды, необходимые для сборки программы, теперь следующие:

c++ -c -x c++ -o my_lib-noncuda.o my_lib.cu
ar qc my_lib-noncuda.a my_lib-noncuda.o
ranlib my_lib-noncuda.a

nvcc -std=c++11 -dc -o my_lib-cuda.rdc.o my_lib.cu
ar qc my_lib-cuda.a my_lib-cuda.rdc.o
ranlib my_lib-cuda.a

# Until this line - identical to what you have tried in your question

nvcc -std=c++11 -c -rdc=true main.cu -o main.cu.o 
nvcc -dlink -o main.o main.cu.o my_lib-cuda.a

c++ -std=c++11 -o main main.cpp main.o main.cu.o -I/path/to/cuda/include \
    -L/path/to/cuda/lib64 my_lib-cuda.a my_lib-noncuda.a -lcudart -lcudadevrt

Важно помнить, что есть компоненты на стороне хоста, которые необходимо перенести в сборку. Таким образом, вы должны передать nvcc вывод хост-кода CUDA в основную компоновку, и вы также должны добавить свою стороннюю библиотеку CUDA в основную компоновку. В противном случае поддержка API среды выполнения на стороне хоста для вашего кода будет отсутствовать. Обратите внимание, что для этого необходимо связать библиотеку времени выполнения устройства.