Как избежать нескольких экземпляров разных пользователей, но разрешить несколько экземпляров в одном пользовательском сеансе

Это требование может быть выполнено с помощью именованного объекта Mutex. в глобальном пространстве имен объектов ядра. Объект мьютекса создается с помощью CreateMutex. Вот небольшая программа, иллюстрирующая ее использование:

int _tmain(int argc, _TCHAR* argv[]) {
    if ( ::CreateMutexW( NULL,
                         FALSE,
                         L"Global\\5BDC0675-2318-404A-96CA-DBDE9BC2F71D" ) != NULL ) {
        auto const err{ GetLastError() };
        std::wcout << L"Mutex acquired. GLE = " << err << std::endl;
        // Continue execution
    } else {
        auto const err{ GetLastError() };
        std::wcout << L"Mutex not acquired. GLE = " << err << std::endl;
        // Exit application
    }
    _getch();
    return 0;
}

Первый экземпляр приложения создаст объект мьютекса и GetLastError возвращает ERROR_SUCCESS (0). Последующие экземпляры будут получать ссылку на существующий объект мьютекса, а GetLastError возвращает ERROR_ALREADY_EXISTS (183). Экземпляры, запущенные из другого клиентского сеанса, не получат ссылку на объект мьютекса, и GetLastError возвращает ERROR_ACCESS_DENIED (5).

Несколько замечаний по реализации:

• Объект мьютекса создается в глобальном пространстве имен объектов ядра путем добавления префикса "Global\".
• Объект мьютекса должен иметь уникальное имя, чтобы на него можно было ссылаться из любого места. Самый простой способ создать уникальное имя — использовать строковое представление GUID (идентификаторы GUID можно создать с помощью инструментальной части Visual Studio guidgen.exe). Не используйте GUID из примера кода, потому что это сделает кто-то другой.
• Нет вызова CloseHandle для освобождения мьютекса объект. Это сделано намеренно. (См. CreateMutex: Система закрывается. дескриптор автоматически, когда процесс завершается. Объект мьютекса уничтожается, когда его последний дескриптор был закрыт.)
• Объект мьютекса создается с использованием дескриптора безопасности по умолчанию. Списки управления доступом в дескрипторе безопасности по умолчанию исходят из основного маркера или маркера олицетворения создателя. Если процессы в разных клиентских сеансах выполняются с одним и тем же первичным маркером/токеном олицетворения, мьютекс по-прежнему можно получить из обоих сеансов. В этой ситуации предлагаемое решение потенциально не соответствует требованиям. Непонятно, что должно произойти, если пользователь запускает приложение, выдающее себя за пользователя другой клиентской сессии.
• Объект мьютекса используется исключительно как дозорный и не участвует в синхронизации.

Я использовал предыдущий код под win10/VS 2017/64 бит.

Неправильно тестировать if (::CreateMutex..

мы должны проверить ошибку, поэтому используйте:

BOOL checkUniqueInstance()
{
    if (::CreateMutexW(NULL,
        FALSE,
        L"Global\\27828F4B-5FC9-40C3-9E81-6C485020538F") != NULL) {
        auto err = GetLastError();
        if (err == 0) {
            return TRUE;
        }
    }
    CString msg;
    msg.Format(_T("err: %d -  Mutex NOT acquired"), GetLastError());
    OutputDebugString(msg);
    // Exit application
    return FALSE;
}