Вопросы по теме 'tensorrt'

Простой пример API пользовательского слоя (TensorRT 2.1)?
Я использую TensorRT 2.1 и хочу реализовать простой пользовательский слой. (Цель состоит в том, чтобы запустить Single Shot Detector с помощью TensorRT в системе встраивания.) Для практики я хотел создать слой Inc (просто добавив 1.0 к...
1018 просмотров
schedule 17.10.2022

tenorrt не находит argparse
Я установил tensorrt 3.0.4, но когда я пытаюсь установить tenorflow с помощью tensorrt 3.0.4, я получил следующее: uff 0.2.0 requires argparse>=1.4.0, which is not installed. tensorrt 3.0.4 requires argparse>=1.4.0, which is not installed....
262 просмотров
schedule 21.03.2024

Ошибка анализа Mobilenet-SSD с использованием TensorRT Caffe Parser, ditcaffe.LayerParameter не имеет поля с именем Prior_box_param
Я разбираю модель кафе MobileNet-SSD из https://github.com/chuanqi305/MobileNet-SSD с помощью парсера TensorRT caffe. Я использую Jetpack 3.3 в Jetson TX2 в качестве платформы. Как исправить эту ошибку из библиотеки nvinfer? В API есть даже класс...
681 просмотров

Порядок весов TensorRT по сравнению с Tensorflow [H, W, IN_C, OUT_C]
Мне нужно вручную добавить сверточный слой, так как у меня есть специальная операция, которая не поддерживается парсером Tensorflow. Какого порядка весов TensorRT ожидает читать из файла .wts? Например, тензор веса conv2d Tensorflow обычно имеет...
351 просмотров
schedule 07.10.2022

ОШИБКА: engine.cpp (370) - Ошибка Cuda в ~ ExecutionContext: 77
Я делаю калибровку Int8 с помощью TensorRT. После завершения калибровки проверьте вывод. У меня есть ошибка в stream.synchronize() в следующей функции. На двигателях FP32 и FP16 проблем нет. Ошибка работает только на движке Int8. Что может...
643 просмотров
schedule 08.04.2023

Является ли режим точности TensorRT с плавающей запятой 16 недетерминированным на Jetson TX2?
Я использую TensorRT режим точности FP16 для оптимизации моей модели глубокого обучения. И я использую эту оптимизированную модель на Jetson TX2 . Во время тестирования модели я заметил, что механизм вывода TensorRT недетерминирован . Другими...
297 просмотров

Как TensorRT обрабатывает данные?
В Tensorflow формат Tensor - NxWxHxC и проходит по сети. Когда модель Tensorflow преобразуется в движок TensorRT, как обрабатываются данные Tensor. Такая же форма, как у Thensoflow, или уплощенная. Сглаженный означает, например, Тензор 1x3x4x3...
45 просмотров
schedule 11.11.2022

Как остановить запуск сервера TensorRT без использования ctrl-c (для профилирования с помощью nvprof)
Я запускаю nvprof для профилирования использования графического процессора модели сервер-клиент TensorRT. Вот что я делаю: Запустите nvprof на терминале 1 в док-контейнере с включенным TensorRT, nvprof --profile-all-processes -o results%p.nvvp...
92 просмотров
schedule 22.07.2023

ImportError: нет модуля с именем tenorrt в ubuntu 18.04
Я установил tenorrt, но получил: ImportError: нет модуля с именем tenorrt
689 просмотров
schedule 14.02.2024

configure.py: ошибка: нет такой опции: --no-use-shipped-boost
Я попытался установить pycuda, используя https://github.com/jkjung-avt/tensorrt_demos/blob/master/ssd/install_pycuda.sh , так как использую python3. Итак, при установке я столкнулся с ошибкой: Использование: configure.py [параметры]...
463 просмотров
schedule 13.07.2023

Как загрузить TensorRT SavedModel в оценщик TensorFlow?
Я использую TensorFlow 1.14, и для загрузки TensorFlow SavedModel в оценщик у меня работает следующий код: estimator = tf.contrib.estimator.SavedModelEstimator(saved_model_dir) prediction_results = estimator.predict(input_fn) Однако, когда я...
126 просмотров
schedule 22.04.2022