Вопросы по теме 'half-precision-float'

Является ли режим точности TensorRT с плавающей запятой 16 недетерминированным на Jetson TX2?
Я использую TensorRT режим точности FP16 для оптимизации моей модели глубокого обучения. И я использую эту оптимизированную модель на Jetson TX2 . Во время тестирования модели я заметил, что механизм вывода TensorRT недетерминирован . Другими...
297 просмотров

Ошибка точности преобразования при преобразовании чисел с плавающей запятой половинной точности IEE в десятичные числа
У меня есть некоторая ошибка точности во время преобразования из 16-битного формата с плавающей запятой половинной точности в десятичный. Он может точно преобразовывать одни числа и в то же время неточно для других. Первоначально код был...
235 просмотров

Преобразование Float32 в Float16
Это скорее продолжение https://stackoverflow.com/a/5587983/13586005 . @sam hocevar или любой другой, кто это понимает: не могли бы вы объяснить, что здесь происходит: tmp = (tmp - 0x70) & ((unsigned int)((int)(0x70 - tmp) >> 4)...
365 просмотров

преобразование Golang float32 в float половинной точности (GLSL float16) как uint16
Мне нужно передать некоторые данные из Go в шейдер 300 es. Данные состоят из двух uint16, упакованных в uint32. Каждый uint16 представляет собой число с плавающей запятой половинной точности (float16). Я нашел некоторый код Java PD, который...
209 просмотров
schedule 18.06.2023