API обнаружения объектов TF смешанной точности

Я использую API обнаружения объектов TensorFlow для обучения модели обнаружения на графическом процессоре V100. Поскольку у него есть тензорные ядра, есть ли какой-либо флаг конфигурации / kwarg для включения обучения смешанной точности? Не уверен, что это текущая функция или нет. Что-то похожее на model_main.py --mixed было бы здорово, если бы оно существовало.


object-detection-api tensorflow precision mixed
person Austin    schedule 07.04.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вчера (16 мая) Nvidia продемонстрировала автоматическую смешанную точность, которая значительно упрощает реализацию этой функции, значительно снижая усилия: добавьте одну строку кода и вуаля!!!.

Кажется, трансляция была записана и будет доступна по запросу, а пока вот ссылки:

https://developer.nvidia.com/automatic-mixed-precision

https://devblogs.nvidia.com/nvidia-automatic-mixed-precision-tensorflow/

Также рассказывает о стратегиях, инструментах и ​​вещах, которых следует избегать при внедрении MP/AMP.

Существует отличный документ, в котором рассказывается о реализации (среди прочего) смешанной точности. Я подготовил это 4-минутное видео, в котором подводятся итоги исследования «Перезарядка ИИ с помощью высокопроизводительных распределенных вычислений».

http://youtu.be/JvssZESVcjI)

Кстати, согласно Nvidia, MP может быть эффективно реализован на графических процессорах Volta и Turing (например, Google Collab использует Voltas V100!) и AMP (автоматическая смешанная точность интегрирована в TF1.14).

person Iggy Ruiz    schedule 17.05.2019