Исследователи из японского гиганта электроники Sony обучили модель нейронной сети ResNet-50 в ImageNet за рекордные 224 секунды - на 43,4 процента лучше, чем в предыдущий самый быстрый тест для задачи.
Масштабное обучение глубокому обучению может привести к нестабильности в большом мини-пакетном обучении, в то время как синхронизация градиента также обременительна, поскольку для связи между графическими процессорами требуется большая пропускная способность. ResNet-50 - это архитектура с глубоким остаточным обучением для распознавания изображений, которая обучается в ImageNet и широко используется для измерения возможностей крупномасштабных кластерных вычислений. ImageNet - это база данных с открытым исходным кодом для исследования распознавания объектов. ImageNet Large Scale Visual Recognition Challenge содержит 1 281 167 изображений для обучения, 50 000 для проверки и 100 000 для тестирования.
Исследователи Sony применили контроль размера пакета и 2D-Tours all-reduce, чтобы преодолеть проблемы при крупномасштабном обучении, постепенно увеличивая общий размер мини-пакета и делая ландшафт потерь плоским, чтобы избежать локальных минимумов. Исследователи также предложили коммуникационную топологию 2D-Tours Ring all-reduce, которая может выполнять коллективные операции в разной ориентации. В новой топологии сначала выполняется сокращение-разброс по горизонтали, а затем выполняется все-уменьшение по вертикали. На последнем этапе сборка выполняется горизонтально. С помощью 2D-Torus all reduce накладные расходы на связь меньше, чем у Ring all-reduce.
Исследователи использовали 2176 графических процессоров Tesla V100 для обучения ResNet-50 и достигли точности проверки 75,03%; а также попытался повысить эффективность масштабирования графического процессора без значительного снижения точности, достигнув эффективности масштабирования графического процессора 91,62% с использованием 918 графических процессоров Tesla V100.
Нововведения Sony в кластерной топологии резко сократили время обучения, и потенциал для дальнейшего улучшения высокопроизводительных вычислений велик. Сочетание значительного роста производительности графического процессора, снижения затрат на обмен данными с графическим процессором и будущих решений кластерной топологии, вероятно, продолжит сокращать время обучения ResNet-50 в ImageNet.
Статья Обучение ImageNet / ResNet-50 за 224 секунды находится на arXiv.
Автор: Алекс Чен | Редактор: Майкл Саразен
Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
