Всегда полезно посещать конференции, чтобы узнать, что нового и познакомиться с интересными людьми, которые работают в удивительном районе залива. Вот краткое изложение событий, которые я посетил на конференции @scale в этом году:
Женский лидерский завтрак
На этом мероприятии самой важной мыслью, которая застряла во мне, была мысль «долгосрочная». Даже если вы по какой-то причине делаете перерыв в карьере, вы всегда можете начать что-то новое, когда вернетесь. Это может позволить вам принести больше пользы компании и вашей команде, поскольку вы смотрите на вещи с новой точки зрения. Перерыв может позволить вам мыслить нестандартно, а не застревать в рутине, создавая код как можно быстрее и эффективнее. Был упомянут kepler.gl, который использует графический процессор для анализа огромных наборов данных, содержащих геопространственные данные, в браузере. Это определенно сделает визуализацию проще и доступнее.
Ключевые доклады
В ключевом докладе «Золотой век компьютерной архитектуры» упоминалось об окончании действия закона Мура, но это не конец игры. Это привело к новому началу с архитектурой, специфичной для предметной области (DSA), которая представляет собой специально созданные процессоры, которые пытаются ускорить несколько задач, специфичных для приложения. GPU и TPU, которые ускоряют нейронные сети, станут новым стандартом, на который мы ориентируемся. Плавающая запятая была большой проблемой в 1980-х годах, когда был представлен x86. Выполнение действительно быстрого умножения матриц на основе целых чисел является основой новых архитектур.
FB также обсудил GLOW (компилятор понижения графа), который возьмет граф нейронной сети из Pytorch, а затем оптимизирует его для работы на ускорителе машинного обучения. Кроме того, ONNX — это формат с открытым исходным кодом, который позволяет преобразовывать графики из одного фреймворка, такого как Pytorch, в CNTK, что интересно. Pytorch 1.0 был представлен как комбинация лучших функций двух — Caffe 2 оптимизирован для использования в производстве (масштабируем и быстр), а Pytorch используется в исследованиях.
Nvidia обсудила проект Maglev для автономного вождения, в котором K8s используется для программных рабочих процессов на кластерах графических процессоров. Еще одна интересная вещь, упомянутая, — это сервер вывода TensorRT. Разработчики могут сосредоточиться на создании моделей, а не на оптимизации производительности развернутых моделей. RTCores были представлены на SIGGRAPH в этом году как часть Turing, что делает возможной трассировку лучей в реальном времени. Компания представила новые блестящие графические процессоры Quadro RTX 8000/6000/5000 и сервер Quadro RTX для центров обработки данных. Также на Gamescom в этом году анонсировали Geforce RTX 2080Ti/2080/2070.
Была интересная демонстрация FB для Mask R-CNN, которая отслеживает движения человека в режиме реального времени. Была демонстрация Microsoft — Brainwave, которая представляет собой платформу обслуживания DNN на базе FPGA, которая работает сегодня с поддержкой TF и Pytorch, которая скоро появится. Были интересные демонстрации для Nvidia HGX-2 и обнаружения тональности.
Друзья не позволяют друзьям развертывать модели черного ящика: важность разборчивости в машинном обучении
Чем сложнее модели машинного обучения, тем сложнее их понять. Усиленные деревья, RF, нейронные сети сложнее понять, чем модели линейной регрессии, Logistci Reg, NB и списков решений. Этот доклад был очень хорошо поставлен и упоминает, как Обобщенные аддитивные режимы (GAM) пытаются решить эту проблему.
Прикладное машинное обучение в Facebook: взгляд на инфраструктуру
Краткий обзор того, как машинное обучение используется в FB. SVM для Facer, GBDT для Sigma, многоуровневый перцептрон MLP для ленты новостей, рекламы, поиска и сигмы. CNN для Facer и LUMOS, RNN для языкового перевода, записи речи и понимания контента. Также рассказывается, как часто модели обучаются, сколько вычислений требуется для каждого типа рабочей нагрузки и как используются графические процессоры volta. Также ONNX, который представляет собой общие модели и представление оператора.
Тестирование машинного обучения в масштабе
В этом выступлении говорилось о том, насколько важно тестирование после развертывания модели, и о возможностях тестирования на каждом этапе, например, при предварительной обработке и т. д.
Компьютерное зрение в масштабе как облачные сервисы
Быстрый рост DL — Alexnet, Googlenet и Resnet. Microsoft рассказывает, как они используют компьютерное зрение. Как конфиденциальность была проблемой для распознавания лица и пола. Такие проблемы, как то, что в сети можно найти только «счастливые» лица и не найти много грустных, шокирующих или презрительных изображений лиц. Им пришлось переобучить свою модель после создания достаточного количества изображений такого типа.
Масштабируемая платформа машинного обучения в Uber
Описал «Микаланджело» внутреннюю платформу машинного обучения, которая поддерживает большие данные в Uber.
Это оборачивает его!
