Еженедельный информационный бюллетень с более чем 100 000 подписчиков, в котором обсуждаются важные исследовательские работы по машинному обучению, интересные технические выпуски, деньги в ИИ и реальные реализации.



TheSequence
Подпишитесь, чтобы быть в курсе самых актуальных проектов и научных работ в мире ИИ. Нам доверяют более 85 000…thesequence.substack.com



📝 От редакции: Triton: Программирование GPU для глубоких нейронных сетей

На протяжении десятилетий индустрия программного обеспечения развивалась, устраняя зависимости в аппаратных архитектурах. Разработчики не тратят циклы на размышления об аппаратной инфраструктуре при разработке веб-приложений или API. Развитие глубокого обучения, кажется, вернуло нас назад. Оптимизация архитектур графических процессоров — обычное явление в жизненном цикле моделей глубокого обучения. Команды специалистов по обработке и анализу данных часто недоумевают по поводу различий, которые топологии графических процессоров могут вызывать при выполнении нейронных сетей. Оптимизация для разделения данных, распределения памяти, распределения вычислений и других аспектов обычно выходит за рамки набора навыков большинства специалистов по данным.

Аппаратные зависимости в решениях для глубокого обучения — это и благословение, и проклятие. В некотором смысле эти зависимости привели к возрождению аппаратных инноваций ИИ. С другой стороны, большинство команд машинного обучения испытывают затруднения, когда дело доходит до оптимизации графического процессора. На этой неделе компания OpenAI, специализирующаяся на искусственном интеллекте, представила Triton, новый предметно-ориентированный язык, который абстрагируется от сложностей оптимизации графического процессора. Triton устраняет многие основные проблемы оптимизации GPU, такие как объединение памяти, управление памятью и планирование вычислений. Основная идея заключается в том, что инженер по машинному обучению без опыта работы с графическим процессором может выполнять довольно сложные оптимизации, не углубляясь в аппаратную основу. Triton представляет собой одну из самых захватывающих разработок, направленных на устранение зависимостей графического процессора, существующих сегодня в системах глубокого обучения.

🗓 На следующей неделе в TheSequence Edge:

Edge#111:что такое внимание; какая самая большая из когда-либо построенных моделей трансформеров; почему Hugging Face — самая популярная библиотека для создания и использования моделей трансформеров.

Edge#112:как компрессионный преобразователь DeepMind улучшает долговременную память в архитектурах преобразователя.

🔎 Исследование машинного обучения

Создание обычных агентов с помощью игры

DeepMind опубликовал увлекательный исследовательский документ с подробным описанием моделей агентов глубокого обучения, которые могут освоить множество различных игр без вмешательства человека -›подробнее читайте в блоге DeepMind

Сетевой накопитель с небольшим количеством снимков

Facebook AI Research (FAIR) опубликовал документ, предлагающий метод, который сочетает в себе обучение за несколько шагов и поиск нейронной архитектуры (NAS) для автоматизации создания нейронных сетей с минимальными вычислительными затратами -> подробнее в блоге FAIR

ИИ и здравый смысл

Исследователи из Массачусетского технологического института и IBM опубликовали статью, предлагающую тест для оценки признаков здравого смысла в нейронных сетях -›подробнее читайте в оригинальной исследовательской статье

🛠 Машинное обучение в реальном мире

Архитектура перемещения данных в Netflix Studio

Команда инженеров Netflix опубликовала сообщение в блоге с подробным описанием архитектуры конвейеров ETL в Netflix Studio -›подробнее читайте в блоге о технологиях Netflix.

Контейнеры и Hadoop в Uber

Команда инженеров Uber опубликовала сообщение в блоге о своем путешествии по переносу своей инфраструктуры Hadoop в контейнеры Docker -›подробнее читайте в блоге инженеров Uber

Модели настроений в Airbnb

Команда инженеров Airbnb опубликовала сообщение в блоге с подробным описанием использования моделей настроений для оценки качества обслуживания клиентов -›подробнее читайте в техническом блоге Airbnb.

🤖 Крутые релизы AI Tech

Открытый ИИ Тритон

OpenAI Triton с открытым исходным кодом, язык программирования, похожий на Python, который абстрагируется от сложностей программирования GPU -›подробнее читайте в блоге OpenAI

Повышение рейтинга TF

Google Research опубликовал подробный пост в блоге, в котором обсуждаются последние достижения в структуре TF-Ranking для масштабируемых моделей ранжирования -›подробнее читайте в блоге Google Research

💸 Деньги в ИИ