Демистификация текущего состояния искусственного интеллекта и машинного обучения

Почти 30 лет назад я впервые увлекся искусственным интеллектом (ИИ), и в итоге я сосредоточил свои инженерные исследования на бакалавриате и магистратуре на применении искусственных нейронных сетей (ИНС). Мои первые две работы после аспирантуры остались прежними; Более 6 лет я разрабатывал методы искусственного интеллекта и машинного обучения для решения реальных проблем, которые варьировались от распознавания человеческой речи и естественного языка до преобразования рукописного текста в доступный для поиска оцифрованный текст и до оптимизации процедур обслуживания активных зон ядерных реакторов. Так что, сочетая изумление и веселье, я впитываю возрождение ИИ и машинного обучения как модное словечко: Глубокое обучение.

Почему именно глубокое обучение? Почему сейчас?

Глубокое обучение очень заметно в тех больших надеждах, которые мы возлагаем на беспилотные автомобили, и в победе машин над чемпионами по шахматам. Он менее заметен и чаще используется в виде Apple Siri, Amazon Echo, списков воспроизведения, созданных на Spotify, этой функции автоматической пометки в Facebook Photos, голосового помощника, который отвечает на телефонный звонок, когда вы звоните в банк или когда ваш отпечаток пальца распознается машиной.

За последние три десятилетия несколько достижений в мире вычислений привели к тому, что машинное обучение перешло из эзотерической науки в основные приложения.

  1. Закон Мура сработал, как и предполагалось: мои эксперименты в аспирантуре требовали высокопроизводительных рабочих станций Sun, которые часами применяли алгоритмы к наборам данных среднего размера для достижения обучения. В некоторых моих лабораториях были транспьютерные платы с поддержкой параллельной обработки со специализированными математическими процессорами с плавающей запятой, которые были запрограммированы на малоизвестных языках, таких как Оккам. Сегодняшние стандартные ноутбуки, виртуальные машины и реальные серверы обладают большей мощностью, чем моя комната, полная транспьютерных плат. А у мобильных телефонов достаточно мощности, чтобы в полной мере использовать обучающие приложения.
  2. Но теперь закон Мура выходит за рамки физики: как указано в этом ежеквартальном выпуске журнала Economist, втиснуть больше транзисторов в микросхему невозможно. Недавние тенденции в вычислительной технике использовали грубую вычислительную мощность для решения насущных проблем человечества, но поскольку у нас заканчиваются вычислительные мощности, нам нужны более совершенные алгоритмы для обеспечения более разумных вычислений в будущем. Машинное обучение - неизбежный ответ в нашем поиске инноваций. Лучшая демонстрация этой разницы - Deep Blue от IBM против AlphaGo от Google. Deep Blue использовал методы поиска грубой силы, чтобы выиграть шахматный матч против гроссмейстера Гэри Каспарова в 1996 году. AlphaGo использовала нейронные сети, чтобы алгоритмически победить чемпиона мира Ли Седола в игре под названием Go, которая требует слишком больших вычислительных ресурсов для современных компьютеров, чтобы исчерпывающе учитывать каждый ход. подразумеваемое. [Касательно AlphaGo: это длинное, но потрясающее видео матча между Sedol и AlphaGo, но первые несколько минут, начинающиеся в 42:00, захватывают в контексте глубокого обучения]
  3. Потребление технологий привело к снижению стоимости компонентов: за тридцать лет, прошедших с 1980 года, было поставлено миллиард персональных вычислительных устройств, а затем - два миллиарда мобильных телефонов. Электронные компоненты, датчики и накопители производятся в объемах, которые делают их намного дешевле. В сочетании с миниатюризацией и разработкой программного обеспечения с открытым исходным кодом стоимость инноваций и коммерциализации с использованием глубокого обучения резко упала.
  4. Большие данные были необходимым прецедентом: как мы увидим позже, глубокое обучение - ничто без данных, и мы видели самый последний цикл шумихи, сфокусированный на накоплении и обработке невообразимых объемов данных. Эти данные теперь доступны для обучения и тестирования систем машинного обучения, а текущая ежедневная информация, которую мы обрабатываем, может быть легко обработана приложениями с поддержкой машинного обучения.

Приносим извинения за мой грубый набросок на белой доске, приведенный ниже, но это моя попытка показать, как закон Мура привел к целому ряду технологий и предоставил потребителям более продвинутую науку.

Что вообще такое глубокое обучение?

Поиск Google по теме Глубокое обучение дает более 30 миллионов результатов. Для техников среди нас есть довольно хорошие обзоры в Интернете [см. Википедию]. Чтобы сделать его относительно простым для большинства читателей, я разобью его следующим образом.

Глубокое обучение - это вычислительная техника, с помощью которой вы обучаете компьютер на примерах коррелированных данных. Например, мы представляем два разных изображения буквы «а» и связываем изображения с английская буква «а» - обратите внимание, что два примера изображений ниже довольно разные по внешнему виду, но соответствуют одной и той же букве.

Чем больше примеров изображений мы показываем компьютеру, тем лучше он выстраивает эту ассоциацию, пока мы не обнаружим, что когда он видит совершенно новое изображение буквы «а», он может правильно идентифицировать его как букву «а», а не букву «а». буква «б». Это навеяно тем, что происходит в раннем детстве у людей. На практике вы также можете показывать ему изображения других букв, чтобы программное обеспечение Deep Learning могло правильно распознавать набор рукописных букв, скажем, с помощью камеры на вашем смартфоне.

Чтобы продемонстрировать, как эта же модель работает с другими наборами данных, предположим, что у вас есть данные о погоде за последние пять лет. Вы можете обучить модель, приведенную выше, связывать исторические погодные условия за один день в прошлом с данными о давлении, температуре, ветре и осадках за предыдущий день, а также с датой, временем и сезонной информацией. Затем вы можете использовать обученную систему, чтобы спрогнозировать, какая погода будет завтра, на основе аналогичных данных на сегодняшний день.

Глубокое обучение основано на распознавании / классификации закономерностей в данных: по своей сути система глубокого обучения использует статистические / вероятностные методы или взвешенный граф для получения знаний о зависимостях между входными данными и результатами. На основе данных в обучающем наборе (скажем, за 5 лет исторических данных о погоде в приведенном выше примере), вычисления в статистической модели или взаимозависимости на графике корректируются таким образом, чтобы известные входные данные давали известные выходные данные. Затем теория распространяется на тот факт, что обученная система глубокого обучения будет правильно распознавать шаблон, глядя на новые его примеры. Некоторые обучающие системы распознают существование шаблона, а другие классифицируют его как одну из многих.

Другой быстрый и грязный набросок ниже пытается продемонстрировать излишне упрощенное внутреннее устройство классификатора на основе нейронной сети, когда он обучается на примерах с буквой «а»: определенные связи в графе усиливаются для правильного вывода (буква «а» ») И другие связи усиливаются при представлении изображений других букв. Предполагается, что этот процесс похож на нейроны, срабатывающие в нашем мозгу в ответ на определенные стимулы.

Глубокое обучение - непростая задача: несмотря на то, что команды Google Tensor Flow, Kaggle и т. д. пытаются сделать так, чтобы все могли использовать глубокое обучение, есть несколько важных функций. глубокого обучения, о котором нужно помнить:

  • Не каждую проблему в мире можно свести к проблеме распознавания / классификации образов; некоторые из них лучше решаются с помощью традиционных методов анализа данных или поиска.
  • Ни одна модель машинного обучения не может решить все проблемы классификации шаблонов - обычно мы использовали две или три разные модели для распознавания речи.
  • Очень легко «переучить» - обучение превращается в запоминание, если хотите. Это похоже на подгонку кривой к определенному набору точек данных, а не на просмотр общей тенденции. Нетривиально оптимизировать систему машинного обучения для решения сложных проблем путем обучения, отмены обучения и повторного обучения по мере необходимости.
  • И, наконец, передать правильные данные в обучающую систему - непросто, и это самый важный фактор успеха. Представьте, как вы преобразовали бы изображения буквы «а» выше, чтобы адекватно описать общие сведения о букве, чтобы наши модели могли научиться их определять. Необработанные пиксельные изображения, такие как фотография буквы «а», не будут работать, но предварительная обработка штрихов будет работать. Сложность подготовки данных для машинного обучения - важная тема, заслуживающая отдельного обсуждения.

Возможность глубокого обучения

Амит Карп из Бессемера вчера опубликовал хороший пост, который представляет одну точку зрения на возможности глубокого обучения (цитируется ниже).

Стартапы, которые не только создают первоклассный опыт в области искусственного интеллекта, но и используют его для создания надежной сети передачи данных, со временем должны стать чрезвычайно ценными.

Моя точка зрения разбивает возможность на три области:

Приложения, использующие глубокое обучение. В сообщении Амита это подробно описано. Кроме того, любое приложение, использующее науку о данных, также может использовать глубокое обучение (отсюда Kaggle играет здесь?).

Инфраструктура для глубокого обучения: хотя Google Tensorflow, модули с открытым исходным кодом и другие платформы крупных игроков, таких как Facebook, Apple и Amazon, делают технологию более доступной, остается достаточно места для игр PaaS и IaaS, чтобы сделать глубокое обучение более простым, масштабируемым и надежным.

Услуги. Каждый этап технологического бума (мобильность, большие данные, электронная коммерция, облачные вычисления, клиент-серверные вычисления и т. д.) предоставлял огромные возможности в виде поставщиков нишевых услуг. Сегодня поставщиками услуг глубокого обучения являются якобы IBM и несколько других технических интеграторов, но му сигма глубокого обучения еще не появилась.

Риски? Я уже вижу нереалистичные ожидания, шумиху, чрезмерное использование и отсутствие таланта.

Я буду счастлив поделиться подробным обзором возможностей в этой сфере, если вы свяжетесь со мной, но этот пост, вероятно, уже слишком длинный.

Если вам понравился этот пост, пожалуйста, Порекомендуйте / поделитесь, чтобы меня побудили написать больше; еще лучше, я хотел бы услышать ваши мысли. Я приглашаю вас подписаться на меня в Medium / LinkedIn / @kamadoll в Twitter.

Больше моих оригинальных анализов прямо здесь, на Medium: