"Машинное обучение"
Монте-Карло против Лас-Вегаса в мире машинного обучения
Два наиболее важных семейства алгоритмов для устранения случайности в системах машинного обучения.
Недавно я начал выпускать образовательный информационный бюллетень, посвященный ИИ, на который уже подписано более 80 000 человек. TheSequence - это информационный бюллетень, ориентированный на ML (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Наша цель - держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Большинство практиков машинного обучения знакомы с методами Монте-Карло. Вездесущий элемент учебников по машинному обучению, методы Монте-Карло сыграли очень важную роль в эволюции систем машинного обучения.
Хотя методы, основанные на Монте-Карло, существуют уже некоторое время, бурный рост многомерных наборов данных, распространенных в системах глубокого обучения, поднял их актуальность на новый уровень. Методы Монте-Карло относятся к категории рандомизированных алгоритмов, которые пытаются дать ответ на проблему, которая влечет за собой определенную степень случайности. В этом пространстве методы Монте-Карло рассматриваются как альтернатива другому «игровому раю»: Лас-Вегасу.
Лас-Вегас против Монте-Карло
Основное различие между методами Монте-Карло и Лас-Вегас связано с точностью вывода. Методы Лас-Вегаса обычно дают точный ответ, в то время как методы Монте-Карло возвращают ответы со случайным количеством ошибок. Очевидно, что степень ошибки в системе Монте-Карло уменьшается с увеличением ресурсов, таких как данные или модели вычислений.
Алгоритмы Лас-Вегаса были введены венгерским компьютерным ученым Ласло Бабаи в 1979 году. Неудивительно, что Бабай ввел этот термин как двойник методов Монте-Карло, которые могут дать только точный результат.
Классическим примером алгоритмов Лас-Вегаса является алгоритм рандомизированной быстрой сортировки, который случайным образом выбирает точку поворота, а затем разбивает элементы на три набора: все элементы меньше, чем точка поворота, все элементы равны оси поворота, и все элементы больше, чем точка поворота. вращаться.
Метод рандомизированной быстрой сортировки требует много ресурсов, но гарантирует получение точного ответа. Следовательно, методы Лас-Вегаса, как правило, рекомендуются в сценариях с небольшим количеством потенциальных ответов.
Несмотря на то, что модели Лас-Вегаса кажутся великолепными в теории, они становятся непрактичными во многих сценариях глубокого обучения, которые настолько велики, что никогда не могут дать точный ответ. Методы Монте-Карло устраняют некоторые ограничения алгоритмов Лас-Вегаса за счет повышения эффективности графа вычислений, вводя определенный уровень случайности в ответах. Неудивительно, что методы Монте-Карло стали невероятно популярными в сценариях глубокого обучения, которые имеют дело с многомерными наборами данных большого объема.
Одним из основных применений методов Монте-Карло в системах глубокого обучения является извлечение выборок из некоторого распределения вероятностей, которое представляет собой набор данных. Это обычно известно как выборка Монте-Карло и широко использовалась на протяжении всей истории для решения очень сложных задач оценки данных. В одном из самых громких примеров французский математик Пьер-Симон Лаплас однажды предложил метод оценки значения числа Пи с использованием выборки Монте-Карло.
В контексте систем глубокого обучения методы выборки Монте-Карло имеют очень известные приложения. Например, обычно используют выборку Монте-Карло для выбора распределения набора обучающих данных, которое приближается к исходному набору данных. Методы Монте-Карло также играют роль в методах регуляризации или оптимизации для оценки выходных наборов данных без оценки всего графа вычислений.
