Что машинное обучение может сделать для наук о Земле?

Машинное обучение вызывает много шума во многих отраслях, включая ресурсы. В этой статье содержится некоторый контекст для шумихи и обсуждаются способы использования машинного обучения в науках о Земле

Хилари Го, MAusIMM, основатель, геолог, специалист по машинному обучению

Первоначально я разместил версию следующей статьи на LinkedIn и назвал ее «10 вещей, которые машинное обучение может сделать для наук о Земле — нет». 7 вас шокирует!» Это был преднамеренный насмешливый кликбейт, отражающий, что это, вероятно, нынешнее представление о машинном обучении в горнодобывающей промышленности, поскольку до сих пор существует ажиотаж, разбрасываются модные словечки и много спекуляций о кто чем занимается и чего уже добился.

На самом деле статья изначально была докладом на собрании Группы управления наземным обслуживанием в Западной Австралии с целью поделиться своими знаниями с миром геологии и геотехники. К настоящему времени все, вероятно, слышали о машинном обучении, но информации так много, что может быть трудно понять, с чего начать (чтобы узнать об этом) и понять, как этот инструмент вписывается в ваш бизнес или операции. Я надеюсь, что эта статья даст вам объективный подход к возможным проектам и решениям в области машинного обучения.

Ажиотаж и разочарование

Давайте поговорим о хайпе.

Широкая общественность узнала о машинном обучении примерно за последние четыре года, но машинное обучение существует еще до 1980-х годов. Достижения в области микрочипов, особенно графических процессоров (GPU), и рост облачных вычислений позволили увеличить возможности сложных вычислений, которые являются достаточно быстрыми и дешевыми для использования теми, кто не работает в исследовательской организации. Это привело к повышению осведомленности широкой общественности о машинном обучении.

Просмотр ежедневных новостных статей показывает, что машинное обучение есть везде и может все. Это есть в каждой отрасли и затрагивает всех — отсюда и шумиха.

Несмотря на это, для читателя горнодобывающей отрасли, вероятно, существует разрыв между тем, что вы читаете или слышите, и тем, что вы видите в своих повседневных операциях, то есть нехватка приложений, связанных с машинным обучением. И разве некоторые из проектов по анализу данных, использующих машинное обучение, на самом деле не просто проблемы с большими данными?

Есть еще много вопросов для нашей отрасли, когда речь идет о машинном обучении. Сектор ресурсов опоздал на вечеринку? Горнодобывающие компании не хотят делиться своими знаниями? Мы все еще пытаемся понять, как использовать эту новомодную технологию, или все это просто пустая болтовня и принятие желаемого за действительное?

Еще одна причина шумихи и ажиотажа — предполагаемое негативное влияние машинного обучения на рабочие места и людей. Дискуссии о машинном обучении обычно приводят к спорам об автоматизации и искусственном интеллекте, а также о том, каким может быть будущее работы для всех. Для более подробного изучения этого я бы рекомендовал вам прочитать статью Пола Люси «Будущее работы — подрядчик, поставщик услуг и консультант» (2018).

Несмотря на многочисленные новостные статьи и, казалось бы, бесконечные дискуссии вокруг машинного обучения, ажиотаж начинает утихать? Есть ли разочарование в том, что приложения машинного обучения (по крайней мере, для индустрии ресурсов) не оправдывают ожиданий?

Согласно Gartner Hype Cycle, машинное обучение все еще находится на пике завышенных ожиданий. В настоящее время он находится в нисходящем тренде, направляясь к Корыту разочарования, и ожидается, что он не достигнет Плато продуктивности в ближайшие два-пять лет.

Но я хотел бы увести вас от шумихи и сосредоточиться на том, что важно для майнинга и науки о данных. Я сделаю это, задав вопрос: является ли приложение машинного обучения лучшим решением для вашей проблемы с наукой о данных?

И чтобы помочь вам подойти к этому вопросу, я бы хотел, чтобы вы выбрали подход, основанный на данных.

Назад к основам

В двух словах, машинное обучение — это сочетание дешевой компьютерной мощности (GPU), статистики и алгоритмов для обработки данных для конкретной задачи.

Следует отметить, что термин «машинное обучение» не является синонимом «искусственного интеллекта» (ИИ). Машинное обучение — это метод обработки данных, который решает конкретную проблему для человека или существа с искусственным интеллектом. ИИ, с другой стороны, представляет собой комбинацию различных методов, включая машинное обучение, для решения сложных или многогранных проблем, которые в настоящее время могут решить только люди. На рисунке 1 (воспроизведенном с разрешения Goodfellow, Bengio and Courville, 2016) показано, как машинное обучение связано с искусственным интеллектом.

При рассмотрении проекта по науке о данных лучший способ приблизиться к нему:

• Какие данные доступны?
• Какую проблему или вопрос я пытаюсь решить?
• Какие методы применимы для решения этой задачи?

Такой же подход следует применять к любому проекту машинного обучения. Очень важно учитывать имеющиеся у вас данные, правильность типа данных, репрезентативность выборки и достаточно высокое качество данных для ответа на ваш вопрос. Например, низкокачественные и размытые фотографии стержня будут бесполезны для любой классификации изображений и будут пустой тратой времени. В машинном обучении все еще действует старая вычислительная максима: мусор на входе = мусор на выходе.

Типы данных следует учитывать в первую очередь, прежде чем выбирать метод машинного обучения. Существует много доступных методов, поскольку некоторые из них подходят только для определенных типов данных. Ниже перечислены три распространенных типа данных (изображения, текст и таблицы), которые можно найти в геолого-геофизических исследованиях.

Изображения

На рис. 2 вверху показана фотография кернового лотка, а внизу — фотография минерализации. Оба эти типа данных собираются для геологической разведки и добычи полезных ископаемых.

Глубокое обучение (специфический метод машинного обучения) можно использовать для классификации всего изображения или его сегментов.

Этот подход позволяет относительно быстро обрабатывать большое количество данных и откладывать любые интересующие особенности для дальнейшего анализа. Дальнейшее исследование глубокого обучения появится позже в этой статье.

Текст

Представьте, что у вас есть большой текстовый файл, содержащий 477 письменных рецензий на фильм, и вы хотите узнать, что думает об этом фильме большинство людей. С помощью машинного обучения можно было определить общее настроение фильма, т. е. понравилось ли оно всем или не понравилось и почему? Этот результат может затем предсказать, понравится ли он вам, основываясь на других фильмах, которые вы видели.

Для области геолого-геофизических исследований это также может быть полезным способом просмотреть большое количество устаревших отчетов и документов, чтобы найти только те, которые имеют отношение к области вашего проекта, т. е. режим машинного обучения можно обучить прогнозировать, какие геологические залежи ) может быть описан в неизвестном отчете на основе содержимого его сводной страницы.

Таблицы

Табличные данные называются «структурированными данными» в мире компьютерных наук. Наиболее распространенными примерами геолого-геофизических исследований могут быть многоэлементные анализы и другие результаты геохимии, полученные в результате анализа керна, выборочных проб и накопленных проб в форме электронных таблиц Excel и других баз данных.

Другое

Другие типы данных включают, среди прочего, облака точек LiDAR, гиперспектральные (в различных форматах) и сейсмические разрезы. Машинное обучение также имеет возможность связывать, комбинировать и обрабатывать различные типы данных вместе, что упрощает создание целостной интерпретации.

Три типа машинного обучения

В большинстве моделей машинного обучения используются методы, основанные на контролируемом или неконтролируемом обучении, хотя новые разработки в области обучения с подкреплением сделали его довольно популярным.

Для контролируемого обучения вы сообщаете модели, как должен выглядеть ответ, используя наборы данных для обучения и проверки помеченного результата. Поскольку вы можете оценить точность ответа, вы можете улучшить модель различными способами, чтобы повысить точность прогноза. Простое улучшение может заключаться в проверке помеченных данных на наличие ошибок, а затем изменении метки.

В случае неконтролируемого обучения вы не уверены, каким может быть ответ, и поэтому позволяете модели машинного обучения сообщать вам, что она находит. Для этого типа обучения данные не помечаются, и модель будет искать тенденции, закономерности и группировать данные. Поскольку вы не уверены, как должен выглядеть результат, оценка точности обучения без учителя может быть затруднена. Кроме того, модель может просто подгонять результат к ошибочному «шуму» в данных, коррелировать там, где нет взаимосвязи, или показывать неинформативные взаимосвязи. В некоторых случаях преимущества перед стандартными статистическими методами отсутствуют.

За последние два года развился третий тип обучения: обучение с подкреплением. Это отличается от других типов тем, что вместо предоставления помеченного результата или отсутствия результата модель получает вознаграждение и штрафы для достижения желаемого результата. В некотором смысле модель учится методом проб и ошибок (см. далее в этой статье пример обучения с подкреплением).

В рамках этих трех широких типов машинного обучения доступно множество методов, которые также могут содержать подкатегории. Однако в этой статье я хочу рассмотреть одну технику, в частности: глубокое обучение.

Что такое глубокое обучение?

В примере, приведенном на рисунке 3, у нас есть простая нейронная сеть с одним скрытым слоем (желтые точки) и глубокая нейронная сеть со многими скрытыми слоями. Скрытые слои — это место, где выполняется реальная вычислительная работа.

Простая нейронная сеть пытается выполнять множество различных вычислений, т. е. классификацию и сегментацию, одновременно в одном широком скрытом слое. Это означает, что вычисления медленные и дорогие, особенно для больших наборов данных, и приводят к плохим прогнозам.

Сеть глубокого обучения спроектирована таким образом, что имеет множество небольших скрытых слоев, каждый из которых изучает что-то свое на основе результатов предыдущего слоя. Разделение сложности задачи на множество мелких частей позволяет проводить быстрые и дешевые вычисления. Это также позволяет использовать гораздо большие наборы данных (но с меньшими обучающими наборами данных и метками, которые по-прежнему дают хорошие результаты). Количество скрытых слоев зависит от сложности проблемы, в результате чего нейронные сети становятся все более крупными и сложными (или глубокими).

Эта иерархия представлений (скрытых слоев), по-видимому, позволяет глубокому обучению лучше прогнозировать при представлении новых данных по сравнению с простой нейронной сетью.

Чтобы применить это к геолого-геофизическому контексту, рассмотрим приведенный выше пример данных изображения.

Используя глубокое обучение и другой подметод, называемый сверточной нейронной сетью (CNN), классификация данных может включать классификацию различных частей фотографии лотка с сердечником как ядро, основной блок, лоток и другие. Сегментация будет включать в себя обучение алгоритма машинного обучения идентифицировать интересующие функции из лотка, такие как основные прогоны или основные блоки.

CNN добились хорошего успеха в распознавании изображений, поскольку они сочетают в себе две функции: обнаружение признаков и карты признаков, которые в сочетании позволяют классифицировать сцену. Сверточный слой запускает фильтр по изображению (по одному участку пикселей за раз), чтобы обнаружить дискретную функцию, и при обнаружении сопоставляет ее с картой функций. Эти сверточные слои выполняют своего рода поиск, и по изображению одновременно проходит множество фильтров, причем каждый фильтр фокусируется на одной уникальной функции. Эти карты характеристик вместе с другой обучающей информацией затем используются для классификации или предсказания объектов на новых, ранее невиданных изображениях.

Три других приложения глубокого обучения

Как упоминалось ранее, машинное обучение охватывает все отрасли, а не только науку о Земле. Но стоит поделиться тремя другими примерами глубокого обучения, чтобы показать, как можно использовать эту технологию и какие идеи могут найти применение в геолого-геофизических исследованиях или горнодобывающей промышленности.

Кошки против собак (двоичный классификатор изображений)

В этом примере контролируемая модель глубокого обучения изучает разницу между фотографиями кошек и собак. Создается обучающий набор данных, в котором изображения помечены как «кошка» или «собака», и модель изучает разницу между двумя ярлыками с помощью таких методов, как сверточная фильтрация. Набор данных проверки (с известными метками) проверяется моделью, чтобы проверить его точность. В модель и метки можно вносить коррективы для повышения точности (предварительное обучение) перед обработкой полного набора данных.

Однако существуют некоторые ограничения. Поскольку модель является только бинарным классификатором, если вы покажете ей фотографию лошади, она попытается классифицировать ее либо как кошку, либо как собаку. Вы можете посмотреть видео и урок кодирования по модели этого типа на https://course.fast.ai/

Обучение модели машинного обучения игре в платформенную компьютерную игру

Это интересный пример обучения с подкреплением.

Модель глубокого обучения учится играть в компьютерную игру методом проб и ошибок для достижения конкретной цели. В игре мистер Нибблс (хомяк) должен избегать препятствий и находить путь к выходу с уровня. Модель получает «штраф времени» в размере 0,1 за каждую секунду, затраченную на каждую попытку, и получает еще один штраф в размере 10 каждый раз, когда хомяк «умирает», вступая в контакт с препятствием.

Мы могли бы ожидать от машины человеческого процесса принятия решений, в котором умирание избегается, даже если для прохождения уровня требуется время. Но в модели нет такой концепции, и из-за ограниченной системы вознаграждений/штрафов модель узнает, что вместо того, чтобы тратить много времени на поиск выхода из уровня, кумулятивный штраф на самом деле меньше, если мистер Нибблс умирает быстро, а не продолжает. Этот пример показывает, что иногда модели машинного обучения могут выдавать неожиданные и нелогичные результаты, не соответствующие ожиданиям людей. Подробнее об этом конкретном примере можно узнать по адресу www.mikecann.co.uk/machine-learning/a-game-developer-learns-machine-learning-mr-nibbles-basics/.

Сети машинного обучения пытаются обмануть друг друга

В этом примере генеративно-состязательных сетей одна сеть («Генератор») пытается обмануть другую сеть («Дискриминатор») фальшивыми сейсмическими разрезами. Дискриминатор наказывает Генератора за явно поддельные изображения, и поэтому Генератор учится создавать с каждым разом все более и более качественные подделки. В этом примере Генератор не только создает сейсмические разрезы (которые выглядят так же хорошо, как и настоящие сейсмические разрезы), но и создает соответствующую скоростную модель.

Это исследование сейчас очень популярно в нефтегазовой отрасли. Если вы хотите узнать больше, ознакомьтесь с статьей Моссера и др. (ссылка на нее в конце этой статьи).

Заключение

Машинное обучение — такая большая и сложная область, что статья такого объема не отражает всех тонкостей темы. Но я надеюсь, что эта статья даст вам достаточно информации о машинном обучении и некоторых доступных методах, а также даст некоторые идеи о том, как его можно использовать в добыче полезных ископаемых, особенно в геолого-геофизических исследованиях. Я надеюсь, что использование подхода «сначала данные» поможет вам сформулировать свой вопрос — является ли приложение машинного обучения подходящим решением для вашей проблемы с наукой о данных? — а также выбрать метод, который лучше всего будет работать с вашими данными.

Ссылки

Гудфеллоу, Бенжио и Курвиль, 2016 г., «Глубокое обучение», MIT Press.

Люси П., 2018. Будущее работы — подрядчик, поставщик услуг и консультант [онлайн]. Доступно по адресу: www.linkedin.com/pulse/future-work-contractor-service-provider-consultant-paul-lucey.

Моссер Л., Драмш Дж., Кимман В., Пурвес С., Де ла Фуэнте А. и Ганссле Г., 2018 г. Быстрый перенос сейсмической области: инверсия сейсмической скорости и моделирование с использованием глубоких генеративных нейронных сетей [онлайн]. Доступно по адресу: www.researchgate.net/publication/325333052_Rapid_seismic_domain_transfer_Seismic_velocity_inversion_and_modeling_using_deep_generative_neural_networks

Панетта К., 2017 г. Основные тенденции в цикле шумихи Gartner для новых технологий, 2017 г. [онлайн]. Доступно по адресу: www.gartner.com/smarterwithgartner/top-trends-in-the-gartner-hype-cycle-for-emerging-technologies-2017/.

Австралазийский институт горного дела и металлургии (AusIMM) является высшим органом для профессионалов в ресурсном секторе. Чтобы узнать больше интересных историй, посетите веб-сайт бюллетеня AusIMM.